Google DeepMind นำเสนองานวิจัยใหม่ในชื่อ 'Decoupled DiLoCo' ซึ่งเป็นการปฏิวัติวิธีการฝึกโมเดล AI ขนาดใหญ่ (LLM) ให้มีความยืดหยุ่นมากขึ้น จากเดิมที่ต้องใช้ระบบที่เชื่อมต่อกันอย่างใกล้ชิดและต้องการการซิงโครไนซ์ที่สมบูรณ์แบบ สถาปัตยกรรมใหม่นี้จะแบ่งการประมวลผลออกเป็น 'Islands of compute' หรือหน่วยการเรียนรู้ที่ทำงานแยกจากกันแบบอซิงโครนัส (Asynchronous)
จุดเด่นของ Decoupled DiLoCo คือความสามารถในการทนทานต่อความล้มเหลวของฮาร์ดแวร์ (Fault-tolerance) หากชิปในหน่วยใดหน่วยหนึ่งเสีย หน่วยอื่นจะยังคงฝึกโมเดลต่อไปได้โดยไม่หยุดชะงัก และสามารถกลับมารวมกันได้เมื่อระบบซ่อมแซมเสร็จ นอกจากนี้ยังใช้แบนด์วิดท์เครือข่ายเพียง 2-5 Gbps ซึ่งต่ำกว่าวิธีปกติมาก ทำให้สามารถฝึกโมเดลข้ามภูมิภาคผ่านอินเทอร์เน็ตทั่วไปได้ และยังรองรับการผสมฮาร์ดแวร์ต่างรุ่น เช่น TPU v6e และ TPU v5p ในงานเดียวกันได้อีกด้วย
