รายงานฉบับใหม่จาก METR ซึ่งเป็นองค์กรไม่แสวงหากำไรด้านการประเมิน AI ได้เผยแพร่การอัปเดตกราฟ Time Horizon ที่เคยมีการตีความผิดอย่างกว้างขวาง การอัปเดตครั้งนี้เพิ่มชุดงานที่มีความซับซ้อนมากขึ้น รวมถึงงานที่ต้องใช้การตัดสินใจและงานปลายเปิด เพื่อให้สามารถประเมินความสามารถของโมเดล AI ได้อย่างรอบด้านยิ่งขึ้น
ผลการประเมินแสดงให้เห็นว่า AI มีความก้าวหน้าอย่างรวดเร็วในงานที่สามารถตรวจสอบผลลัพธ์ได้ง่าย เช่น การเขียนโค้ดและคณิตศาสตร์ ซึ่งเป็นงานที่สามารถใช้เทคนิคการเรียนรู้แบบเสริมแรงได้อย่างมีประสิทธิภาพ อย่างไรก็ตาม ในงานที่ต้องใช้การตัดสินใจ การวิจารณญาณ หรือมีความปลายเปิดสูง เช่น การออกแบบการประเมิน AI หรือการให้คะแนนข้อโต้แย้งเชิงปรัชญา โมเดล AI ยังคงมีประสิทธิภาพต่ำกว่ามนุษย์อย่างเห็นได้ชัด
แม้ว่าโมเดลที่ทันสมัยบางรุ่น เช่น Opus 5.5 จะเริ่มแสดงผลลัพธ์ที่น่าจับตามองในงานออกแบบการประเมิน โดยถูกจัดอยู่ในระดับ 'เกือบดี' ซึ่งดีขึ้นกว่าปีที่แล้วอย่างมาก แต่ก็ยังไม่สามารถนำไปใช้งานจริงได้ในงานวิจัยของ METR ผู้เชี่ยวชาญชี้ว่าการประเมินงานประเภทนี้ทำได้ยาก และยังคงเป็นเรื่องท้าทายที่จะคาดการณ์ความก้าวหน้าของ AI ในงานที่ต้องใช้การตัดสินใจ อย่างไรก็ตาม การรวมงานประเภทนี้เข้ามาในการประเมินถือเป็นก้าวสำคัญในการทำความเข้าใจขีดจำกัดและศักยภาพที่แท้จริงของ AI เพื่อนำไปสู่การพัฒนา AI ที่สามารถทำงานวิจัยและพัฒนาได้ด้วยตนเองในอนาคต.