AI & MACHINE LEARNING

LHTB 2.0: แบบทดสอบใหม่สำหรับวัดประสิทธิภาพ AI Agent ในภารกิจระยะยาว

arXiv15 Oct 2026
1 min read
Key Takeaways
  • LHTB 2
  • 0 พิสูจน์ว่าการวัดผลแบบ Binary (สำเร็จ/ล้มเหลว) มักมองข้ามความก้าวหน้าระหว่างทางที่สำคัญของ AI Agent ในงานที่ซับซ้อน

ทำไมเรื่องนี้ถึงสำคัญ

ช่วยให้การพัฒนา AI Agent มีมาตรฐานการวัดผลที่สะท้อนการใช้งานในโลกจริงได้มากขึ้น โดยเฉพาะงานในระดับวิศวกรรมที่ต้องใช้เวลาและการตัดสินใจต่อเนื่องหลายขั้นตอน

งานวิจัยนี้นำเสนอ Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0) ซึ่งเป็นชุดทดสอบที่พัฒนาขึ้นเพื่อแก้จุดบอดของการประเมิน AI Agent แบบเดิมที่มักเน้นเพียงผลลัพธ์สุดท้าย (Binary success) โดย LHTB 2.0 หันมาใช้การให้รางวัลตามความคืบหน้าของกระบวนการ (Process rewards) เพื่อวัดว่า Agent สามารถรักษาการทำงานในเวิร์กโฟลว์ที่ยาวและซับซ้อนได้ดีเพียงใด ชุดทดสอบนี้ประกอบด้วยงานทั้งหมด 77 งาน ครอบคลุมโดเมนด้านวิทยาศาสตร์และวิศวกรรม

หัวใจสำคัญของ LHTB 2.0 คือการขยายเวลาในการทดสอบจากเดิม 90 นาที เป็น 3 ชั่วโมง และมีการบันทึกจุดตรวจสอบ (Checkpoints) ทุกๆ 30 นาที เพื่อประเมินความสามารถในการทำงานอย่างต่อเนื่อง ผลการทดสอบจากโมเดลชั้นนำ 15 รุ่นพบว่า GPT-6-astra มีคะแนนเฉลี่ยสูงสุดที่ 0.69 ตามมาด้วย GPT-5.6-sol ซึ่งสะท้อนให้เห็นว่าการวัดผลแบบเน้นกระบวนการช่วยให้เห็นภาพรวมของความสามารถ AI ได้ชัดเจนกว่าการวัดเพียงแค่ว่างานสำเร็จหรือไม่

สรุปประเด็นหลัก

ขยายการทดสอบครอบคลุม 77 งาน ใน 13 โดเมนด้านเทคนิค

เพิ่มระยะเวลาการประเมินจาก 90 นาทีเป็น 3 ชั่วโมง เพื่อวัดความอึดของ Agent

ใช้ระบบ Progress ladders แทนการให้คะแนนแบบผ่าน/ไม่ผ่านเพียงอย่างเดียว

นวัตกรรมและเทคโนโลยี

research

Process-Aware Evaluation

ระบบการวัดผลที่เน้นรางวัลตามลำดับความคืบหน้าของงานแทนการดูแค่ผลลัพธ์สุดท้าย

infrastructure

Extended Horizon Infrastructure

โครงสร้างพื้นฐานที่รองรับการรัน Agent ต่อเนื่องได้นานถึง 3 ชั่วโมงพร้อมจุด Checkpoint ทุก 30 นาที

Developer Impact
ช่วยให้นักพัฒนาและทีมวิจัยสามารถปรับแต่ง AI Agent ให้รองรับเวิร์กโฟลว์ที่ยาวขึ้นได้ โดยมีข้อมูลชี้วัดความคืบหน้าที่ละเอียดขึ้นกว่าเดิม
Keywords
#benchmarking #ai agents #long-horizon tasks #process rewards
Original Source

อ่านข้อมูลเพิ่มเติมจากแหล่งข่าวหลัก

arXiv