ทีมนักวิจัยนำเสนอ SpireBench ซึ่งเป็นเครื่องมือสำหรับประเมินความสามารถของโมเดล Agentic LLM ในการวางแผนกลยุทธ์ระยะยาว โดยใช้เกมการ์ดชื่อดัง 'Slay the Spire' เป็นบททดสอบ เนื่องจากเป็นเกมที่การตัดสินใจในช่วงต้นมีผลอย่างมากต่อความสำเร็จในระยะยาว และยากต่อการคาดเดาด้วยโชคหรือความรู้เดิมเพียงอย่างเดียว
จากการทดสอบโมเดลภาษาขนาดใหญ่ (LLM) 20 รุ่น พบว่าแม้โมเดลระดับแนวหน้าจะสามารถทำคะแนนได้เทียบเท่าผู้เล่นระดับทั่วไปและชนะอัลกอริทึมพื้นฐาน (Heuristic) ได้ แต่ยังคงมีช่องว่างขนาดใหญ่เมื่อเทียบกับผู้เล่นระดับเชี่ยวชาญ โดยเฉพาะในเรื่องการประเมินความเสี่ยง ซึ่งโมเดลส่วนใหญ่มักเน้นการรักษาพลังชีวิตมากเกินไปแทนที่จะใช้พลังชีวิตเพื่อแลกกับการเพิ่มขีดความสามารถให้แข็งแกร่งขึ้นในอนาคต
