แม้ว่า Large Language Models (LLMs) จะถูกนำมาใช้ในการวางแผนของหุ่นยนต์มากขึ้น แต่การวัดผลส่วนใหญ่มักทำในสภาวะปกติจนไม่เห็นจุดอ่อนที่แท้จริง Alpha เป็นเฟรมเวิร์กที่ออกแบบมาเพื่อฉีดความผิดพลาด (Fault injection) เข้าไปในระบบอย่างเป็นระบบ ทั้งในด้านการรับรู้ (Sensor lag), การทำงาน (Grip slip), พลศาสตร์ (Unreachable targets) และการวางแผน (Output corruption)
ผลการวิจัยที่ใช้ Llama-3 พบข้อมูลที่น่าสนใจว่า เมื่อเกิดปัญหาทางกายภาพ เช่น เซนเซอร์หน่วงหรือที่คีบหลุด LLM และระบบวางแผนแบบเขียนโปรแกรม (Scripted Oracle) จะได้รับผลกระทบเท่าๆ กัน แต่จุดที่ LLM ล้มเหลวอย่างสิ้นเชิงคือเมื่อมีการรบกวนในส่วนการสร้าง Output (JSON serialization) ซึ่งชี้ให้เห็นว่าปัญหาไม่ได้อยู่ที่ทักษะการใช้เหตุผล (Cognitive reasoning) แต่อยู่ที่ส่วนอินเตอร์เฟซและการตรวจสอบความถูกต้องของข้อมูล
