ในสภาพแวดล้อมที่เปลี่ยนแปลงตลอดเวลา หุ่นยนต์มักประสบปัญหาเมื่อเจอเหตุการณ์ไม่คาดคิดระหว่างการปฏิบัติงาน เช่น ประตูค้างหรือมีวัตถุขวางทาง งานวิจัยนี้จึงนำเสนอ VAP-TAMP ซึ่งเป็นเฟรมเวิร์กการวางแผนและรับมือสถานการณ์ที่ช่วยให้หุ่นยนต์มีความเป็นอิสระ (Autonomy) ในระยะยาวได้ดีขึ้น
VAP-TAMP ใช้ความรู้ด้านการทำงาน (Action Knowledge) เพื่อสั่งการให้โมเดลภาษาและการมองเห็น (Vision-Language Models หรือ VLMs) เลือกมุมมองภาพและประเมินสถานการณ์อย่างชาญฉลาด ขณะเดียวกันก็มีการสร้างและวิเคราะห์โครงสร้างข้อมูลแบบ Scene Graphs เพื่อบูรณาการการวางแผนงาน (Task Planning) เข้ากับการวางแผนการเคลื่อนที่ (Motion Planning) ระบบนี้ได้รับการทดสอบทั้งในโปรแกรมจำลองและบนหุ่นยนต์เคลื่อนที่จริง พบว่าช่วยให้หุ่นยนต์ตัดสินใจแก้ไขปัญหาเฉพาะหน้าได้แม่นยำขึ้น
