ROBOTICS & HUMANOID

Talk to Act: ชุดข้อมูลสังเคราะห์ใหม่สำหรับหุ่นยนต์ที่เข้าใจคำสั่งมนุษย์ผ่านการสนทนา

arXiv16 Nov 2026
1 min read
Key Takeaways
  • ชุดข้อมูล Talk to Act ช่วยให้สามารถประเมินโมเดลภาษาขนาดเล็กเพื่อการโต้ตอบกับหุ่นยนต์ได้อย่างมีประสิทธิภาพ โดยแสดงให้เห็นว่าโมเดลเหล่านี้สามารถสกัดความตั้งใจและวางแผนการกระทำได้ดีแม้ไม่มีการปรับแต่งเฉพาะงาน

ทำไมเรื่องนี้ถึงสำคัญ

การมีชุดข้อมูลที่ครอบคลุมและแม่นยำสำหรับการฝึกโมเดลภาษาในบริบทของหุ่นยนต์จะช่วยเร่งการพัฒนาระบบ HRI ที่เป็นธรรมชาติและใช้งานง่ายขึ้น. การพิสูจน์ว่าโมเดลภาษาขนาดเล็กสามารถทำงานได้ดีโดยไม่ต้องปรับแต่งเฉพาะงาน ยังเปิดโอกาสให้มีการใช้งานระบบหุ่นยนต์สนทนาในอุปกรณ์ที่มีทรัพยากรจำกัดมากขึ้น.

การปฏิสัมพันธ์แบบสนทนาหลายรอบระหว่างมนุษย์กับหุ่นยนต์ยังคงเป็นปัญหาที่ท้าทาย เนื่องจากระบบที่มีอยู่มักจะใช้ส่วนต่อประสานที่เข้มงวดและขับเคลื่อนด้วยคำสั่ง ซึ่งอาจไม่เป็นธรรมชาติสำหรับผู้ใช้. ความก้าวหน้าล่าสุดในโมเดลภาษาขนาดใหญ่ (LLMs) แสดงให้เห็นทิศทางที่น่าสนใจ เนื่องจากความสามารถในการประมวลผลภาษาธรรมชาติ สร้างเอาต์พุตที่มีโครงสร้าง และสนับสนุนการใช้เครื่องมือต่างๆ ซึ่งทั้งหมดนี้เกี่ยวข้องกับการตีความความตั้งใจของผู้ใช้ในสภาพแวดล้อมของหุ่นยนต์. อย่างไรก็ตาม ความก้าวหน้าในด้านนี้ถูกจำกัดด้วยข้อจำกัดของชุดข้อมูลและเกณฑ์มาตรฐานที่มีอยู่ ซึ่งไม่ได้จับความละเอียดอ่อนของการสื่อสารของมนุษย์ในโลกจริง เช่น บทสนทนาหลายรอบ ความคลุมเครือ และคำขอที่ขึ้นอยู่กับบริบท.

ในงานวิจัยนี้ นักวิจัยจึงได้นำเสนอชุดข้อมูลบทสนทนาแบบหลายรอบที่สร้างขึ้นสังเคราะห์สำหรับ HRI ซึ่งมีการใส่คำอธิบายประกอบด้วยความตั้งใจในการกระทำ การอ้างอิงวัตถุ และแผนงานในสถานการณ์และบุคลิกของผู้ใช้ที่หลากหลาย. โดยมีจุดประสงค์หลักคือการประเมินความสามารถของโมเดลภาษาขนาดเล็กแบบ Open-weight สำหรับงานหุ่นยนต์ โดยเฉพาะอย่างยิ่งในสภาพแวดล้อมที่การติดตั้งในเครื่องและประสิทธิภาพเป็นสิ่งสำคัญ. นักวิจัยได้กำหนดการสกัดความตั้งใจเป็นปัญหาการเรียกใช้เครื่องมือ ซึ่งการกระทำที่คาดการณ์แต่ละครั้งสอดคล้องกับการเรียกใช้ฟังก์ชันที่มีโครงสร้างพร้อมอาร์กิวเมนต์ที่อิงตามบทสนทนา และได้ทำการเปรียบเทียบโมเดลตั้งแต่ 270 ล้านถึง 8 พันล้านพารามิเตอร์เกี่ยวกับความสามารถในการสกัดความตั้งใจและการวางแผนการกระทำโดยไม่ต้องปรับแต่งเฉพาะงาน.

ผลลัพธ์แสดงให้เห็นว่าโมเดลเหล่านี้สามารถบรรลุประสิทธิภาพที่สมเหตุสมผลสำหรับงานได้แม้ในขนาดที่ค่อนข้างเล็กและไม่มีการปรับแต่งเฉพาะงาน. สิ่งนี้ชี้ให้เห็นว่าโมเดลขนาดกะทัดรัดที่สามารถติดตั้งในเครื่องได้นั้นมีพื้นฐานที่เป็นประโยชน์สำหรับระบบหุ่นยนต์สนทนาอยู่แล้ว. นักวิจัยคาดว่าการปรับแต่งเฉพาะงานและข้อมูลการฝึกอบรมที่สมจริงมากขึ้นจะช่วยเพิ่มประสิทธิภาพให้ดียิ่งขึ้นไปอีก และทำให้โมเดลดังกล่าวเหมาะสมกับการใช้งานหุ่นยนต์ในโลกจริงมากขึ้น.

สรุปประเด็นหลัก

นำเสนอชุดข้อมูลบทสนทนาสังเคราะห์ Talk to Act สำหรับการปฏิสัมพันธ์ระหว่างมนุษย์กับหุ่นยนต์ (HRI).

เน้นการประเมินโมเดลภาษาขนาดเล็กแบบ Open-weight สำหรับการสกัดความตั้งใจและการวางแผนการกระทำของหุ่นยนต์.

ผลการวิจัยชี้ว่าโมเดลขนาดเล็กสามารถทำงานได้ดีพอสมควรโดยไม่ต้องปรับแต่งเฉพาะงาน ซึ่งมีประโยชน์ต่อการใช้งานแบบ Edge.

นวัตกรรมและเทคโนโลยี

research

ชุดข้อมูลบทสนทนาสังเคราะห์ Talk to Act

ชุดข้อมูลบทสนทนาแบบหลายรอบที่สร้างขึ้นสังเคราะห์ พร้อมคำอธิบายประกอบสำหรับความตั้งใจในการกระทำ การอ้างอิงวัตถุ และแผนงาน ออกแบบมาเพื่อจำลองการสื่อสารของมนุษย์ในโลกจริง.

research

การประเมินโมเดลภาษาขนาดเล็กสำหรับงานหุ่นยนต์

การทดสอบความสามารถของโมเดลภาษาขนาดเล็ก (270M ถึง 8B พารามิเตอร์) ในการสกัดความตั้งใจและวางแผนการกระทำในบริบทหุ่นยนต์ โดยไม่ต้องมีการปรับแต่งเฉพาะงาน โดยให้ผลลัพธ์ที่มีประสิทธิภาพดี.

Developer Impact
นักพัฒนาและนักวิจัยด้านหุ่นยนต์และ AI จะได้รับประโยชน์จากชุดข้อมูลใหม่นี้ในการฝึกฝนและประเมินโมเดลภาษาสำหรับการควบคุมหุ่นยนต์ผ่านคำสั่งเสียงหรือข้อความ. นอกจากนี้ ผลลัพธ์ที่แสดงให้เห็นว่าโมเดลขนาดเล็กมีประสิทธิภาพดี ทำให้สามารถพิจารณาการติดตั้งระบบ AI ในหุ่นยนต์โดยตรงโดยใช้ทรัพยากรน้อยลง.
Keywords
#hri #robotics #llm #multi-turn dialogue #intent extraction #action planning
Original Source

อ่านข้อมูลเพิ่มเติมจากแหล่งข่าวหลัก

arXiv