การทำให้หุ่นยนต์ฮิวแมนนอยด์เคลื่อนไหวได้อย่างเป็นธรรมชาติและตอบสนองต่อสภาพแวดล้อมได้แบบเรียลไทม์เป็นเรื่องที่ท้าทาย งานวิจัยนี้จึงนำเสนอโครงสร้างการทำงานแบบ Multi-modal ที่ช่วยให้หุ่นยนต์สามารถประมวลผลสตรีมเสียง (Audio streams) เพื่อควบคุมการเคลื่อนไหวทั้งร่างกาย (Whole-body control)
ระบบจะทำการแยกประเภทของเสียงออกเป็น 2 ส่วน คือ เสียงเพลงและเสียงพูด หากเป็นเสียงเพลง ระบบจะใช้เทคนิค Audio Fingerprinting เพื่อระบุจังหวะและเชื่อมโยงกับนโยบายการเคลื่อนไหวที่เตรียมไว้ แต่หากเป็นเสียงพูด ระบบจะใช้การตีความความหมายเพื่อเลือกทักษะการทำงานจากคลังข้อมูลที่มีอยู่ ระบบนี้ได้รับการทดสอบบนหุ่นยนต์ Unitree G1 ทั้งในรูปแบบสถานการณ์จำลองและความเป็นจริง ซึ่งแสดงให้เห็นถึงการเลือกท่าทางที่แม่นยำและการเปลี่ยนท่าทางที่ลื่นไหลตามเสียงที่ได้รับ
