ความท้าทายหลักในการฝึกหุ่นยนต์คือการขาดแคลนชุดข้อมูลการทำงานจริงจากตัวหุ่นยนต์เองที่มีราคาแพง งานวิจัยนี้จึงนำเสนอ HuRo ซึ่งเป็นกระบวนการ (Pipeline) ในการแปลงวิดีโอการทำงานของมนุษย์ที่มีอยู่ทั่วไปให้กลายเป็นข้อมูลที่หุ่นยนต์เข้าใจและนำไปใช้ฝึกฝนได้ โดยระบบจะทำการปรับมุมมองการสังเกตการณ์ (Observations) และวิถีการเคลื่อนที่ (Action trajectories) ของมนุษย์ให้เข้ากับร่างกายของหุ่นยนต์
ทีมวิจัยได้สร้างชุดข้อมูล HuRo ที่ประกอบด้วยวิดีโอกว่า 630,000 ตอน และเฟรมภาพที่ผ่านการประมวลผลแล้วกว่า 142 ล้านเฟรมจากแหล่งวิดีโอมนุษย์ 5 แหล่ง ผลการทดสอบในการทำงานจริงพบว่า การใช้ชุดข้อมูลนี้ร่วมกับการฝึกแบบ Pretraining ช่วยเพิ่มอัตราการทำงานสำเร็จจาก 51.5% เป็น 80.3% และเพิ่มความสามารถในการทำงานในสภาพแวดล้อมที่ไม่คุ้นเคย (OOD) ได้อย่างดีเยี่ยม โดยเฉพาะเมื่อใช้การฝึกฝนแบบ End-to-end ร่วมกับการแปลงการกระทำ (Retargeted actions)
