การฝึกหุ่นยนต์ให้ทำงานตามความต้องการหรือความชอบของมนุษย์ (Preference-based RL) มักติดขัดเรื่องความจำเป็นในการให้คนมาคอยให้คะแนนหรือป้ายกำกับข้อมูลสำหรับทุกงานใหม่ งานวิจัย PrefO2O นำเสนอโซลูชันแบบ Offline-to-Online ที่ช่วยถ่ายโอนโครงสร้างความชอบของมนุษย์จากงานหนึ่งไปสู่อีกงานหนึ่งได้ทันที
ระบบนี้ทำงานโดยการเรียนรู้ 'พื้นที่ความชอบแฝง' (Latent Preference Space) ที่ไม่ขึ้นกับงานเฉพาะเจาะจง ทำให้หุ่นยนต์สามารถนำความเข้าใจเดิมไปปรับใช้กับงานหรือหุ่นยนต์รูปแบบอื่นได้แบบ Zero-Shot ผลการทดสอบแสดงให้เห็นว่า PrefO2O มีประสิทธิภาพเทียบเท่าหรือสูงกว่าการฝึกที่ต้องใช้มนุษย์มาให้คำแนะนำจริงๆ ในระหว่างเรียนรู้ ซึ่งจะช่วยประหยัดเวลาและทรัพยากรมนุษย์ได้มหาศาล
