ทีมนักวิจัยได้เปิดตัว CrowdMath ซึ่งเป็นชุดข้อมูลที่รวบรวมขั้นตอนการแก้ปัญหาคณิตศาสตร์จากการอภิปรายร่วมกันของมนุษย์ในโปรแกรม MIT PRIMES-AoPS ตั้งแต่ปี 2016-2025 โดยชุดข้อมูลนี้มีจุดประสงค์เพื่อทดสอบความสามารถของ AI ในสถานการณ์การทำงานจริงที่ไม่ใช่แค่การหาคำตอบสุดท้ายที่ตายตัว
ผลการทดสอบเบื้องต้นกับโมเดลชั้นนำ 6 รุ่นพบว่า แม้ AI จะสามารถคาดเดาเนื้อหาของโพสต์ถัดไปในการสนทนาได้ค่อนข้างดี (แม่นยำ 83-88%) แต่พวกมันกลับล้มเหลวในการระบุ 'บทบาท' หรือความสำคัญของข้อมูลแต่ละส่วน เช่น การแยกแยะระหว่างการเสนอความก้าวหน้าบางส่วน การหาข้อผิดพลาด หรือการแก้ไขตรรกะที่ผิด ซึ่งเป็นหัวใจสำคัญของการทำวิจัยร่วมกัน งานวิจัยนี้ชี้ให้เห็นว่า AI ยังมีช่องว่างขนาดใหญ่ระหว่างการแก้โจทย์ที่ระบุไว้ชัดเจน กับการเข้าใจกระบวนการทำงานร่วมกันเพื่อแก้โจทย์ที่ยังไม่มีคำตอบ
