งานวิจัยนี้เปิดตัว Agent4Sci ซึ่งเป็นชุดทดสอบ (Testbed) ระยะยาวที่ออกแบบมาเพื่อวัดความสามารถของ AI Agent ในการพัฒนาโมเดลวิทยาศาสตร์บนเกณฑ์มาตรฐาน 20 รายการจาก 11 สาขาวิชาเป้าหมายคือการตรวจสอบว่าเอไอสามารถก้าวข้ามการเป็นเพียงวิศวกรซอฟต์แวร์ไปสู่การเป็นนักวิจัยได้หรือไม่
ผลการทดลองพบว่าโมเดลชั้นนำอย่าง Claude Opus สามารถปรับปรุงผลลัพธ์ได้ดีขึ้นเฉลี่ย 10.4% แต่การวิเคราะห์พบว่าความก้าวหน้านี้มาจาก 'เทคนิคทางวิศวกรรม ML' ทั่วไปเป็นหลัก ไม่ใช่ความเข้าใจในตัวแปรทางวิทยาศาสตร์จริงๆ อย่างไรก็ตาม เมื่อมีการเพิ่มทักษะเสริม (Plug-in Skills) เช่น ระบบจัดการการทดลองและการวางแผนการวิจัย ประสิทธิภาพของโมเดลสามารถพุ่งสูงขึ้นเป็น 20.1% ซึ่งเป็นแนวทางสำคัญในการพัฒนา AI เพื่อการค้นพบทางวิทยาศาสตร์ต่อไป
