งานวิจัยล่าสุดแสดงให้เห็นว่าโมเดลภาษาขนาด 27 พันล้านพารามิเตอร์สามารถปรับปรุงประสิทธิภาพของตัวเองได้ด้วยการแก้ไขน้ำหนัก (weights) ภายใน โดยอาศัยการให้เหตุผลของตัวโมเดลเอง ซึ่งต่างจากวิธีการฝึกฝนแบบเดิมที่ต้องอาศัย Gradient หรือกระบวนการ Pre-training และ Post-training วิธีการ 'Self-rewriting' นี้ช่วยให้โมเดลวินิจฉัยความผิดพลาดและแก้ไขน้ำหนักที่เกี่ยวข้องได้
การทดลองพบว่าการแก้ไขน้ำหนักที่โมเดลดำเนินการด้วยตัวเองนี้ ส่งผลให้ความแม่นยำเพิ่มขึ้น 6.6 จุด ในชุดปัญหา 490 ข้อที่ไม่เคยเห็นมาก่อน และผลลัพธ์ที่ได้ยังคงอยู่ในน้ำหนักของโมเดล ไม่เพิ่มต้นทุนในการ Inference นอกจากนี้ โมเดลยังสามารถซ่อมแซมส่วนที่เสียหายของตัวเองได้ โดยสามารถกู้คืนความแม่นยำจาก 7% เป็น 70% ในชุดการทดสอบรูปภาพที่ไม่ได้เป็นส่วนหนึ่งของการฝึกซ่อมแซม ความสามารถนี้เกิดขึ้นเฉพาะในโมเดลขนาดใหญ่เท่านั้น โดยโมเดลขนาด 2B, 4B และ 9B ไม่สามารถทำได้สำเร็จ หรือเกิดความเสียหาย