นักวิจัยจากงานประชุมนานาชาติด้าน Machine Learning (ICML) ได้นำเสนอรายงานที่ชี้ให้เห็นว่า โมเดลภาษาขนาดใหญ่ (LLM) ยอดนิยมในปัจจุบันมีช่องโหว่ระดับรากฐานที่ไม่สามารถแก้ไขได้โดยง่าย ช่องโหว่นี้เกี่ยวข้องกับวิธีที่โมเดลระบุตัวตนของผู้ให้คำสั่ง ซึ่งผู้โจมตีสามารถใช้เทคนิคที่เรียกว่า 'Chain-of-thought forgery' เพื่อหลอกให้โมเดลทำตามคำสั่งที่เป็นอันตราย เช่น การขอสูตรผลิตสารเสพติดหรือวิธีทำลายระบบนำทางของเครื่องบิน
สาเหตุของปัญหาเกิดจากการที่ LLM มองข้อมูลทั้งหมดเป็นเพียงชุดของ Token ต่อเนื่องกัน โดยไม่ได้แยกแยะอย่างเด็ดขาดว่าข้อความใดมาจากผู้ใช้ ระบบ หรือความคิดของตัวมันเอง แม้จะมีการใช้ Tag เพื่อแบ่งบทบาท แต่โมเดลกลับจำแนกบทบาทจากสไตล์และคำที่ใช้มากกว่า หากผู้โจมตีสามารถเลียนแบบสไตล์การเขียนในส่วนที่เป็นบันทึกความคิดของโมเดลได้ โมเดลจะเข้าใจผิดว่าคำสั่งนั้นเป็นสิ่งที่มันคิดขึ้นเองและยินยอมทำตามในที่สุด
การค้นพบนี้ส่งผลกระทบต่อความเชื่อมั่นในความปลอดภัยของ AI เนื่องจากวิธีการฝึกฝนแบบเดิมๆ เช่น การทำ Red-teaming หรือการสอนให้โมเดลรู้ว่าสิ่งใดห้ามทำนั้นไม่สามารถครอบคลุมทุกกรณีได้ นักวิจัยชี้ให้เห็นว่าแม้แต่โมเดลรุ่นใหม่อย่าง GPT-5 หรือโมเดลจากบริษัทชั้นนำอื่นๆ ก็ยังคงมีจุดอ่อนนี้ ซึ่งอาจเป็นปัญหาเชิงโครงสร้างที่แก้ไขไม่ได้ตราบเท่าที่สถาปัตยกรรมพื้นฐานยังเป็นรูปแบบเดิม
