เมื่อมีการนำโมเดลแบบ Mixture-of-Experts (MoE) ไปใช้งานจริง การบีบอัดข้อมูล เช่น การทำ 4-bit KV-cache quantization มักจะส่งผลต่อความแม่นยำ งานวิจัยฉบับนี้ชี้ให้เห็นว่าการบีบอัดข้อมูลเหล่านี้ทำให้เกิดปรากฏการณ์ 'Route Flip' หรือการที่โทเค็นถูกส่งไปยัง Expert ผิดตัวเนื่องจากความคลาดเคลื่อนของตัวเลขในระดับทศนิยม
จากการทดสอบบนสถาปัตยกรรม OLMoE-1B-7B ผู้วิจัยพบว่าความเสียหายประมาณ 1 ใน 3 เกิดจากการสลับ Expert นี้เอง ที่น่าสนใจคือ แม้เราจะสามารถตรวจจับได้ว่าเกิดการสลับขึ้น (Route Flip Detection) แต่เราไม่สามารถแยกแยะได้ว่าการสลับนั้นทำให้ผลลัพธ์ดีขึ้นหรือแย่ลงเพียงแค่การสังเกตจากตัวเลขภายในระบบ (Router Statistics) ซึ่งถือเป็นกำแพงสำคัญในการหาวิธีแก้ไขที่ได้ประสิทธิภาพ
