สถาปัตยกรรม Transformers ที่เป็นพื้นฐานสำคัญของโมเดลภาษาขนาดใหญ่ (LLM) มาเกือบทศวรรษเริ่มแสดงให้เห็นถึงข้อจำกัด โดยเฉพาะปัญหาเรื่องการใช้พลังงานไฟฟ้าจำนวนมากและค่าใช้จ่ายในการประมวลผลที่พุ่งสูงขึ้นตามปริมาณข้อมูล (Context Window) สตาร์ทอัพอย่าง Subquadratic และ Manifest AI กำลังนำเสนอทางเลือกใหม่ด้วยเทคโนโลยีอย่าง Sparse Attention และ Power Retention ที่ช่วยลดจำนวนการคำนวณลงโดยยังคงความแม่นยำในการสื่อความหมาย
นอกจากนี้ สตาร์ทอัพอย่าง Liquid AI ยังได้พัฒนา Liquid Foundation Models (LFMs) ซึ่งได้รับแรงบันดาลใจจากสมองของสิ่งมีชีวิตขนาดเล็ก ทำให้โมเดลมีขนาดเล็กลงและประหยัดพลังงานมากขึ้นจนสามารถทำงานบนฮาร์ดแวร์ทั่วไปอย่าง Raspberry Pi ได้ ความพยายามเหล่านี้แสดงให้เห็นถึงความต้องการก้าวข้ามขีดจำกัดเดิมของ Transformers เพื่อให้ AI เข้าถึงได้ง่ายขึ้นและมีประสิทธิภาพสูงกว่าที่เคยเป็นมา
