ในปัจจุบันสถาปัตยกรรม Transformer กลายเป็นฟันเฟืองหลักของโมเดลภาษาขนาดใหญ่ (LLM) แทบทุกตัว แต่ด้วยขนาดของข้อมูลที่เพิ่มขึ้นเรื่อยๆ สถาปัตยกรรมนี้เริ่มประสบปัญหาคอขวด โดยเฉพาะด้านค่าใช้จ่ายในการประมวลผลและการจัดการข้อมูลจำนวนมากพร้อมกัน จึงเริ่มมีสตาร์ทอัพหลายแห่งพัฒนาแนวคิดใหม่เพื่อทำให้ LLM เร็วขึ้น มีประสิทธิภาพสูงขึ้น และฉลาดขึ้น
ขณะเดียวกัน วงการวิจัย AI ในระดับมหาวิทยาลัยกำลังเผชิญกับการปรับตัวครั้งใหญ่ เนื่องจากความต้องการด้านการคำนวณที่สูงขึ้นและอิทธิพลของบริษัทเทคโนโลยีขนาดใหญ่ นอกจากนี้ยังมีประเด็นการระดมทุนมหาศาลจาก Nvidia ในด้านโครงสร้างพื้นฐาน AI และกระแสความต้องการเปิดซอร์ส AI ที่นำโดย Mark Zuckerberg ซึ่งส่งผลต่อการแข่งขันในระดับสากลและความมั่นคงทางเทคโนโลยี
