NVIDIA อัปเกรด TensorRT Edge-LLM เพื่อรองรับสถาปัตยกรรม MoE, Cosmos Reason 2 และโมเดล Qwen3 บนแพลตฟอร์ม Jetson และ DRIVE ช่วยให้การประมวลผล AI ระดับสูงบนอุปกรณ์ Edge มีประสิทธิภาพและประหยัดพลังงานมากขึ้น
Technology
NVIDIA เปิดตัว TensorRT Edge-LLM รุ่นใหม่ ขับเคลื่อน Physical AI สำหรับรถยนต์ไร้คนขับและหุ่นยนต์
สรุปประเด็นหลัก
รองรับสถาปัตยกรรม Mixture of Experts (MoE) ช่วยให้รันโมเดลขนาดใหญ่บนอุปกรณ์ Edge ได้โดยใช้พลังงานต่ำและมีความหน่วงน้อย
เพิ่มโมเดล Cosmos Reason 2 เสริมทักษะการวางแผนและการรับรู้เชิงมิติเวลา (Spatio-temporal) สำหรับหุ่นยนต์ฮิวแมนนอยด์
รองรับ Qwen3-TTS/ASR แบบ end-to-end เพื่อการโต้ตอบด้วยเสียงที่รวดเร็วและเป็นธรรมชาติผ่านโครงสร้าง Thinker-Talker
นวัตกรรมและเทคโนโลยี
models
การรองรับ Mixture of Experts (MoE) ที่ Edge
เพิ่มประสิทธิภาพการประมวลผลโมเดล MoE เช่น Qwen3 ช่วยให้เข้าถึงความสามารถของโมเดลขนาดใหญ่ได้ภายใต้ข้อจำกัดด้านพลังงานของอุปกรณ์พกพา
platform
สถาปัตยกรรม Hybrid Mamba-2-Transformer
รองรับ Nemotron 2 Nano ที่ช่วยลดการใช้หน่วยความจำ KV cache อย่างมหาศาล แต่ยังคงความแม่นยำสูงสำหรับการใช้เหตุผลที่ซับซ้อน
creative ai
Cosmos Reason 2 สำหรับ Physical AI
โมเดล VLM โอเพนซอร์สที่เน้นการวางแผนและทำความเข้าใจฟิสิกส์ ช่วยให้หุ่นยนต์เข้าใจตำแหน่ง 3D และความสัมพันธ์เชิงเวลาได้ดีขึ้น
tools
ระบบโต้ตอบด้วยเสียง Qwen3-TTS และ ASR
การประมวลผลเสียงแบบ end-to-end ช่วยลดความหน่วงในการสื่อสารระหว่างมนุษย์กับ AI ในห้องโดยสารรถยนต์หรือหุ่นยนต์
Developer Impact
นักพัฒนาสามารถนำโมเดลภาษาและการใช้เหตุผลที่ซับซ้อนมาติดตั้งลงบนอุปกรณ์ Edge ได้โดยตรง ช่วยให้ระบบอัตโนมัติทำงานได้แบบเรียลไทม์โดยไม่ต้องพึ่งพาคลาวด์ ซึ่งสำคัญอย่างยิ่งต่อความปลอดภัยในการวางแผนเส้นทางของรถยนต์ไร้คนขับและการโต้ตอบของหุ่นยนต์
Keywords
Original Source
NVIDIA Technical Blog 