NVIDIA เปิดตัวอัปเดต TensorRT Edge-LLM รองรับสถาปัตยกรรม MoE และโมเดลรุ่นล่าสุดอย่าง Cosmos Reason 2 และ Qwen3 บนแพลตฟอร์ม Jetson และ DRIVE
ROBOTICS & HUMANOID
NVIDIA TensorRT Edge-LLM ขยายขีดความสามารถ Physical AI บนหุ่นยนต์และรถยนต์ไร้คนขับ
สรุปประเด็นหลัก
รองรับ Mixture of Experts (MoE) ช่วยให้รันโมเดลขนาดใหญ่บนอุปกรณ์ปลายทางได้อย่างมีประสิทธิภาพ
เพิ่มโมเดล Cosmos Reason 2 สำหรับการให้เหตุผลเชิงพื้นที่และเวลาในงานหุ่นยนต์
รองรับ Qwen3-TTS/ASR เพื่อการสื่อสารด้วยเสียงแบบต่อเนื่องและมีความหน่วงต่ำ
นวัตกรรมและเทคโนโลยี
models
Mixture of Experts (MoE) Support
เทคนิคการเลือกใช้งานพารามิเตอร์บางส่วนเพื่อลดการใช้พลังงานและรักษาความเร็วในการประมวลผลบน Edge Device
creative ai
Cosmos Reason 2 Integration
โมเดล VLM ที่ออกแบบมาเพื่อความเข้าใจด้านฟิสิกส์ การระบุตำแหน่งพิกัด 3D และการวางแผนการทำงานของหุ่นยนต์
models
Hybrid Mamba-2 Architecture
การผสมผสานโครงสร้างเพื่อลดการใช้หน่วยความจำจาก KV Cache แต่ยังรักษาความแม่นยำในการประมวลผลระดับสูง
Developer Impact
นักพัฒนาสามารถรันโมเดล AI ที่มีตรรกะซับซ้อน (System 2 Reasoning) บนอุปกรณ์ฝังตัวได้โดยตรง ช่วยให้หุ่นยนต์และรถยนต์อัจฉริยะสามารถตัดสินใจได้แบบเรียลไทม์โดยไม่ต้องพึ่งพาระบบคลาวด์
Keywords
Original Source
NVIDIA Technical Blog 