การรันโมเดล Generative AI ขนาดใหญ่บนอุปกรณ์ Edge อย่าง NVIDIA Jetson มักประสบปัญหาข้อจำกัดด้านหน่วยความจำ NVIDIA จึงได้นำเสนอแนวทางการปรับแต่งใน 5 ระดับชั้นของซอฟต์แวร์สแตก เพื่อให้สามารถรันโมเดลที่มีพารามิเตอร์นับพันล้านตัวได้มีประสิทธิภาพมากขึ้น
หัวใจสำคัญอยู่ที่การจัดการในส่วน Board Support Package (BSP) และ JetPack เช่น การปิดบริการ Graphical Desktop และ Network Services ที่ไม่จำเป็น ซึ่งสามารถคืนหน่วยความจำได้สูงสุดถึง 897 MB นอกจากนี้ยังมีการปรับแต่งพื้นที่หน่วยความจำจอง (Carveout) สำหรับระบบที่ไม่ได้ใช้งานกล้องหรือจอภาพ รวมถึงการปิดการใช้งาน SWIOTLB ในระดับ Kernel ซึ่งช่วยลด overhead ของระบบและเพิ่มพื้นที่ว่างให้กับหน่วยความจำที่ใช้งานร่วมกันระหว่าง CPU และ GPU
