NVIDIA เปิดเผยกลยุทธ์การรับมือกับความต้องการหน่วยความจำที่เพิ่มสูงขึ้นจากการประมวลผล AI ในระดับ 'AI Factory' โดยใช้แนวทางที่เรียกว่า Full-Stack Codesign ซึ่งไม่ได้มุ่งเน้นเพียงแค่การเพิ่มความจุของหน่วยความจำ HBM บน GPU เท่านั้น แต่เป็นการออกแบบ GPU, CPU, ระบบเครือข่าย, อุปกรณ์จัดเก็บข้อมูล และซอฟต์แวร์ให้ทำงานร่วมกันอย่างเป็นระบบ
หัวใจสำคัญของเทคโนโลยีนี้คือการจัดการลำดับชั้นหน่วยความจำ (Memory Hierarchy) อย่างมีประสิทธิภาพ เช่น การใช้รูปแบบข้อมูล NVFP4 (4-bit) เพื่อลดขนาดของ Model Weights และ KV Cache รวมถึงการใช้ซอฟต์แวร์ NVIDIA Dynamo เพื่อย้ายข้อมูลที่ไม่ได้ใช้งานจาก HBM ไปยังหน่วยความจำชั้นอื่นที่ประหยัดกว่า เช่น CPU Memory หรือ CMX storage และดึงกลับมาใช้ใหม่เมื่อต้องการ ซึ่งช่วยให้ระบบสามารถรองรับผู้ใช้งานได้มากขึ้นในขณะที่ใช้ทรัพยากรเท่าเดิม
ผลลัพธ์จากแนวทางนี้เห็นได้ชัดเจนในแพลตฟอร์ม Vera Rubin ที่แม้ความจุ HBM ต่อ GPU จะเพิ่มขึ้นเพียง 3% แต่ประสิทธิภาพการประมวลผลต่อดอลลาร์ในงานประเภท Agentic AI สามารถเพิ่มขึ้นได้สูงถึง 30 เท่า เมื่อเทียบกับรุ่นก่อนหน้า ซึ่งช่วยให้ผู้ให้บริการดาต้าเซ็นเตอร์สามารถสร้างรายได้ได้มากขึ้นภายใต้ข้อจำกัดด้านพลังงานเดิม
