NVIDIA ขยายขอบเขตของโครงสร้างพื้นฐาน AI ด้วยการเปิดตัว NVIDIA NVHBM ซึ่งเป็นเทคโนโลยีหน่วยความจำแบนด์วิดท์สูงยุคถัดไป โดยนวัตกรรมที่สำคัญคือการรวมตัวควบคุมหน่วยความจำ (Memory Controller) ของ NVIDIA เข้าไว้ในแผ่นฐานของชิป HBM (Base Die) โดยตรง แทนที่จะอยู่บนชิปประมวลผล (XPU) เหมือนสถาปัตยกรรมเดิม
การเปลี่ยนแปลงนี้ส่งผลให้ได้แบนด์วิดท์หน่วยความจำเพิ่มขึ้นสูงสุด 30% และลดการใช้พลังงานลง 15% ที่สำคัญยังช่วยคืนพื้นที่บนชิปประมวลผลหลักได้ถึง 25% ซึ่งสามารถนำไปใช้เพิ่มหน่วยประมวลผล (Compute) ได้มากขึ้น โดยมี Amazon (Annapurna Labs) เป็นลูกค้ารายแรกที่นำเทคโนโลยีนี้ไปใช้ร่วมกับชิป Trainium4 รุ่นใหม่
