资讯池
提高内存使用效率 英伟达提出AI内存全栈协同设计方案
日期: 2026-11-06 00:29来源: 财联社域名: finance.eastmoney.com
溯源
重要性：背景级 · 50·对象槽：unmatched·对象关系：sector_transmission·影响对象：sector:存储、sector:AI·来源/栏目：东方财富·抓取时间：2026-11-06 00:30:01·信任分层：优先源
英伟达 11月5日发布文章称，随着AI模型规模扩大、上下文窗口延长以及智能体应用普及，GPU内存压力持续上升，HBM供应趋紧、价格上涨。 英伟达 提出通过GPU、CPU、网络、存储及软件协同设计，提高内存使用效率，而非单纯增加GPU内存容量。
具体来看， 英伟达 通过NVFP4低精度格式压缩模型权重和KV Cache，将暂时不活跃的上下文转移至成本更低的存储层，并利用多GPU分布式部署释放HBM空间。
英伟达披露，在SemiAnalysis AgentX测试中，GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍；Vera Rubin NVL72相较GB300 NVL72，单位成本推理吞吐量最高提升30倍，而单GPU HBM容量仅增加约3%