在2026年CES上，英伟达CEO黄仁勋发布了名为“推理上下文内存平台”(ICMS)的全新硬件，旨在解决AI推理阶段爆炸式增长的数据存储需求。这标志着AI硬件架构的重心正从算力堆叠向高效的上下文存储转移，NAND闪存和SSD有望成为继HBM之后的下一个关键增长引擎。
KV缓存激增催生存储新需求
ICMS的核心动因在于解决AI推理中的“KV缓存”问题。KV缓存是AI理解对话上下文、进行逻辑推理的关键。随着AI从学习转向大规模推理及多模态应用，所需处理的KV缓存数据量呈爆炸式增长，现有的GPU显存和服务器内存架构已难以满足需求。
DPU+SSD构建9600TB海量缓存池
ICMS平台的核心是将DPU与超大容量SSD相结合：
- 平台采用新的“BlueField-4”DPU作为数据传输的“行政后勤官”，以减轻CPU负担。
- 一个标准ICMS机架包含16个SSD托架，每个托架由4个DPU管理600TB的SSD，单个机架总容量高达9600TB。
- 通过该平台，GPU的可用内存容量在虚拟层面从1TB提升到了16TB，并实现了每秒200GB的KV缓存传输速度。
开启NAND闪存与SSD的黄金时代
ICMS平台主要利用SSD，这直接利好NAND闪存制造商：
- 英伟达将ICMS定位为介于服务器内部SSD和外部存储之间的“第3.5层”存储。
- 与昂贵耗电的DRAM相比，由高性能DPU管理的大容量SSD成为存储KV缓存的理想选择。
- 市场对企业级SSD和NAND闪存的需求预计将大幅攀升。
三星电子和SK海力士等存储巨头将直接受益。 SK海力士已宣布与英伟达合作开发名为“AI-N P”的原型产品，计划利用PCIe Gen 6接口，在年底推出支持2500万IOPS的存储产品，并预计到2027年底将性能提升至1亿IOPS。
