美光高管揭秘AI内存需求爆炸：产能跟不上，市场还没看透潜力！

AI推理的“内存墙”不够用就得从头算近日The Circuit播客专访美光科技数据中心业务部门高级副总裁兼总经理Jeremy Werner探讨AI时代内存与存储行业变化。Werner指出本轮内存行业繁荣与以往不同内存成推理关键资产和训练核心支撑趋势不减。训练用内存学习后输出模型推理用内存记忆。推理分两阶段解码时需KV缓存内存不足则重新计算算力指数增长充足内存可让GPU算力平方提升。推动KV缓存需求增长因素有上下文窗口变长、模型参数量增大、并发用户增多目前上下文长度年增速30倍。内存层级从HBM到SSD一条完整的“存储链”Werner梳理了AI数据中心内存层级从HBM到SSD构成“存储链”。HBM紧贴GPU容量10 - 100GB速度快但容量有限主内存连接CPU容量是HBM的4 - 20倍速度慢扩展内存未大规模部署上下文内存存储用SSD存KV缓存容量大但延迟高、带宽低数据湖是底层海量SSD存储。目前该层级供不应求。HBM4与245TB SSD美光的两张王牌美光在HBM4和SSD发力。HBM4产品带宽是上一代HBM3e两倍以上可加快数据到GPU速度。245TB SSD体积小能减少设备数量和配套设施压缩存储占地超80%降低功耗回应数据中心电力和空间约束。产能已经跟不上全球五座晶圆厂同步开建Werner坦言内存行业产能不足美光正全球建五座晶圆厂包括爱达荷州博伊西、纽约州北部、弗吉尼亚州、新加坡、日本和中国台湾等地。行业受洁净室空间限制短期内难改善英特尔等也表示产能已满。市场还没看懂这件事对于市场担忧云服务商资本开支Werner认为企业正经历革命潜力大。AI应用未饱和推理时代刚起步Agentic AI和物理AI未大规模落地。硅谷内外对AI认知有落差。访谈全文节目中嘉宾和主持人围绕各话题展开讨论涉及这轮周期与以往不同、AI增长预判、市场可持续性、推理“内存墙”、KV缓存、内存层级、用户并发需求、功耗瓶颈、存储短缺、个人AI Agent内存需求、SSD创新、工程创新节奏等内容。如Jeremy提到美光早布局AI技术扩产是因AI可持续创新推理架构面临存储挑战内存不足会使计算量指数增长等。