Folia
← 返回头版

AI推理背后的隐性存储成本问题

AI推理过程中的数据存储成本远被低估。虽然企业通常将关注点集中在计算成本(GPU)上,但AI推理产生的大量后端数据存储需求正迅速成为重要的成本因素。1一个8秒的AI生成视频在用户端呈现为3.97MB的720p文件,但在后端却会产生超过500MB的关联数据,相当于输出文件大小的130倍。1

根据IDC对763名IT和业务决策者的全球调查,95%的受访者在过去12个月内报告了因生成式AI导致的数据量增长,其中61%的增幅达到25%或更高。1McKinsey的预测显示,AI推理需求将以35%的年复合增长率增长至2030年,这一速度高于训练需求的22%,推理最终将占数据中心需求的40%以上。1随着这一趋势的发展,存储成本可能在12至18个月内从项目预算中被忽视的部分转变为重要的支出项目。1

调查中96%的受访者预计需要更快的存档检索能力以支持推理或检索增强生成(RAG)应用。1一家超大规模云服务提供商的高级产品经理指出,如果GPU处于空闲等待数据的状态,相关成本与缺乏GPU一样昂贵,这进一步突显了存储基础设施与计算资源之间的紧密关联。1


评论