存储迎来历史性拐点,AI数据工厂为何成共识?
2026-10-31 10:41:49
  • 0
  • 0
  • 0

存储产业正迎来“历史性拐点”----这是2026数据存储产业大会所传递出清晰信号。

当人工智能从单纯的“生成文本”阶段,全面迈入具备自主规划、决策与复杂任务执行能力的“智能体(Agent)”时代,成千上万的Agent并发涌动且执行多轮复杂推理,也标志着数据存储的核心价值需要重新定义。

中科曙光分布式存储产品部总经理石静在本次大会上直言:Token(词元)已成为核心生产要素,存储必须摆脱过去那种“静态水库”式的被动容器角色,跃升为主动参与AI全生命周期生产、实现规模化数据加工与高性价比Token生成的“AI数据工厂”。

因此,“以先进存力,筑AI基石”已不仅仅是一场微观的技术变革,而且成为企业数智化转型升级的一道必答题,更凝聚成中国产业智能化迈向新阶段的集体共识。

Agent时代,存储的核心价值变了

智能体是一个集成感知、记忆、规划与行动能力的复杂系统,它接收复杂指令之后,将其拆解为多步骤的长链路子任务,自主调用 API 和外部工具,并在动态环境中根据反馈不断调整决策,直到交付最终成果。这种从“生成”到“执行”的转变,直接引发了 Token 消耗量的狂飙突进。

IDC预测显示,从2026年至2030年,全球活跃智能体数量将从7940万个增至22.16亿个,复合增长率129.8%;与此同时,全球Token消耗量的复合增长率也将达到4822.6%。

具体来看,智能体的长链路任务模式,已形成了由工作记忆、短期记忆、长期记忆和组织记忆组成的四层记忆体系。

工作记忆承载的是当前执行任务上下文,需要低延时和高带宽来加速“思考”;短期记忆则保存近期会话与执行状态,要求快速读写与动态更新能力;长期记忆则对于用户偏好与历史经验能做到持久化保存与可检索;组织基于则对于权限治理、安全合规提出严格要求。

无疑,不断涌现的智能体数量和近乎失控的Token消耗量,对于数据存储需求产生了结构性的改变,容量、IO访问、数据流动与管理与过去相比截然不同。

例如,智能体的数据访问模式是随机、高频和碎片化的,且任务等待在长链路中非常容易放大,对于低延迟要求极高;同样,智能体上下文窗口的持续扩大,加上海量智能体的写作,使得KV Cache不再是“缓存”,而是一个需要分层管理的、体量可观的持久化数据集,对于数据容量与流动管理提出全新挑战。

因此,存储的核心价值正在重新定义。石静判断,存储需要持续向Agent提供可检索、可更新和可治理的记忆与上下文从数据保存向动态数据供给演进 ,以支撑长链路任务执行。

AI数据工厂,让存储变成“产线”

事实上,在智能体时代中,存储已成为AI推理的主链路,而非过往的“后台”角色。石静直言,存储需蜕变为“AI数据工厂”,并具备Token供给、缓存、调度和复用的职能。

所谓“AI数据工厂”,是指能够贯穿原始数据写入、预处理流水线调度、模型训练、推理 Token 生成、智能体编排以及合规归档的AI全生命周期,担起智能化、高性价比的规模化数据生产与Token生成重任的主动型基础设施。

那么,如何支撑起整个AI数据工厂的高效运转?中科曙光也给出了系统性的答案:即集中式存储FlashNexus和分布式存储ParaStor双轮驱动,构建高性能先进存力底座,从海量异构数据管理、数据跨域流动、极致优化的数据通路和全层级的缓存加速四个维度进行有力支撑。

首先,现代化工厂通常需要确保生产原料的高质量与合规供给。映射到AI数据工厂,就是通过原生多协议融合技术、统一命名空间、原生KV Cache语义等技术,来海量异构数据的管理,构筑超大规模的统一数据仓,让海量数据真正为AI准备就绪。

其次,现代化工厂还离不开供应链的通畅与高效管理。与之类似,以全域数据的统一视图让AI数据工厂的数据“看得见”和“看的全”;同时,在流转维度上,实现“生产资料”在时间与空间维度的双重智能调度,实现数据跨协议、跨介质、跨平台和跨区域的自由迁移,让数据从“流得动”走向“流得巧”。

第三,生产流水线的效率是现代化工厂核心竞争力。在AI数据工厂中,中科曙光的解法是,以软硬协同的方式来构筑“超级隧道”,通过XDS、BurstBuffer、scaleFabirc等技术实现端到端全链路加速,让数据近计算、存储亲应用,大幅提升AI数据工厂的整体效率。

最后,规模化的柔性定制考验现代化工厂的全局统筹与智能调度能力。放在智能体时代,AI数据工厂就需要解决关键的KV Cache难题。为此,中科曙光全层级KV Cache高效管理方案--ParaCache,以全局管制与跨层调度构建起高性价比、生产可用的统一KV 共享池,实现首词延迟(TTFT)小于10s,单 TB 成本上仅为内存的 2.5%,且Token 吞吐量提升25 倍、Token并发数提升 16 倍,让每个智能体都能快速完成任务。

“随着海量智能体进入到千行百业的场景之中,Token的规模化供给将成为刚需,这也是AI数据工厂的核心价值所在。”石静总结道。

先进存力筑基,实践落地先行

无疑,先进存力不仅是整个AI数据工厂的基石。

不过,先进存力从概念进入到“产线”,离不开行业场景的实践与打磨。以曙光存储为例,其多年坚持的自主研发战略,已形成集中式存储FlashNexus和分布式存储ParaStor双轮驱动策略,为中国先进存力走向“产线”提供了坚实支撑。其中,分布式存储ParaStor多次夺得IO500世界第一,拥有单节点220GB/s、1000万IOPS的领先性能;集中式存储FlashNexus则以亿级IOPS夺得全球权威的 SPC-1 榜单冠军,控制器4坏3还确保极端故障下的数据安全。

事实上,曙光存储的集中式存储FlashNexus和分布式存储ParaStor产品并非停留在测试环境下的“花架子”,而是真正在中国最具代表性的工业与科研场景中经历了严苛的考验。

以中国首个十万卡超智融合算力集群--曙光8000为例,其正在赋能AI、AI4S与科学工程计算等多个场景。曙光存储为其构建起面向超大规模AI、超智融合应用的统一数据底座,在气候一体化、工业仿真、万卡大模型训练、生命科学研究等场景中表现优异。

同样,物理AI和具身智能是当下人工智能最为热门的领域,且机器人迭代速度,取决于数据供给能否顺畅高效。尤其是机器人“大脑”的高频迭代,需要以百PB级冷热分层底座,打通“采、存、训”数据闭环。为此,在智能机器人的数采工厂场景中,曙光存储覆盖数据归集、清洗、归档全生命周期,协助智元机器人快速、高效完成数据集批量导入和全流程模型的训练。

另外,自动驾驶已经全速向L3、L4演进,对于数据链路横跨采集、预处理、训练、仿真和结果分析要求持续提升。在某头部新势力车企的自动驾驶平台中,曙光存储构建起上百PB的统一资源池,不仅让数据按需流动,更结合 DataLoader 边读边训,实现计算与 IO 的无限重叠,让训练效率的飞跃。

“曙光存储愿意与产业伙伴一起携手,构建AI数据工厂,让每一个Token的生成更高效、更低耗”石静最后表示道。

 
最新文章
相关阅读