巨人天成
产经 科技 企业 数据 峰会 快讯 商业

大模型时代:数据存储面临新挑战,存力成关键

2025-03-19来源:ITBEAR编辑:瑞雪

在人工智能大模型产业的快速发展中,算力、算法和数据一直被视为三大核心要素。然而,随着国内AI芯片技术的不断突破以及DeepSeek等产品的出现,算力短板问题逐渐得到缓解。然而,这并不意味着中国大模型的发展之路已经一帆风顺,存力问题正逐渐成为新的焦点。

存力,即数据存储系统,是支撑大模型训练和推理的重要基础设施。随着大模型规模化应用的不断推进,面对万卡集群、万亿参数和海量数据的挑战,传统存储系统的局限性愈发凸显。在数据猿近期举办的线上论坛上,极道科技行业解决方案经理张策和西部数据资深售前工程师芦浩,就存储产业在大模型时代面临的挑战和变革进行了深入探讨。

芦浩指出,大模型规模化商业应用为存储产业带来了四个新趋势:高容量化、多模态化、高速响应化和低成本化。由于大模型在训练过程中会产生大量的中间数据和版本数据,因此存储系统需要具备更高的容量,以容纳PB级甚至EB级的数据量。同时,大模型已经进入多模态阶段,需要存储系统具备跨模态的实时处理能力。高速响应和低成本也是存储系统需要解决的重要问题。

张策则认为,大模型规模化商业应用为存储产业带来了三大变化:超大规模的集群化部署、分布式并行处理和安全可靠。面对超大规模的训练需求,通用的NAS存储已经无法支撑,需要通过集群化、多级部署来构建庞大且灵活的存储系统。同时,分布式并行文件存储系统能够提供可扩展、多节点的能力,应对数据爆发式增长的需求。稳定性和可靠性也是存储系统的基石,无法保证数据安全和服务的稳定性,再高的算力也将被各种故障所吞没。

存储性能直接决定了大模型在训练推理过程中的GPU利用率。对于GPU架构而言,堆叠算力单元不是难事,但当前计算任务主要耗时集中在等待数据从存储系统到达计算单元的过程。较差的存储性能会严重增加GPU闲置时间,导致模型落地困难、业务成本剧增。因此,大模型的发展不仅要求底层存储基础设施具备更高的性能,还倒逼软件定义存储(SDS)向高性能、弹性化与智能化方向迭代。

芦浩表示,市场渴望更高性能、大容量、低成本的技术突破。在性能方面,未来的存储硬件应进一步提升接口带宽,优化存储介质降低延迟,改进存储架构减少数据查找定位等操作时间。同时,由于大模型训练会带来大量的文件读写操作,因此需要对存储硬件有高的IOPs性能突破。在存储容量扩展方面,需要采用Scale Out和Scale Up纵向扩展和横向扩展的存储架构,提高存储容量以容纳海量的数据。在功耗和成本方面,需要大力探索新型的存储介质,如HAMR等。

技术创新之外,存算协同的发展模式也被认为是未来的大势所趋。倪光南院士曾指出,用广义算力去定义一个算力中心才更准确。美国的算力中心存算比为1.11TB/GFlops,而中国约为美国的37.8%。存算一体作为一种新的计算架构,被认为是具有潜力的革命性技术。它通过打破“存储-计算分离”的模式,直接在存储单元内部集成计算单元,支持数据本地化处理,降低网络传输瓶颈。

极道科技作为国内首家提出存管算协同的分布式系统厂商,张策表示,存算协同的算力平台不仅能应对大规模数据集的处理挑战,支持复杂计算任务,还能通过与存储的协同,针对业务类型优化存储配置,进而借助计算集群的智能化加速科研分析效率。在实际运行中,系统中硬件能力存在大量“闲置”,关键在于存储系统无法独立拆解无序堆叠的I/O。通过存算协同机制,可以将关键信息传递给存储系统,使其能够识别并拆解这些无序堆叠的I/O,化无序为有序,并针对不同的I/O进行精准优化。

对存储产业而言,大模型不仅是需求者,更是革新者。大模型能够精准分析每一个计算任务所需的存储带宽、CPU、GPU资源,从而精准判断作业执行周期和完成时间。随着DeepSeek和Manus等超级AI单品的问世,大模型时代正在加速到来。在新的阶段,算效的价值将越发凸显,存储产业作为优化效率的重要基础设施,将扮演比以往更重要的角色,但也势必要承担更大的责任。

未来十年科技新图景:智能硬件跃迁、AI赋能与网络无感化变革
本文将从智能硬件、AI 算法、未来网络、数字经济、安全体系等多个维度,分析科技浪潮下的核心趋势。 设备变得更聪明网络变得无形AI 成为能力底座数字经济成为主引擎安全体系成为关键支撑科技不是未来,而是现在正在发…

2025-11-15

避开苹果锋芒,聚焦外卖小哥:打造专属他们的超实用蓝牙耳机
试着聚焦一个特定人群,比如外卖小哥。电量要非常足,最好能用一整天。麦克风要特别好,因为外卖小哥大部分时间都在路上,环境嘈杂,麦克风不好的话,对方根本听不清。如果能将耳机固定在头盔上,那就更好了,不怕掉。如果…

2025-11-13

2025微信数据保护全攻略:误删聊天记录别急,多场景恢复方案来了
提前备份是数据安全的核心,2025年微信已支持电脑、云服务、外部存储等多种备份方式,恢复时只需简单操作即可找回记录。苹果和安卓厂商的云服务早已支持微信数据备份,关键是确认误删前有有效备份记录。 2. 选择…

2025-11-13

SK海力士VFO工艺打造HBS技术,为移动设备AI性能提升带来新突破
据闪德资讯获悉,SK海力士正在研发结合移动DRAM和NAND的高带宽存储(HBS)技术,可提高智能手机和平板电脑等移动设备的AI性能。 相比HBM使用的硅通孔(TSV)技术,VFO无需穿孔,成本更低、良率更高…

2025-11-12

等保2.0成企业必答题!网络合规差距与优化路径全解析
实践中发现,许多企业在宽带层面存在共性差距,亟需从专业角度优化改进。在网络核心节点部署流量探针,实现全量网络流量采集;建议搭建专用日志审计平台,统一存储日志并支持多维度分析,确保日志完整性与可追溯性。 1.…

2025-11-12

开放式蓝牙耳机怎么选?2025十款热门开放式耳机深度测评来助力
推荐理由:在百元价位中音质体验非常出色,可媲美千元级别耳机通常选择耳夹式耳机的消费者都有骑行和户外运动的爱好,难以避免遇到下雨天气和大量出汗的情况,因此耳机的防水级别也成了筛选的指标,建议选择防水等级在IP…

2025-11-11

立讯精密液冷方案:从前瞻布局迈入规模化商用新阶段
证券之星消息,立讯精密(002475)11月11日在投资者关系平台上答复投资者关心的问题。投资者提问:公司的液冷散热解决方案在AI服务器中的应用情况如何?是否已获得头部云服务提供商或AI企业的认可? 谢谢!…

2025-11-11

爱立信完成上行L4S技术测试,为5G时延敏感业务提供网络支撑
(全球TMT2025年11月11日讯)近日,在IMT-2020(5G)推进组的组织下,爱立信成功完成了上行L4S技术测试,验证了L4S在提升上行实时交互业务体验方面的显著效果。测试结果表明,L4S技术能够有效…

2025-11-11

上海贝尔发布《2025年AI-ICT赋能与重构白皮书》:剖析趋势、需求与战略方向
《2025年AI-ICT赋能与重构白皮书》由上海贝尔发布,系统剖析了AI与ICT产业融合的核心趋势、技术需求及战略方向,展现了全球AI发展浪潮下ICT基础设施的变革路径与机遇。实施路径上,需夯实数据与模型基础…

2025-11-11

2025年AI智能鼠标深度体验:星火大模型赋能,它能替代哪些办公工具?
AI智能鼠标2025深度测评:星火大模型加持,AI问答、AI绘图能替代哪些工具?当一款鼠标,内嵌了如科大讯飞星火这般强大的认知大模型时,它所带来的,远不止是光标移动的流畅,更是一场关于效率与创造力的革命。我们…

2025-11-10