巨人天成
产经 科技 企业 数据 峰会 快讯 商业

AI大模型时代,你的数据存储底座跟上了吗?

2025-05-06来源:ITBEAR编辑:瑞雪

随着2025年的到来,人工智能大模型正以惊人的速度融入我们的现实世界。其参数规模由千亿级向万亿级迈进,数据类型也从单一的文本扩展到图像、音频、视频乃至多模态融合。同时,这些大模型的训练、微调及部署场景已不再局限于科技公司,而是广泛渗透到金融、医疗、制造等传统行业中。大模型已从科研领域的探索转变为工业级应用的核心竞争力。

然而,在这一波“模型大型化、场景多元化”的浪潮中,支撑这些大模型运行的数据存储系统正面临前所未有的挑战。

为了深入了解这一现状,我们采访了西部数据、极道科技、华瑞指数云以及京东云等领域的专家,试图解答以下几个关键问题:大模型的商用化对数据存储提出了哪些新的需求?当前的主流存储架构为何难以应对这些挑战?下一代“AI原生存储体系”应具备哪些核心能力?

大模型的商用化对数据存储的需求发生了显著变化。数据存储作为数智化的基础设施,必须根据上层数字化、智能化的需求进行调整。首先,AI大模型的训练和推理对数据系统的吞吐性能和并发能力提出了极高要求。在训练阶段,多个GPU节点需要以每秒几十GB的速度从存储系统读取数据,任何IO延迟都会造成GPU算力的浪费。而在推理阶段,高并发读写需求常常达到数十GB/s甚至上百GB/s的量级,存储系统的响应速度直接影响到用户体验和服务稳定性。

其次,多模态、非结构化数据的组织与索引复杂度也大幅增加。AI大模型的输入不再局限于文本,而是扩展到图像、音频、视频等多种数据类型。这些数据不仅体量庞大,格式复杂,访问模式也各异,传统的数据湖方案已难以满足需求。AI存储不仅需要支持多种协议,还要能同时管理结构化与非结构化数据,实现统一的语义检索和数据流转能力。

数据版本控制与可追溯性需求也变得刚性。随着模型迭代速度的加快,每一次微调、A/B测试都需要基于明确可回溯的数据版本来训练,以确保实验的可复现性和结果的可验证性。同时,冷热数据自动分层与智能调度的需求也更为迫切。AI训练过程中,只有少数数据是真正的热数据,其余大量数据属于低频访问或归档数据,不进行分层处理会导致高性能存储资源被低价值数据占据。

最后,存储系统的安全性、合规性和可控性要求也更高。随着AI在金融、医疗、政务等领域的广泛应用,数据安全和合规要求变得更加严格。数据访问权限、加密存储、审计日志、跨地域合规存储等需求已成为必备项。

然而,在AI大模型的落地过程中,许多企业发现数据存储系统成为了制约模型训练和推理效率的瓶颈。GPU在等待IO响应时算力处于空转状态,对象存储在高并发场景下暴露短板,手动数据分层策略难以应对大规模数据集,Kubernetes环境下的存储协同复杂且易出错,存储系统对数据流动路径的全局感知能力不足导致数据全生命周期管理盲区显现。

为了解决这些问题,业界开始探索面向AI场景优化的新型数据存储底座。一个全新的方向是构建为AI而生的“原生存储架构”。极道科技的统一计算系统Achelous能够感知训练任务的IO特征,并实现按需加载、智能预取、动态分层的数据调度机制。数据版本控制系统如LakeFS、Delta Lake也逐渐兴起,以解决数据不可复现和实验难调试的问题。AI场景下的“新三层”架构结合了分布式存储、缓存和元数据系统,以应对并发读写和多模态数据访问的挑战。京东云的“云海AI存储”通过自研引擎与RDMA网络实现了高性能与低延迟的平衡。

同时,“数据即服务”的理念逐渐升温,存储系统不再仅仅是存放数据的地方,而是要提供按需供给、全程可控的服务能力。华瑞指数云通过自研平台WADP实现了对AI数据全生命周期的统一管理,打造面向AI的“数据供应链”系统。

随着AI成为公有云的新战场,各大云厂商也在加速推出面向AI场景的专用存储产品。京东云的“云海AI存储”已支持超百家客户落地大模型项目,未来对象存储将深度融合AI任务引擎,成为Lakehouse架构的核心底座。

下一代AI原生存储系统必须是感知型、协同型、平台型的。它不仅要处理数据,更要理解任务、预测行为、支撑协同,最终成为AI系统的一部分。在AI时代,数据存储系统的价值被严重低估,但它却是决定AI训练能否顺利进行、推理能否扩展、数据能否有效控制的关键组件。谁先把数据存储从“被动配角”变为“主动核心”,谁就真正掌握了AI时代的落地主动权。

Valve推出Steam Frame新VR头显 正式宣告上一代Index头显停产
用户可通过无线适配器,将 PC 或 Steam Machine 上的平面屏(flatscreen)及 VR 游戏串流至 SteamFrame;与此同时,Steam Frame 本身也是一款独立设备,搭载高通…

2025-11-14

虚拟化与超融合:从架构到应用,一文读懂如何选择适合的IT方案
超融合平台通常基于成熟的虚拟化技术,例如它可能内置虚拟机管理功能,但更强调整体资源的统一管理。性能上,虚拟化可能因资源竞争而出现波动,而超融合的分布式存储设计可以提供更一致的I/O性能,特别是在高并发场景下,…

2025-11-14

杭州上城第三批50个“人工智能+”场景发布 涵盖多领域促发展
11月13日,杭州市上城区第三批“人工智能+”机会场景发布会暨场景供需对接会活动举行,推出50个高价值场景,涵盖社会治理、金融服务、民生服务、城市管理、智能建造、文化旅游、时尚消费等多个热门领域。如,由上城…

2025-11-14

中关村房山园科技对接会:昆虫机器人等“硬核”成果亮相,助力新质生产力
11月12日,中关村“火花”活动之北京理工大学专场对接会暨中关村房山园新质生产力发布厅科技成果转化对接活动在中关村新兴产业前沿技术研究院举行,极限搜救昆虫机器人、通信感知超宽带收发芯片等一批来自北京理工大学、…

2025-11-14

浪潮KaiwuDB V3.0发布:多模融合AI赋能,引领物联网数智化新篇章
KaiwuDB V3.0关系引擎新增大型对象支持,无论是传感器产生的二进制数据还是文本信息,都能实现高效管理;同时,支持高效跨模连接算子与时序算子并行处理,相较于2.2版本跨模查询性能提升5-10倍,打破了…

2025-11-13

2025年手机卡选卡指南:精准匹配需求,绕开合约套路与流量陷阱
•在运营商APP中查看过去三个月的平均流量使用量•检查你的通话时长记录•分析你最常用的APP类型(这会影响你对通用流量和定向流量的需求)有了这些数据,你就能更准确地判断自己需要什么样规模的套餐了。 •典型代…

2025-11-13

照片压缩至5M内超全指南!七大实用方法助你轻松搞定分享难题
具体的执行步骤是:将它们直接开启,随后去挑选照片,该应用会自动给出推荐的压缩级别,你能去预览最终结果,还能够对某些设置予以调整,比如把分辨率调低或者转换格式,借此令文件大小小于5MB,这对即时分享至社交媒体来…

2025-11-12

企业宽带选不对,带宽再大也白费!这些关键因素决定实际网速
• 网速(用户感知):即实际访问体验,取决于 3 个核心因素 —— 带宽只是基础,更重要的是网络质量、路由优化和并发处理能力。 真正专业的服务商,会从企业实际业务场景出发提供解决方案,而非一味推销高带宽产品…

2025-11-12

Marantz与B&W组合:以多元功能承载家庭温情,让音乐共鸣融入日常
我在活动上最常遇到来宾,不管是男的,还是女的,他(她)问我:我手机上这些音乐能不能通过蓝牙,或Apple Airplay传到音响播放。 用高级音响回归音乐本身你会发现原来美好的东西就在身边最近我在电脑里找到了…

2025-11-12

Viwoods发布AiPaper Reader电纸书:6.13英寸墨水屏搭载AI阅读互动功能
IT之家 11 月 11 日消息,据科技媒体 NoteBook Check 今天报道,Viwoods 现已推出 AiPaper Reader电纸书,运行 Android 16 操作系统,机身配备专用 AI …

2025-11-12