巨人天成
产经 科技 企业 数据 峰会 快讯 商业

AI存储新纪元:3FS与曙光ParaStor引领软硬一体化创新

2025-03-13来源:ITBEAR编辑:瑞雪

近期,全球科技界迎来了一项重要突破:DeepSeek开源的3FS系统通过优化存储,显著提升了AI推理工作负载的性能,同时大幅度降低了成本。这一创新成果引发了业界的广泛关注。

3FS系统作为AI原生存储,凭借其链式复制机制和FFRecord格式优化等独特设计,不仅刷新了AI存储的技术标准,更彰显了专用存储系统在支撑超大规模模型推理中的关键作用。这一系统的推出,标志着AI存储技术迈上了新的台阶。

从技术层面来看,曙光存储ParaStor与3FS在推动AI基础设施的进化上展现出高度的一致性。两者都是高性能并行文件系统的杰出代表,专为AI数据存储而设计。

以RDMA技术为核心传输协议,曙光ParaStor和3FS通过零拷贝机制将网络延迟降至微秒级,有效解决了传统TCP/IP协议栈在AI集群中引发的CPU资源争用问题,使得200Gbps网卡的利用率得以突破90%。在此基础上,两者还引入了硬件卸载技术,将数据校验和协议解析等任务交由智能网卡处理,从而进一步提升了性能。

实测数据显示,硬件卸载技术的引入使得存储读响应时间缩短了40%,同时释放了30%以上的CPU算力用于模型推理。这种“存储即服务”的设计理念,打破了传统存储依赖CPU资源的模式,为AI集群提供了更多的算力空间。

针对AI训练特有的小文件高并发、数据访问局部性及混合负载特性,曙光存储ParaStor和3FS都构建了多层次优化体系。通过元数据分片技术,两者将海量小文件的元数据请求分散到多个控制节点,从而显著提升了查询吞吐量,支持了万级客户端的并发访问。智能预取与缓存分层技术通过分析训练任务的数据访问模式,提前将数据从HDD预加载至NVMe缓存,有效缩短了ResNet-152单epoch的训练时间。

为满足大模型训练对海量数据的需求,曙光存储ParaStor与3FS均采用了去中心化架构。通过全局命名空间技术,两者整合了跨地域、跨介质的存储资源,支持了千亿文件的统一管理。无状态弹性扩展技术使得节点可以在线扩展至数千个,容量与性能随节点增加而线性提升。在GPT-3级场景中,两者均实现了超过1TB/s的聚合带宽。

曙光ParaStor和3FS还采用了自适应纠删码策略,对热数据采用多副本保障性能,对温冷数据采用EC 8+3编码,从而提升了空间利用率。这一策略使得存储系统的空间利用率突破了85%。

曙光ParaStor在国产化创新方面取得了显著成果。依托国产硬件生态优势,曙光ParaStor实现了自研SSD控制器与智能网卡的协同优化,在国产AI芯片适配性上展现出独特价值。这种自主可控的技术路径不仅提升了系统的稳定性与安全性,更为我国AI产业的快速发展提供了坚实的基础设施保障。

3FS的技术突破与曙光ParaStor的国产化创新共同表明,硬件加速、场景化优化与分布式架构的深度融合是突破“存储墙”的关键路径。这一行业共识的达成,将进一步推动AI存储技术的创新与发展。

在共性技术之外,曙光ParaStor还凭借其独特的自主可控技术路径,在国产AI芯片适配性上展现出显著优势。这一优势不仅提升了系统的整体性能,更为我国AI产业的自主可控发展提供了有力支撑。

企业禁用无线网卡攻略:三种方法详解,第二种助企业高效管控风险
对于中大型企业或对数据安全要求高的单位,域智盾终端安全管理系统提供了更智能、更彻底、更可追溯的无线网卡管控方案。在Windows专业版或企业环境中,IT人员可以用系统自带的组策略(Group Policy…

2025-11-15

蓝牙耳机被他人连接别慌!三招轻松夺回“控制权”
当发现耳机被别人连接时,最直接的解决方法是重置连接。操作很简单:先打开你的手机蓝牙设置,找到已配对的耳机名称,选择“忽略此设备”或“取消配对”。最后,在手机蓝牙列表中找到你的耳机并重新点击连接即可。这个操作…

2025-11-15

工业通信新选择:环网交换机如何以冗余设计保障现场数据稳定传输
每个交换机上有两个用于组环的端口(网口),交换机之间通过手拉手形式构成了环形的网络拓扑。我们设计的千兆工业交换机整体设计采用“凹陷”网口设计,外观上和普通交换机大有差别,将网线水晶头能够有力的支撑保护住。 …

2025-11-14

安科瑞ASCB3-80m智能微断:全参量监测+远程操控,筑牢低压配电安全防线
智能微型断路器配合智能网关使用,对用电线路的关键电气参数,如电压、电流、功率、温度、漏电、能耗等进行实时监测,具有远程操控、异常预警、事故跳闸告警、电能计量统计、故障定位等功能。ASCB3-80m 系列智能…

2025-11-14

谷歌AI新动作与苹果不谋而合,隐私赛道上苹果技术路线获印证
过去几个月里,我得出一个结论:苹果在AI方面的困境真正令人失望的地方,并不仅仅是人们普遍认为它在当前AI趋势中"落后"了。 A:苹果确实错过了ChatGPT发布引发的AI变革浪潮,在大语言模型产品方面相比其…

2025-11-13

物联网+AI赋能制造业边坡:构建“工业大脑”实现安全与效率双提升
物联网 + AI 构建的 “工业大脑”,通过全维度感知、智能化分析、精准化决策,让边坡管理实现了从 “事后补救” 到 “预测性维护” 的根本性转变,不仅破解了安全与效率、投入与效益的平衡难题,更重塑了制造业…

2025-11-13

广电卡适配指南:哪些手机能用?这些旗舰机型可能不兼容!
华为P50系列是个特例,即便是4G版,也能通过软件方案支持广电5G。中国广电表示,近六年主流手机型号均已升级适配广电网络,98%以上的新入网5G手机支持700MHz频段。 判断你的手机是否适配广电卡,不仅…

2025-11-13

星闪智联引领未来:无线短距通信开启智能社会新篇章
为统一目标、保证质量,在国际星闪联盟组织与号召下,联盟领导、行业协会及合作伙伴的11位代表上台发起了《消费电子新短距产业共建倡议》,明确提出要“共建星闪技术新标准、共创智能连接新应用、共赢消费电子新未来”。 …

2025-11-13

Kernelcom“智能键盘”来袭:12.5英寸超宽屏,AMD/Intel双版本可选
快科技11月12日消息,近日一款名为Kernelcom的设备正在Kickstarter上众筹,虽然其本质上是一款功能完备的笔记本电脑,但制造商还是将其宣传为“智能键盘”。 这款设备最大的特点是其12.5英寸超…

2025-11-13