巨人天成
产经 科技 企业 数据 峰会 快讯 商业

DeepSeek开源新成果:梁文锋参与研发,揭秘大模型并行优化策略

2025-02-27来源:ITBEAR编辑:瑞雪

DeepSeek开源周系列活动近日迎来了第四波高潮,此次发布的焦点集中在三项针对并行计算的优化策略上。这些策略通过GitHub平台向公众详细揭示了DeepSeek-V3和R1模型背后的技术细节,展示了团队如何通过精细的计算和通信优化,最大化利用GPU的性能。

其中,DualPipe技术尤为引人注目。这是一项专为V3/R1模型训练设计的双向流水线并行算法,旨在实现计算与通信阶段的完美重叠。通过减少“流水线气泡”,即设备空闲等待的时间,DualPipe显著提升了训练效率。值得注意的是,该技术的开发团队中包括DeepSeek的创始人梁文锋。

第二项优化策略是EPLB(Expert Parallelism Load Balancer),专注于解决MoE(混合专家)模型在分布式训练和推理中的负载不平衡问题。在MoE模型中,不同的专家被分配到不同的GPU上,而EPLB通过采用冗余专家策略,确保不同GPU之间的负载保持平衡,从而提高了整体训练效率。

DeepSeek还分享了来自训练和推理框架的性能分析数据,这些数据通过PyTorch Profiler采集,并可在Chrome或Edge浏览器中可视化分析。这些分析数据不仅揭示了通信计算重叠策略的有效性,还提供了低级实现细节,有助于社区更好地理解并应用这些优化技术。

DeepSeek此次发布的优化策略,被视为对AI基础设施层的一次深入探索。OpenCSG(开放传神)创始人陈冉对此表示,DeepSeek过去更像是直接展示了一辆续航900公里的车,而现在则是在深入剖析如何达到这一续航能力的技术细节。这些“脚手架”的开源,无疑为未来的生态搭建奠定了坚实基础。

陈冉还指出,DeepSeek的代码开源可能对AI基础设施层的从业者产生深远影响。一方面,它可能促使从业者寻找新的研究方向;另一方面,如果利用好这些开源内容,也可能带来显著利益,否则就可能面临竞争压力。

在DeepSeek开源周的前三天,团队已经陆续发布了多项重要成果,包括让大模型在GPU上运行更快的MLA解码核FlashMLA、用于MoE模型训练和推理的DeepEP通信库,以及支持MoE的FP8 GEMM代码库DeepGEMM。这些项目在GitHub上获得了广泛关注和好评,FlashMLA的星标数已超过1万,DeepEP和DeepGEMM也分别获得了6000和3700以上的星标。

DeepSeek还宣布了一项API错峰优惠政策,鼓励用户在夜间空闲时段使用其服务。自2月26日起,在北京时间每日00:30至08:30期间,DeepSeek-V3的API调用价格降至原价的一半,而DeepSeek-R1的调用价格更是低至原价的25%。这一政策旨在让用户享受更经济、更流畅的服务体验。

有消息称,DeepSeek正加速推进R2模型的发布计划,以巩固其在AI领域的优势地位。尽管DeepSeek尚未对此作出正式回应,但业界普遍认为,DeepSeek-R2的发布将成为AI行业的一个重要里程碑。

未来十年科技新图景:智能硬件跃迁、AI赋能与网络无感化变革
本文将从智能硬件、AI 算法、未来网络、数字经济、安全体系等多个维度,分析科技浪潮下的核心趋势。 设备变得更聪明网络变得无形AI 成为能力底座数字经济成为主引擎安全体系成为关键支撑科技不是未来,而是现在正在发…

2025-11-15

避开苹果锋芒,聚焦外卖小哥:打造专属他们的超实用蓝牙耳机
试着聚焦一个特定人群,比如外卖小哥。电量要非常足,最好能用一整天。麦克风要特别好,因为外卖小哥大部分时间都在路上,环境嘈杂,麦克风不好的话,对方根本听不清。如果能将耳机固定在头盔上,那就更好了,不怕掉。如果…

2025-11-13

2025微信数据保护全攻略:误删聊天记录别急,多场景恢复方案来了
提前备份是数据安全的核心,2025年微信已支持电脑、云服务、外部存储等多种备份方式,恢复时只需简单操作即可找回记录。苹果和安卓厂商的云服务早已支持微信数据备份,关键是确认误删前有有效备份记录。 2. 选择…

2025-11-13

SK海力士VFO工艺打造HBS技术,为移动设备AI性能提升带来新突破
据闪德资讯获悉,SK海力士正在研发结合移动DRAM和NAND的高带宽存储(HBS)技术,可提高智能手机和平板电脑等移动设备的AI性能。 相比HBM使用的硅通孔(TSV)技术,VFO无需穿孔,成本更低、良率更高…

2025-11-12

等保2.0成企业必答题!网络合规差距与优化路径全解析
实践中发现,许多企业在宽带层面存在共性差距,亟需从专业角度优化改进。在网络核心节点部署流量探针,实现全量网络流量采集;建议搭建专用日志审计平台,统一存储日志并支持多维度分析,确保日志完整性与可追溯性。 1.…

2025-11-12

开放式蓝牙耳机怎么选?2025十款热门开放式耳机深度测评来助力
推荐理由:在百元价位中音质体验非常出色,可媲美千元级别耳机通常选择耳夹式耳机的消费者都有骑行和户外运动的爱好,难以避免遇到下雨天气和大量出汗的情况,因此耳机的防水级别也成了筛选的指标,建议选择防水等级在IP…

2025-11-11

立讯精密液冷方案:从前瞻布局迈入规模化商用新阶段
证券之星消息,立讯精密(002475)11月11日在投资者关系平台上答复投资者关心的问题。投资者提问:公司的液冷散热解决方案在AI服务器中的应用情况如何?是否已获得头部云服务提供商或AI企业的认可? 谢谢!…

2025-11-11

爱立信完成上行L4S技术测试,为5G时延敏感业务提供网络支撑
(全球TMT2025年11月11日讯)近日,在IMT-2020(5G)推进组的组织下,爱立信成功完成了上行L4S技术测试,验证了L4S在提升上行实时交互业务体验方面的显著效果。测试结果表明,L4S技术能够有效…

2025-11-11

上海贝尔发布《2025年AI-ICT赋能与重构白皮书》:剖析趋势、需求与战略方向
《2025年AI-ICT赋能与重构白皮书》由上海贝尔发布,系统剖析了AI与ICT产业融合的核心趋势、技术需求及战略方向,展现了全球AI发展浪潮下ICT基础设施的变革路径与机遇。实施路径上,需夯实数据与模型基础…

2025-11-11

2025年AI智能鼠标深度体验:星火大模型赋能,它能替代哪些办公工具?
AI智能鼠标2025深度测评:星火大模型加持,AI问答、AI绘图能替代哪些工具?当一款鼠标,内嵌了如科大讯飞星火这般强大的认知大模型时,它所带来的,远不止是光标移动的流畅,更是一场关于效率与创造力的革命。我们…

2025-11-10