近日，蚂蚁集团的Ling团队在预印版Arxiv平台上发布了一篇技术论文，揭示了该团队在混合专家（MoE）大语言模型领域的最新突破。他们推出了两款名为百灵轻量版（Ling-Lite）与百灵增强版（Ling-Plus）的新模型，并提出了一系列创新方法，使得在低性能硬件上高效训练大模型成为可能，极大地降低了成本。
百灵轻量版拥有168亿参数（其中27.5亿为激活参数），而增强版基座模型的参数规模更是高达2900亿（激活参数为288亿）。这两款模型在性能上均达到了行业领先水平。实验证明，即使在使用国产GPU的低性能设备上，3000亿参数的MoE大模型也能完成高效训练，其性能与完全使用英伟达芯片的同规模稠密模型及MoE模型不相上下。
通常，MoE模型的训练依赖于高性能GPU，如英伟达的H100或H800，但高昂的成本和芯片短缺问题限制了其在资源受限环境中的应用。蚂蚁集团Ling团队针对这一问题，提出了“不使用高级GPU”扩展模型的目标，并通过一系列创新训练策略，成功突破了资源与预算的限制。
这些创新策略包括架构与训练策略的革新，采用了动态参数分配与混合精度调度技术；升级了训练异常处理机制，通过自适应容错恢复系统缩短了中断响应时间；优化了模型评估流程，自动化评测框架使得验证周期缩短了超过50%；还突破了工具调用能力，基于知识图谱的指令微调提升了复杂任务的执行精度。
为了验证这些创新方法的有效性，Ling团队在五种不同硬件配置下对9万亿个token进行了Ling-Plus的预训练。结果显示，使用高性能硬件配置训练1万亿token的预训练成本约为635万元人民币。而采用蚂蚁集团的优化方法后，低规格硬件的训练成本降至约508万元人民币，节省了近20%的成本。同时，该模型的性能与阿里的通义Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相当。
此前，DeepSeek已通过算法创新和工程优化，使用英伟达H800训练出了性能顶尖的V3与R1模型，为降低成本和提高效率开辟了新途径。蚂蚁集团的这一技术成果，如果得到验证和推广，将有助于国产大模型寻找成本更低、效率更高的国产芯片或其他替代方案，进一步降低对英伟达芯片的依赖。
蚂蚁集团的Ling团队还强调了他们在训练过程中的灵活性和适应性。通过优化训练策略和异常处理机制，他们能够在不同硬件配置上实现高效训练，这对于推动大模型在更广泛场景中的应用具有重要意义。
这一技术突破不仅展示了蚂蚁集团在人工智能领域的深厚实力，也为国产大模型的发展提供了新的思路和方向。未来，随着技术的不断成熟和应用场景的拓展，国产大模型有望在全球市场上占据更加重要的地位。
蚂蚁集团的Ling团队在技术创新的同时，也注重了技术的开放性和共享性。他们希望通过与行业伙伴的合作与交流，共同推动人工智能技术的快速发展和广泛应用。
