在AI界，一款源自中国的开源大模型近期引发了国内外广泛关注。这款名为DeepSeek-V3的模型，由新兴AI企业DeepSeek研发推出，以其卓越性能和低廉的训练成本，在业界掀起了波澜。
DeepSeek-V3的技术论文详细阐述了该模型的研发过程。论文指出，DeepSeek-V3的参数规模从前代的2360亿提升至6710亿，在14.8T tokens的数据集上进行了预训练，上下文长度可达128K。评测结果显示，DeepSeek-V3的性能已成为目前最强大的开源模型之一，且在多个主流评测基准上，其表现可媲美GPT-4o和Claude-3.5-Sonnet等领先的闭源模型。
除了安德烈，阿里前副总裁贾扬清、metaAI科学家田渊栋、英伟达高级研究科学家Jim Fan等多位AI领域的大牛，也对DeepSeek-V3表示了赞赏。有网友甚至认为，这是“全球最佳开源大模型”，并预测这将推动AGI（通用人工智能）的实现比预期更早且成本更低。
DeepSeek-V3之所以能引起AI大牛的关注，很大程度上是因为其低廉的训练成本。据悉，该模型仅用了2000多张GPU，训练成本不到600万美元，远低于OpenAI、meta等在万卡规模上训练的模型成本。这一成本效益比，让DeepSeek-V3在业界脱颖而出。
在知识能力方面，DeepSeek-V3在MMLU-Pro和GPQA-Diamond等基准测试中超越了阿里、meta等所有开源模型，并领先GPT-4o，但略逊于Claude-3.5-Sonnet。而在数学、代码和推理能力方面，DeepSeek-V3在MATH500、AIME2024及Codeforces等多个主流基准测试中，不仅碾压了阿里和meta的最新开源模型，还超越了GPT-4o和Claude-3.5-Sonnet。
不过，值得注意的是，DeepSeek-V3在某些方面还存在局限性。例如，其英文能力还落后于GPT-4o和Claude-Sonnet-3.5，同时部署要求较高，对小型团队不太友好，且生成速度还有提升潜力。但DeepSeek在论文中表示，随着更先进硬件的开发，这些局限性有望得到解决。
那么，DeepSeek-V3是如何在如此低的成本下，训练出可以媲美OpenAI、meta的最强开闭源模型的呢？据从事AI算法工程师的人士透露，DeepSeek在模型架构、训练框架、推理部署、硬件设计、数据构建等方面都进行了组合式的工程创新，提出了很多节约算力、提升效率的策略，并保证了模型效果。
DeepSeek-V3依然基于Transformer框架，但采用了MLA（多头潜在注意力）和独创的DeepSeekMoE（混合专家架构），共同推动了算力成本的下降。同时，DeepSeek-V3还设计了FP8混合精度训练框架，并验证了其可行性和有效性。该模型在训练语料库中提高了数学和编程样本的比例，扩展了多语言覆盖范围，在后训练阶段使用了模型生成的数据，并利用强化学习的奖励机制，从而提升了模型性能，尤其是推理能力。
DeepSeek-V3的成功出圈，也让其背后的公司DeepSeek进一步获得了关注。这家位于杭州的公司成立于2023年7月，创始人是量化私募四巨头之一幻方的实控人梁文锋。梁文锋本硕就读于浙江大学电子工程系AI方向，后来主要在量化投资领域进行研究。随着2023年大模型浪潮爆发，梁文锋把幻方做大模型的团队独立为DeepSeek。
DeepSeek追求的是AGI，且不做垂类和应用，短期内也不会融资。梁文锋非常认可开源的价值，希望通过开源走到技术的前沿，参与到全球创新的浪潮中去。DeepSeek-V3论文的最后列出了约200位贡献者，包括150位研发和工程人员，30多位数据标注人员和18位商业合规人员。其中，还包括最近引发关注的“95后天才”罗福莉，她已入职小米领导大模型团队。
DeepSeek-V3的成功，不仅为公司带来了更多的关注，也为大模型的发展路径提供了新的可能。它证明了，在数据和算法方面还有很多事情可以做，优化算法的发展潜力绝不弱于堆算力。这对于整个AI行业来说，无疑是一个振奋人心的消息。
DeepSeek-V3的出色表现，也引发了业界对“算力决定论”的质疑。是否意味着前沿大模型不再需要大型GPU集群？对此，安德烈表示，并不是这样，但你必须确保不会浪费你所拥有的。而DeepSeek-V3的成功，则是一个很好的证明，表明在数据和算法方面还有很多优化的空间。
