近日，AI领域的一则消息引起了广泛关注：百度在2017年发表的论文揭示了深度学习中的Scaling Law，这一发现早于OpenAI在2020年的相关研究。
meta研究员Jack Morris在社交媒体上指出，关于Scaling Law的原始研究来自百度2017年发布的论文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》。该论文展示了在机器翻译、语言建模、图像处理和语音识别等领域中，深度学习泛化误差和模型大小随训练集规模增长呈现幂律增长模式。虽然当时研究者使用的是LSTM而非Transformer，且尚未正式命名这一现象为“Law”，但论文中的一位作者已在百度担任LLM Scaling Law Researcher。
百度在2019年继续发表了相关论文，进一步探讨了深度学习的计算挑战。而OpenAI在2020年的论文《Scaling Laws for Neural Language Models》中也引述了百度的研究。
不仅如此，Anthropic创始人Dario Amodei也在播客节目中透露，他在2014年与吴恩达在百度工作时，就已经非正式地观察到了Scaling现象。Dario在博客中提到，2014年底他在百度与吴恩达共事，正式进入AI领域。百度吸纳了包括Dario在内的全球顶尖AI人才，如吴恩达等。
百度创始人李彦宏在近期专访中分享了百度在AI领域的投入和成果。他表示，百度在2023年1月成立了深度学习研究院，大力投入AI，并在2019年发布了第一代文心大模型。李彦宏还透露，百度将于2025年初发布新版文心大模型。目前，百度文心大模型已成为国内能力最强、使用量最广泛的基础模型，日均调用量超过15亿次。
