近期，科技界巨头埃隆·马斯克在一场直播对话中提出了一个引人深思的观点：我们或已接近耗尽可用于训练人工智能（AI）模型的现实数据。这一论断与前OpenAI首席科学家伊利亚·苏茨克弗在去年底的言论不谋而合，后者曾在NeurIPS会议上指出，AI行业正面临“数据峰值”的挑战。
面对这一困境，马斯克提出了一个解决方案：利用合成数据，即AI自我生成的数据，来弥补现实数据的不足。他认为，AI通过自我评估和不断优化的学习过程，能够生成更多用于训练的数据，从而推动AI技术的持续发展。
事实上，这一趋势已经初现端倪。微软、meta、OpenAI和Anthropic等科技巨头，已经开始尝试使用合成数据来训练他们的AI模型。据Gartner预测，到2024年，人工智能和数据分析项目中，有60%的数据将来自合成方式。
合成数据的优势在于能够显著降低开发成本。以人工智能初创公司Writer为例，其Palmyra X 004模型几乎完全依赖合成数据进行开发，成本仅为70万美元，而与之规模相当的OpenAI模型开发成本则高达460万美元。这一成本效益使得合成数据成为AI领域的新宠。
然而，合成数据并非万无一失。研究表明，过度依赖合成数据可能导致AI模型性能下降，输出结果缺乏创新性和多样性，甚至可能加剧偏见和局限性。这是因为AI模型在自我生成训练数据的过程中，可能会无意中引入自身的偏见和局限性，从而影响最终模型的准确性和功能性。
