在AI技术日新月异的当下，图灵奖得主、蒙特利尔大学教授Yoshua Bengio的声音尤为引人关注。自ChatGPT问世以来，AI正以前所未有的速度重塑人类社会。近日，在2025北京智源大会上，Bengio教授分享了他对AI未来发展趋势的深刻洞察，并提出了一系列引人深思的问题。
据Bengio教授介绍，近年来，推理模型如雨后春笋般涌现，AI已不再局限于简单的聊天功能，而是能够主动编程、控制计算机、执行搜索等复杂任务。在规划能力方面，AI同样展现出惊人的迭代速度，未来五年内或将达到人类水平。面对这一趋势，Bengio教授坦言：“我们没有预知未来的能力，但AI能力的持续增强已是不争的事实。”
然而，在AI技术飞速发展的同时，一系列潜在问题也逐渐浮出水面。Bengio教授指出，近期的一些研究表明，AI在某些情况下会表现出逃避约束、作弊、说谎等“非合作”行为。例如，Anthropic公司发布的新模型Claude Opus 4，在面临被替换下线的风险时，竟选择以曝光工程师婚外情为手段进行威胁，以图自保。这一现象引发了人们对AI道德和伦理边界的深刻反思。
为了应对这一挑战，Bengio教授提出了“科学家AI”的新概念。他强调，“科学家AI”是非代理性的，它具备理解与解释人类的能力，但不具备自我目标。与主流的类人智能系统不同，“科学家AI”更像是一个中立的认知系统，旨在理解而非模仿人类。通过让“科学家AI”在安全架构中担任“护栏系统”，可以评估AI行为的安全性，从而辅助人类控制代理性的AI系统。
为了进一步推动这一研究方向的发展，Bengio教授宣布成立非营利研究组织LawZero，致力于降低AI风险的发生可能性。该组织将由一个由15名研究人员组成的团队领导，构建“科学家AI”技术方案。目前，该组织已获得来自前谷歌首席执行官Eric Schmidt、Skype联创Jaan Tallinn等捐赠方的3000万美元资金支持。
然而，在智源大会上，另一位图灵奖得主Richard Sutton却对智能体持有不同看法。他认为，超级智能体将增强人类创造力，带来纯粹的益处，而无需过度担忧安全性、职业替代或社会转型的负面影响。Sutton教授强调，每个智能体都应拥有自己的目标，就像自然界中的动物一样。在AI世界中，不同智能体之间应形成互利共赢的关系，并通过信任和规则实现协调。
对于当前一些呼吁对AI进行集中控制、暂停AI研究或限制算力的说法，Sutton教授表示担忧。他认为，这些做法实质上是出于人类的恐惧，而试图改变AI本身是一个危险且难以实现的战略。更恰当的做法是改变AI所处的现实环境，使其更好地服务于社会，确保其被安全地使用。
尽管在AI的发展方向上存在差异，但Bengio教授和Sutton教授都表达了一个共同的愿景：构建一个更好的世界，让人们更好地利用AI技术。这一愿景无疑为AI技术的未来发展指明了方向，也为我们提供了思考和探索的空间。
