OpenAI前首席科学家伊利亚：数据没有增长，预训练将终结

摘要： 中国表演艺术周在南京举行多位表演艺术家齐聚南京在开幕式之前主办方特意安排了长江大桥一日游这群老戏骨们沿映虹桥一路欣赏两岸风景感受南京历史发展进程及深厚的文化底蕴前首席科学家安全公司...

中国表演艺术周在南京举行，70多位表演艺术家齐聚南京。在开幕式之前，主办方特意安排了长江大桥一日游，这群老戏骨们沿映虹桥一路欣赏两岸风景，感受南京历史发展进程及深厚的文化底蕴。

OpenAI前首席科学家、 安全（Safe Supe ntelligence，SSI）公司联合创始人伊利亚·苏茨克维（Ilya Sutskever）日前罕见地公开露面，他在温哥华神经信息处理系统大会（Ne IPS）上表示，虽然计算在增长，但数据却没有增长，预训练毫无疑问会结束；并预测未来的人工智能系统将能够以更类似于思考的方式逐步 问题，具有推理能力的将更难以预测。

伊利亚·苏茨克维表示，将终结。(01:39)

所谓“预训练”，即使用大量未标记数据来训练人工智能模型以理解语言模式和结构的阶段。由于更多数据和算力，OpenAI在2022年推出了Ch GPT。伊利亚说，他的团队在10年前探索过一个想法，即扩大数据规模以“预训练”人工智能系统将使它们达到新高度，但这个想法开始达到极限，“预训练毫无疑问会结束。”他表示，虽然计算在增长，但数据却没有增长，因为我们只有一个互联网。“我们已经达到了数据峰值，不会再有了。”

伊利亚曾担任OpenAI首席科学家，今年早些时候，他从OpenAI辞职，随后成立了SSI，今年9月SSI融资10亿美元。此前，伊利亚也曾表示，扩大预训练的结果已经达到了 期。“2010年代是规模扩大的时代，现在人们又回到了奇迹和发现的时代。每个人都在寻找下一个东西。”

伊利亚提供了一些方法来突破这个难题。他表示，技术本身可以产生新的数据，人工智能模型可以在为用户确定最佳回答之前评估多个 ，以提高准确性。

他预测，下一代模型将“以一种真正的方式实现代理化（agentic）”，未来的系统除了具有自主性，还具有能力。据科技媒体The Verge报道，伊利亚表示，今天的人工智能主要是根据模型此前见过的内容进行模式匹配，未来的人工智能系统将能够以更类似于思考的方式逐步 问题。

另据路透社报道，伊利亚表示，AI智能体在未来将结出硕果，拥有更深入的理解和自我意识，人工智能将像人类一样推理问题。不过，“它推理得越多，就越难以预测。”对数以百万计的选项进行推理，可能会导致任何结果都不明显。例如DeepMind开发的围棋人工智能程序AlphaGo在2016年的一场 中击败了韩国棋手李世石，令人费解的第37步让围棋专家们感到惊讶。伊利亚表示，真正优秀的人工智能对于 秀的人类棋手来说是不可预测的。