前 OpenAI 科学家：堆算力已到极限，AI 产业必须重返研究核心

前 OpenAI 首席科学家、现任 SSI 共同创办人 Ilya Sutskever 于最新受访时谈及，目前 AI 模型在各种测验、评价与竞赛里的表现几乎无敌，但大多数人的日常生活却没有被彻底改变。他认为这种「评价测验超神、体感普通」的落差，源自产业近年来过度依赖「堆算力、堆资料、堆模型参数」的成功公式。然而预训练可使用的自然语料本身有限，这条路线迟早会遇到瓶颈。接下来的 AI 发展将进入新的阶段，不再是比谁的 GPU 多，而是比谁能找到新的学习原则、理解泛化、让 AI 的学习方式更接近人类。

科幻情节正发生，生活却没什么变

访谈一开场，主持人就形容目前的 AI 发展与整个旧金山湾区的氛围，完全就像科幻小说的情节。然而矛盾的是，即便全球投入的 AI 资金规模动辄以百亿、千亿美元，甚至累计逼近各国 GDP 的 1%，一般民众的日常生活感受却没有因此翻天覆地。

多数人只是在新闻上看到科技巨头宣布再扩建资料中心，或再花多少预算买 GPU，但从街头到巷尾，能明显察觉的 AI 变化仍相当有限。

Sutskever 接受这个说法并指出，模型的能力确实强大，但在人们熟悉的生活环境里，体感不会像在实验室或研究报告中那么震撼，这种落差反而是正常现象。

评价测验能力超强，实务表现却常出包

Sutskever 接着谈到模型的「双重面向」。他表示，AI 在程式评测、标准化测验或各类基准里往往能展现超越人类的水准，可一旦投入真实需求，就会遇到完全不同的情况。他举例，许多开发者会请模型协助修 bug。模型通常会非常自信地指出问题并给出修改，但下一步却往往引入新的错误。

当你再次请它修第二个错误时，又可能把第一个 bug 加回来，形成两个错误之间的回圈。Sutskever 认为，这种「评测里超神、真实世界不稳」的矛盾，是目前最值得深入理解的 AI 现象之一。

为了测试训练，导致模型偏离真实世界

在分析落差原因时，Sutskever 指出目前各大公司在做强化学习时，往往会针对公开评测项目来调整模型行为。因为只要在评测中表现亮眼，就能在发布会、投资简报与技术比较中占优势。这也让模型在那些测验场景中变得无比强大，但一遇到变化多端的现实情境，反而无法展现相同能力。

他以程式竞赛作类比。一名选手如果为了夺冠苦练 1 万小时，确实能在比赛中取得惊人成绩。另一位只练了 100 小时，但天生具备某种对问题的理解方式，长期职涯反而可能更能灵活应对。模型目前就像前者：

「高度训练、在固定任务中极强，但欠缺人类式的深层泛化能力。」

模型扩张风潮盛行，研究空间被大幅压缩

Sutskever 回顾，2012 至 2020 年可说是 AI 的「研究黄金期」，各界积极探索不同架构与方法，许多突破来自于各类新颖点子。然而 GPT-3 与模型扩展定律的成功彻底改变风向。从那之后，整个产业逐渐形成共识：

「把模型放大、把资料变多、把算力加上去，能力自然会上升。」

这种依循公式的路线因为风险低、结果可预期，成为投资市场与各大公司的主流。但也因为大家都采用相同策略，真正的研究空间反而被压缩。

自然资料有限，预训练终究会碰壁

Sutskever 强调，网路上的自然语料是有限的，训练大型语言模型靠的就是这些文本。经过多年扩张后，各家公司已经接近把所有可用语料「用到满」。当资料量无法再翻倍成长，单靠扩大模型与算力带来的性能提升就会明显放缓。

他认为这代表 AI 即将进入下一阶段，不再只是追求模型更大，而是要重新理解人类如何学习、泛化如何形成、模型能否以更少样本自我修正，以及在学习过程中能否像人类一样拥有中途评估的能力，而不是仅依赖最终回馈决定行为方向。

这些问题本质上不是 GPU 数量能解决的，而是需要真正的科学研究。

(注：预训练 Pre-Training，意指让模型先读取大量网路文本，从中学会语言结构与基本知识，形成后续能力的基础。主流大型模型都以预训练作为第一阶段。)

强化学习导致算力爆炸，效率反而不如想像

Sutskever 也提到，近年许多公司的强化学习 (RL) 训练规模甚至超过预训练。这些长序列的推演消耗大量算力，但每次推演所带来的有效学习其实有限，使整体效率下降。如果持续依靠同样的训练方式，只会投入更多资源、却难以突破模型本质的极限。

因此他认为，AI 产业正逐步回到「探寻新方法」的研究阶段，重点不再是谁拥有最大的机房，而是谁能找到新的学习原则。

(注：强化学习 Reinforcement Learning，意指让模型透过试错成长的训练方式，模型在完成任务后会收到回馈或奖励，并依此调整行为。)

专注理解学习，商业模式之后再说

Sutskever 表示，SSI 的策略是把重心放在研究，特别是理解泛化、人类式学习方式，以及模型如何在少量示范下自我提升。他认为与其急着回答商业模式，不如专注于找到比预训练更根本的学习架构，一旦有所突破，各种商业应用就会陆续出现。

他预估，未来 5 到 20 年，有机会做出「学习效率媲美人类」的 AI。而一旦机器能像人类一样快速掌握新技能，再搭配大规模部署，整体能力将呈现跳跃式成长，逼近超级智慧。

评测与实用差距，将随新学习方式出现而消失

Sutskever 最后表示，现在的 AI 革命之所以看起来不剧烈，是因为模型能力与使用方式之间仍存在明显断层。当模型从会考试进化到会学习，能自我修正、持续泛化并稳定成长时，AI 将以极快速度重塑全球生活。

到那时，人们不会只是在新闻里看到巨额投资，而是能在日常中真正感受到变化。

这篇文章 前 OpenAI 科学家：堆算力已到极限，AI 产业必须重返研究核心 最早出现于 链新闻 ABMedia。