奥特曼：谁来决定AI该比人类聪明多少？ - 今年会官网

AI究竟该被允许比人类聪明多少？

在11月3日发布的Raj Shamani访谈里，OpenAI CEO奥特曼主动抛出了这个问题。

这听起来像科幻片里的情节，其实距离普通人并不遥远。

奥特曼在访谈中追问：AI究竟该被允许比人类聪明多少？

评估机构METR有个指标：用人类专家所需的工时，衡量AI有五成把握独立完成的软件类任务有多长。

2025年初，这个数字约50分钟；到2026年4月，METR估计的数字已在16小时以上。

更关键的是，是增长速度的变化。

2019年到2025年初，这一指标大约每7个月翻一番；而2026年5月的报告发现，只看2024年以来发布的前沿模型，这个数字大约每105天就翻一番。

人类这边，20世纪的智商测试成绩，平均每十年涨约3分。这个现象以研究者詹姆斯·弗林的名字命名，叫「弗林效应」。

可这条曲线已经出现逆转迹象：

挪威研究者分析了约73万份征兵智商测试，发现1975年以后出生的人，分数开始往下走，降幅相当于每一代人少了约7分。

就连弗林本人，也在英国青少年身上看到过类似下滑。

一边，AI能完成的任务长度，按上述统计约每105天翻一番；另一边，人类IQ测试分数的历史增幅，通常是每十年约3分，部分国家还出现了下降。

两把尺子，不能直接算出「智力鸿沟」。但一个问题已经摆在眼前：

AI能接手的工作越来越多，人类看懂它、核查它、管住它的能力，也得跟上。

这和我们有什么关系？

平时你拿AI写代码、查资料、改方案，它比你聪明半步，那是得心应手的「外挂」。

可一旦它比你聪明太多，性质就变了：你甚至连给它挑错的能力都没有。

你仍然可以质疑它，却越来越需要可靠的工具和其他人，帮你验证它。

就连造AI的人，也被类似的问题所困扰。

对奥特曼来说，打造超级智能的代价，已经体现在自己的生活里。

访谈中，主持人问他：哪个版本的自己已经「死了」？

奥特曼坦言：刚做OpenAI时，他还是那个生活轻松、满身爱好的人。如今日程已被精确排满，他已经很久没做过一件随性的事。

他说，想造出超级智能（ASI），就不可能不过上疯狂的生活。

奥特曼谈打造超级智能的代价：生活被精确安排，随性而为已成奢侈。

谈到OpenAI正在打造的技术，奥特曼强调，它将成为一股深刻影响社会的力量，责任重大，赌注极高。

进入递归自我改进（RSI）的过程中，他提醒，有两类风险需要同时防范：

一类是人类失去对AI的控制；另一类是权力过度集中在某个人、某家公司或某个国家手中。

前者关乎人类能不能管住AI，后者关乎这份力量最终掌握在谁手里。

AI越会研发AI

人还跟得上吗

GPT-4训完之后，OpenAI曾押上公司命运狂囤算力。

当时的逻辑很简单：大力出奇迹。

可如今谈到RSI，奥特曼的追问，背后多了一个最难提速的变量：人脑消化AI产出的速度。

这个速度跟不上，人与AI的智力鸿沟就只会越拉越大。

所谓RSI，就是让AI去研发下一代AI。造出更强的AI后，再让它接管更多研发工作，像滚雪球一样自己推着自己跑。

OpenAI在9月21日的文章里，曾划过一道安全线：

完全自主的RSI今天还没发生，在能确保安全之前，也不该去硬闯；要不要往前走、怎么走，得看人类是否能保住控制权。

OpenAI在9月21日强调，推进完全自主的RSI，必须以安全和保留人类控制权为前提。

但要守住这道安全线，还得缩小这个「速度差」：AI提出的新方案，人类的验证要跟得上。

假设一个系统能24小时不眠不休地抛出成百上千个算法改进。人类研究员还没弄清上一轮改动的影响，下一轮实验的倒计时已经响了。

这时，如果只看跑分涨了多少，就给方案放行，人工审核就可能沦为走过场。

人虽然还在流程里，控制权却未必还在手里。

当AI提出方案的速度快过人类理解和验证的速度，风险就可能在这段时间差中累积。

如果把AI能力比作控制面板上的一颗旋钮，能拧到哪一格，不能只看算力有多猛，还得看人类能不能看懂、验证，并在必要时叫停。

奥特曼在直播中追问的治理、监测和对齐，要落到实处，就绕不过三个问题：

谁来评估？谁来复核？谁有权改方向？

在9月21日的同一篇文章中，OpenAI还提出，对齐研究及其实际应用，需要走在能力增长前面。

到了10月，奥特曼在Matthew Berman的访谈里进一步表示，RSI的推进速度需要某种「限速」。

奥特曼在Matthew Berman访谈中表示，需要对RSI的推进速度设置某种限制。

这些讨论没有给出具体的智力上限，也没有给出完整的限速方案。

但往后衡量AI进步，不能只算「能力涨了多少」，还得算「人类来不来得及插手」这第二本安全账。

AI盯AI

警报响了谁接手

这本安全账要怎么算？

10月29日，OpenAI把前沿模型的分层监测机制摆上了台面。

整套系统看着像一道层层加码的机场安检，而且是用AI盯AI的「套娃模式」：

第一层是「安检门」，用轻量探针实时扫描模型内部的激活信号，原则是宁可错杀一千，绝不放过一个；

第二层是「审讯员」，派一个模型专门翻看智能体最近的对话、思维链和工具调用，揪出撒谎、越权和钻评测空子的猫腻；

第三层是「专案组」，交给调查智能体去回溯上下文、还原案发现场，必要时直接拉进隔离沙箱里跑代码取证。

毕竟，单看一句话和查清一次越权，完全是两码事。

很多危险动作拆开看都人畜无害，只有放回任务目标和前后行为链条里，才能看出它是不是在「暗度陈仓」。

到了训练、评测和内部Codex这类高危核心区，还有第四层「底线哨兵」。

它跳出对话，核对底层的网络日志和系统记录，最后拍板要不要拉响警报叫醒人类。

OpenAI内部监测流程：分层筛查模型行为，分别开展安全与对齐调查，再由人工响应或复核。

问题在于，模型可以7×24小时连轴转，但人类的安全值班却分「工作时间」和「下班时间」。

OpenAI自己也承认，误报太多，做不到所有任务都全天候叫人。

为了补这个窟窿，OpenAI让部分关键警报不等人、直接熔断暂停任务，同时还在推进一道30分钟兜底机制：

只要警报响起30分钟内没人排除，相关活动直接强制停机。

谁控制AI

谁又能参与决定

退一步讲，哪怕模型不会失控，人类依然可能掉进另一个深坑：权力过度集中。

奥特曼在访谈里提到两种近乎「卡通式」的坏结局：

一种是失控：人类有意或无意地，把未来交接给远比自己强大的系统，再也收不回来；

另一种是集中：某一个人、一家公司，借着AI获得了碾压其他所有人的力量。

他甚至表态：如果只有OpenAI一家掌握这种技术，同样不是好事，所以应该让多家AI机构各走各路、同台竞争。

他的话落到普通人和开发者头上，是一个选择权的问题。

比如，一家模型厂商太霸道了，能不能换掉？一条规则伤到自己了，有没有地方讲理？AI接管的工作越多，这种选择权就越重要。

但巨头竞争，并不会自动带来安全。真正的试金石是开放透明：外部的人能不能随时掀开AI的「引擎盖」查验。

而且，查验规则也要写明：能力跨过哪条红线，必须触发人工复核？独立评估方进场时，能看到多深的训练底牌？发现苗头不对时，到底谁有权按下暂停键？

这三个问题的答案，绝不能只由实验室自己关起门来定。

通向ASI

也要留出验证的时间

访谈聊到尾声，奥特曼谈起了自己最想造的东西：

一台能帮人类发现新科学的机器。

近期AI在数学上的突破，让他觉得这个里程碑比预想中来得更快。

他畅想着AI帮人类捅破物理学的窗户纸，找出全新的疗法和清洁能源。

他说，自己最近一次心跳加速，是宣布Navier-Stokes方程相关成果的前夕。

可也正是这个成果，像一把精准的尺子，量出了AI与人类之间最尴尬的时间差。

据OpenAI披露，AI跑出这项结果只花了约88个小时；而人类顶尖数学家接手核对至今，已经熬了快两个月，依然没法给出定论。

没经过验证的突破，在科学上就等于零，甚至可能成为负数：

如果AI一边帮着改进算法、优化实验，一边直接把未经人类消化的成果喂给下一代模型，循环的齿轮就会越转越偏。

这和一种已被证实的现象很像：模型崩溃。

2024年，牛津、剑桥等机构的研究者在《自然》上发文指出：不加筛选地用AI生成的内容训练下一代模型，会给模型留下不可逆的缺陷，原始数据里那些少见的「长尾」会最先消失。

实验里，输入是一段讲中世纪建筑的文字。训练到第9代，模型吐出来的已经是一串长耳野兔的名单。

研究者当时指出：用AI数据训练下一代并非不可行，但筛选这一步必须当真。

这正是AI科研滑向失控RSI的快车道，也是今天讨论超级人工智能（ASI）时最该盯紧的命门。

未来的AI，可能会承担越来越多探索未知的工作。

但无论它走得多远，人类都必须看得到证据，有能力验证结果，也有权决定方向。更多前沿动态可关注今年会官网。

参考资料：

https://x.com/ChrisGPT/status/2117699613134368839

https://www.youtube.com/watch?v=TjPPIf-M6KE

https://www.youtube.com/watch?v=3gXLmy7DK_4&t=2015s

https://www.cnbc.com/2026/09/14/sam-altman-ai-slowdown-anthropic-amodei-musk.html

本文来自微信公众号“新智元”（ID：AI_era），作者：ASI启示录，编辑：元宇，36氪经授权发布。