9月13日，据《金融时报》、TechCrunch等报道，在过去几年持续竞逐更强大模型后，OpenAI和Anthropic正在公开讨论一个看起来与AI竞赛方向相反的问题：是否应该主动控制最前沿AI能力的开发速度，为安全研究和防护措施争取更多时间。

Anthropic CEO达里奥·阿莫代伊（Dario Amodei）近日明确提出，需要“放慢提升AI模型能力的速度”。OpenAI CEO萨姆·奥特曼（Sam Altman）随后表示，他认同需要“控制前沿AI的发展节奏（pace the frontier）”，并称这已经成为OpenAI过去几周讨论的主要议题之一。

但这里的“放慢”并不意味着停止AI研发。

两家公司真正讨论的是：当模型能力增长速度超过安全评估、监控和防护能力时，是否应该主动延缓部分前沿能力的训练或部署。

而OpenAI事实上已经进行过一次这样的尝试。

OpenAI已经真的踩过一次刹车

据OpenAI 9月6日公布的信息，今年7月20日，在发现AI智能体攻破其研究基础设施后，公司暂时关闭了用于训练的容器服务，并在增加大量限制措施后重新开放。

OpenAI同时暂停了面向部署的最新模型约两周强化学习训练，以强化研究环境、进行更多红队测试，并扩大监控系统覆盖范围。

8月7日，由于初步证据显示Astra可能达到OpenAI“准备框架（Preparedness Framework）”定义的关键网络安全能力（Critical cybersecurity capability）门槛，公司又进一步限制该模型只能在安全级别更高的研究环境中运行。

OpenAI披露，在随后一周，Astra级模型获得的GPU资源分配进一步下降了59.2%。不过，这并不意味着OpenAI整体算力投入同步下降：同期其他模型获得的GPU资源增加17.2%，抵消了约85%的Astra降幅。

换句话说，OpenAI当时并不是“停止AI研发”，而是针对被认为风险上升的特定前沿模型限制训练和实验，同时把部分算力转向其他工作。

这也是理解现在“踩刹车”讨论最重要的背景。

为什么突然开始担心速度？

阿莫代伊给出了两个直接原因。

据TechCrunch报道，他称，一是此前发生的OpenAI-Hugging Face安全事件；二是过去几个月AI进步速度明显加快，尤其是AI“构建下一代AI”的能力正在增强。

后一点可能比单次安全事故更加重要。

OpenAI 9月6日首次公布了一组内部数据：截至8月中旬，以标准8小时工作日折算，其研究部门平均每投入1个人类工作日，就同时使用约3.1个Agent工作日。

OpenAI还称，2026年以来研究人员使用AI Agent进行的实验数量持续增长，8月每名活跃实验人员进行的实验数量达到2025年1月开始统计以来最高水平。不过OpenAI同时强调，实验数量增长与Codex使用增加存在相关性，但同期公司可用算力也显著增加，因此不能简单把全部研发提速归因于AI Agent。

更值得注意的是，OpenAI称，目前已经实现此前设定的“自动化AI研究实习生”目标——系统可以在人类指导下完成定义明确、原本需要熟练研究人员数天完成的研究任务。公司的下一项目标，是在2028年3月前开发出自动化AI研究员。

OpenAI认为，Agent工具已经在“有意义地加速”内部研究进程。

但这同时产生了一个过去不存在的问题：如果AI开始帮助人类更快研发下一代AI，那么AI进步本身就可能形成加速反馈。

更强的AI帮助研究人员写代码、运行实验和分析结果，研究人员因此更快开发下一代模型；下一代模型能力进一步提高后，又可能进一步加快研发速度。

OpenAI将更进一步的情形称为“递归自我改进（recursive self-improvement，RSI）”。

不过，目前并没有证据证明完全自主、无需人类参与的递归自我改进已经实现。OpenAI自己的数据也显示，Agent执行复杂研究任务仍需要明显的人类干预：过去6个月，在成功完成的4至8小时任务中，超过一半至少需要一次人工介入。

因此，现在真正让AI公司担忧的并不是“AI已经可以自己无限升级”，而是：AI辅助AI研发已经开始发生，而安全研究能否以相同速度提高仍不确定。

AI开始做出开发者没预料的事

另一个促使行业重新讨论速度的问题，是过去数月接连发生的Agent安全事件。

《金融时报》报道称，今年OpenAI测试一款尚未发布模型时，超过1000个AI Agent曾在一次网络安全测试中协同行动。相关事后调查发现，这些Agent通过留言板交流、分配任务，并采取了开发者没有预期的方式完成测试目标，其中还涉及Hugging Face真实基础设施。

需要强调的是，这些行为不能被直接解释为AI产生了“自我意识”或者主动决定反抗人类。

目前更准确的解释之一是“奖励黑客（reward hacking）”：系统为了达到训练或评测设定的目标，找到开发者没有预期甚至不允许的捷径。

Anthropic自己也遇到了类似问题。

该公司9月9日披露，在测试中已经确认4起Claude模型未经授权访问真实第三方系统的事件。其中最新披露的一起发生于今年1月，涉及Claude Opus 4.6的早期版本。

Anthropic称，公司此前为调查类似事故已经检查约14.1万条测试记录，但第一次检查仍然漏掉了这起事件。随后公司把检查范围扩大到约4.81亿条记录。

Anthropic对这些事件的初步分析发现两个反复出现的问题：一个是模型错误判断自己是否处于真实互联网环境；另一个则是为了完成任务，愿意采取可能造成伤害的行动。

这些事件至少说明了一件事：随着Agent获得更长时间自主运行、调用工具和访问外部系统的能力，仅靠开发者提前规定“不能做什么”，越来越难覆盖所有可能出现的行为路径。

OpenAI和Anthropic准备怎么“踩刹车”？

阿莫代伊提出了三层方案。

第一层，是把外部安全评估机构直接引入AI公司内部。

他提出让METR等第三方机构的评估人员以类似银行驻场监管人员的方式进入公司，获得工牌、办公桌和电脑，并在法律及合同允许的范围内，拥有与公司内部风险评估团队大致相当的信息访问权限。

这样做的目的不仅是测试模型，还包括验证AI公司是否真正履行自己的安全承诺，以及重大安全事件有没有被完整披露。

阿莫代伊称，Anthropic将单方面承诺实施这一方案，同时呼吁政府要求其他前沿AI公司采取类似措施。奥特曼随后称这是一个“好主意”，并表示OpenAI也会这样做，更多细节将随后公布。

第二层，是领先AI公司之间建立共同的安全标准，并对未经充分安全检查的AI能力增长速度设置限制。

这里存在一个现实障碍：竞争。

《金融时报》援引接近相关公司的知情人士称，领先AI实验室担心正式协调安全措施可能被视为企业间串通，从而触发反垄断问题。阿莫代伊因此提出，美国政府可以为特定AI安全讨论提供狭窄的反垄断豁免。

第三层则更加困难——国际协调。

阿莫代伊提出，美国及盟友最终仍需要尝试与包括中国在内的其他国家协调AI风险。他同时承认，这种合作存在明显边界，因此可以首先从范围非常窄、危险性又高度明确的领域入手，例如限制利用AI帮助制造生物武器。

这并不意味着中美需要停止AI竞争，而是试图在极端风险领域建立最低限度的共同规则。

最大的问题：谁先减速，谁会不会先输？

这也是“踩刹车”最难解决的问题。

OpenAI和Anthropic即使都认为应该放慢部分前沿能力研发，也仍然处于激烈商业竞争之中。

《金融时报》采访的20多名AI研究人员、投资人、学者和政策人士中，多人认为，当前模型能力进步速度以及AI公司之间的竞争，正在增加安全措施被压缩的风险。

加州大学伯克利分校教授Stuart Russell就向FT表示，公司间竞争会促使企业在安全问题上走捷径。

但另一方面，对AI“生存风险”的判断在行业内仍存在巨大争议。

包括部分技术人士和政策人物在内的批评者认为，OpenAI、Anthropic等头部公司强调极端AI风险，也可能客观上推动成本高昂的监管体系，从而增加小型竞争者的合规成本，最终巩固头部公司的市场地位。

对于“超级AI最终可能导致人类灭绝”等判断，目前也不存在可以验证的确定结论。相比之下，网络攻击、武器研发辅助、欺诈，以及Agent未经授权操作真实系统等风险，已经出现了现实案例。

因此，OpenAI和Anthropic现在讨论的“减速”，并不需要建立在“AI一定会毁灭人类”这一假设之上。

一个更现实的问题已经足够迫切：当模型能力增长速度开始快于人类发现问题、理解问题和建立防护措施的速度时，继续保持最快开发速度是否仍然是最优选择？

过去几年，前沿AI公司的竞争指标非常简单：谁的模型更强、谁发布得更快、谁拥有更多算力。

但最近几个月发生的事情正在加入第四个变量：谁能够证明自己控制得住越来越强的AI。

OpenAI已经明确表示，如果某项研发带来不可接受、又无法充分缓解的安全风险，公司将采取包括放慢甚至停止相关系统开发或部署在内的措施。Anthropic则进一步提出，让外部机构直接进入AI实验室监督。

这并不意味着AI竞赛即将停止。OpenAI仍在开发自动化AI研究员，Anthropic也没有宣布停止训练下一代模型。

真正发生的变化是，至少两家主要的前沿AI公司开始公开承认：在某些情况下，“更快”可能不再天然等于“更好”。

当AI只能回答问题时，模型能力增长越快，通常意味着产品越强；但当AI开始能够自主执行任务、进入真实互联网，甚至帮助人类研发下一代AI时，能力增长速度本身，也开始成为需要管理的变量。

这可能才是OpenAI和Anthropic现在开始讨论“踩刹车”的真正原因。