AI减速:一场事先张扬的安全危机
5 小时前 / 阅读约5分钟
来源:36kr
硅谷四大前沿AI实验室罕见联合呼吁AI减速,强调引入第三方安全评估和建立共同安全标准。递归自我改进能力进展引发担忧,AI安全已不仅是技术问题,还涉及权力分配和竞争规则。

一日千里的AI(人工智能)行业,忽然开始集体踩刹车。

9月12日,Anthropic联合创始人兼CEO达里奥·阿莫代伊率先发表长文,公开呼吁前沿AI“减速”,提出引入常驻第三方安全评估、建立行业共同安全标准,并最终寻求在全球范围内对最危险的AI能力进行协调限制。很快,xAI创始人埃隆·马斯克直接回应“达里奥是对的”;OpenAI的CEO山姆·奥特曼也表示“我们需要控制前沿发展的速度”;谷歌DeepMind联合创始人哈萨比斯随即表态支持。由此,硅谷四家最重要的前沿AI实验室在长期相互竞争之后,罕见地站到了同一边。

两天之后,微软继续加码。9月14日,Microsoft AI 发布了长达37页的“Humanist AI”行为准则草案,明确提出 AI 必须始终处于人类的有效控制之下。微软 CEO 萨提亚·纳德拉随后也在内部强调:AI 越强大,就越应该给安全测试留出时间。

这是一场可以称为“事先张扬”的安全危机。这些科技巨头到底看见了什么,以至于在危险尚未完全显现之前,警报就已经被拉响?

01

最值得关注的变化,就是RSI(递归自我改进)能力的进展。

递归自我改进带来的真正危险,并不是 AI 突然像科幻电影一样“产生意识”,而是AI越来越深地嵌入自身的研发过程:它帮助工程师写代码、设计实验、寻找漏洞、优化模型,再由改进后的模型参与下一轮研发。Anthropic 此前发布的一份网络安全报告披露,截至 2026 年 5 月,其代码库中超过 80% 的合并代码已经由 Claude 编写。与此同时,AI能够独立完成的任务持续时间也在快速增长。Anthropic 自己承认,如果这条曲线继续延伸,理论上的终点就是 AI 参与设计自己的下一代模型。

这比“AI觉醒”更加值得警惕。因为真正改变历史的,可能从来都不需要机器突然拥有一个类似人类的灵魂,只需要技术不断自我进化后,更强的 AI 帮助造出更强的 AI,后者又进一步缩短下一代 AI 的研发周期。一旦机器智能的进化速度开始超出人类组织、制度和监管能够理解的速度,所谓失控就不再只是电影里的机器人反叛,而可能首先表现为人类失去理解和干预技术演化过程的能力。

所以,我们不能轻易把科技巨头今天的警告一概视作危言耸听。OpenAI 最新的政策表述已经非常明确:自主 RSI 目前还没有发生,但AI正在加速 AI 研究,人类需要在真正跨过临界点之前建立共同的安全标准。

02

但问题恰恰也在这里。因为一旦“AI太危险”成为共识,接下来的追问就变得迫在眉睫:

谁有资格继续开发 AI?什么样的公司需要接受审查?什么模型可以开放权重、什么能力能够跨境提供?这些问题都将迅速凸显。

所以,AI安全如今早已不再是一个纯粹的技术问题。当AI进入生产与生活,就必然开始分配权力。OpenAI、Anthropic等已经拥有先发优势,如果前沿AI未来需要更加严格的第三方评估、更昂贵的安全测试、更复杂的算力监管和更严格的模型访问机制,那么这些规则在降低系统性风险的同时,也天然提高了竞争的门槛。

这也是硅谷的行动尤其值得国产AI产业警惕的原因。当模型能力、蒸馏、算力、芯片、开源权重、网络安全乃至国家安全逐渐被装进了同一个政策框架,全球AI竞争的游戏规则就已经发生变化。对于依靠开源、蒸馏、低成本创新快速缩小技术差距的后来者而言,这套新秩序的影响尤其巨大。

于是我们终于触及到这场“AI减速”真正复杂的地方。科技巨头可能确实害怕AI失控。但与此同时,安全规则的设定同样可能成为下一阶段这些公司保持领先的原因,因为谁定义了行业规则,谁就更有可能在竞争中占据优势。包括中国AI在内的后来者,都必须遵守这些安全规则。

技术竞争的历史反复证明,标准从来不仅仅是为了规范技术,标准本身就是竞争的一部分。从通信协议到芯片出口,从数据跨境到平台治理,谁能够定义风险,谁就能够定义市场。

这或许才是这场事先张扬的安全危机背后真正重要之处。当所有人都被要求慢下来,我们不仅要追问AI为什么必须减速,更应该看清楚谁在决定速度,以及未来谁还能继续留在赛道上。