OpenAI新董事严厉警告：AI失控将是灾难性的 大多数人可能丧命

克里斯蒂亚诺

克里斯蒂亚诺此前曾在OpenAI负责对齐研究，后来进入美国联邦政府工作，担任美国国家标准与技术研究院下属AI标准与创新中心的安全负责人。

周三，他在X平台上表示，失去对AI系统控制的风险“如今已十分严峻”，需要投入更多工作来使其与人类利益保持一致。除了担任OpenAI基金会董事会成员，他还将加入董事会安全与保障委员会。

“如果我们未能在更强有力对齐机制下构建超级智能，我预计我们将永久性地失去对它的控制，”他在宣布自己将在OpenAI担任新职务时说道，“如果这种情况发生，那么大多数人可能会丧命。我认为，我们需要在国内和国际层面开展协调，以确保全球步调一致，并将风险降低到可接受的水平。”

克里斯蒂亚诺的声明

克里斯蒂亚诺阐述了AI构成的威胁，并警告称人类正面临迫在眉睫的风险，可能失去对AI系统控制。

“根据近期AI能力的发展轨迹，以及对齐工作持续面临的困难，我现在认为存在一种切实的风险，即AI能力的快速加速会在短期内导致灾难性且不可逆转的失控，”克里斯蒂亚诺写道，“我不认为整个AI行业，包括OpenAI在内，目前正走在将这一风险降至可接受水平的轨道上。”

他表示，自己加入OpenAI“并不意味着特别认可或批评OpenAI目前的安全做法”，但他希望所有前沿AI实验室都能加强安全监管。他还表示，要降低AI带来的风险，需要全球范围内开展协调。

此前，AI研究人员一直在警告超级智能和“奇点”带来的风险。“奇点”是指这样一个时刻：AI系统超越人类智能，开始自我改进，并以人类无法再预测或控制的速度发展。OpenAI CEO萨姆·奥特曼(Sam Altman)今年7月表示，“奇点”已经到来。

智能爆炸

克里斯蒂亚诺表示，他认为当前失去对AI控制的风险之所以如此之大，是因为AI在AI研究方面的能力日益增强，而这可能导致一场“快速的智能爆炸”。他还表示，AI通过强化学习进行训练的方式，意味着这些模型被教导要“尽可能多地获取奖励”。

“从理论上看，长期以来一直存在这样一种可能性：强化学习可能会促使AI智能体为了追求与奖励相关但与人类目标不一致的目标，而破坏人类的控制、寻求权力和资源，并掩盖自己的行动轨迹。近期发生的一些事件所提供的公开证据表明，这不仅仅是一种理论上的可能性。”他表示。

克里斯蒂亚诺表示，前沿AI公司仍有机会应对这一局面，包括加强协调、在必要时放缓开发进度、采用共同的安全标准，以及透明地分享有关风险和风险缓解措施的信息。

就在他的声明发布不到一天前，另一位AI研究人员也发出了关于AI的严峻警告。曾在OpenAI工作过的Anthropic研究员雅各布·考克森(Jacob Coxon)周二晚间表示，他已辞职，并称两家公司都没有采取负责任的行动。

“他们正一路狂奔冲向自我改进的超级智能，拿我们的生命当赌注。”考克森在X上说道。

多年来，OpenAI已流失了多位安全研究人员，其中一些人对该公司安全开发AI的承诺提出了质疑。