OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试

摘要:

面对员工及外界对其人工智能潜在风险的担忧,OpenAI正在重新审视一系列安全策略,其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露(该信息此前未曾披露),在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前,OpenAI就已和Anthropic磋商一份具备法律约束力的协议,双方计划互相针对对方的大模型开展压力测试。

这名消息人士称,今年早些时候,两家企业及其法务团队一直在敲定协议细节,计划对各自模型开展多类测试,排查漏洞与潜在隐藏风险。目前尚不清楚,在OpenAI遭遇多起事件、未发布模型入侵其自身及其他企业系统之前,双方是否完成协议签署。

两家公司的发言人对此均不予置评。

这种交叉测试的思路,与SpaceX首席执行官埃隆・马斯克上周在All-In峰会提出的构想相似。马斯克提议,相互竞争的AI实验室在商业化发布模型前,互相检测对方模型的安全缺陷,实现同行评审。

不过这一思路,和黑客事件后OpenAI首席执行官萨姆・奥尔特曼等人公开讨论的方案有所区别。奥尔特曼表示,他认同Anthropic首席执行官达里奥・阿莫代的提议:允许独立第三方安全评估人员入驻各AI企业,授予其接近内部员工级别的访问权限,直接审查模型与安全流程,而非仅从外部对成品模型做测试。奥尔特曼同时支持建立评估AI模型风险的全行业安全标准,以及一套向公众和政府披露安全事件的正式流程。

一名熟悉OpenAI战略的人士表示,公司一直在研讨多种方案,探索企业之间、企业与政府在AI安全领域的合作模式。该人士称,相关讨论近期拓展至全新安全机制,覆盖模型训练前以及正式发布前两大阶段。

就在OpenAI与Anthropic员工接连发出警报,认为现有安全措施不足以防范后续黑客攻击或其他更严重风险之后,马斯克发表了上述观点。而在此之前,这两家企业连同谷歌,就已经在探讨设立一个AI安全标准机构,负责对模型进行测试与审计。

行业内另有部分企业反对上述方案,认为这类监管举措会拖累由美国主导的人工智能发展进程。特朗普总统并不认同AI存在生存性威胁的观点;微软与英伟达高管本周也表示,OpenAI、Anthropic所提出的部分安全风险问题,根源在于人为失误与工程体系不完善,未必是AI本身造成。

如果OpenAI与Anthropic达成这项互相测试协议,也会加剧市场担忧:两大企业将在前沿AI领域形成事实上的双寡头格局。阿莫代曾提出警示,头部企业若联合制定AI标准,有可能触发反垄断风险。但行业其他观点认为,企业间开展此类合作并无法律障碍,就如同核电企业、网络安全厂商会围绕安全开展协作,包括互相检测对方产品与设施。

据了解谈判内情的消息人士透露,这份拟议协议约定,双方仅可获取对方已商用模型的应用程序接口(API),无法访问尚未发布的模型;OpenAI与Anthropic同时承诺,在测试过程中不会留存对方的数据。

查看评论
created by ceallan