英伟达推AI安全系统可防止智能体失控

黄仁勋

英伟达一直在迅速扩充其芯片以外的产品线，目前正在推出两款可在其硬件上运行的开源软件安全工具。它们旨在实时控制AI智能体可以访问的内容，并在其违反规则时将其关闭。

这一新系统被称为“开放智能体安全平台”，旨在提供一种无需放缓AI开发就能防范入侵的方法。

英伟达企业AI副总裁贾斯汀·博伊塔诺(Justin Boitan)在周一宣布这一系统前与记者举行的简报会上表示，如果顶尖AI实验室从早期开始就使用这项技术对其AI模型进行评估，就可能阻止Hugging Face遭到的这次攻击。

“根据我们目前掌握的信息，这一新的安全平台本可以阻止那次入侵。”他表示。目前，自主AI智能体的不当行为已经在AI行业引发震动，并导致一些人呼吁放慢AI技术的开发进程。

对于OpenAI或竞争对手Anthropic是否计划利用这套新系统监控模型训练过程，博伊塔诺没有发表评论，而是让记者去问这些公司。

此前，英伟达CEO黄仁勋(Jensen Huang)一直淡化AI失去人类控制的风险。近几天，黄仁勋将AI安全问题描述为一项工程挑战，而不是需要加强监管或开展全球协调的问题。他与美国总统特朗普一道，反驳了一些AI开发者关于这项技术可能导致人类灭绝的说法，但同时也强调，AI必须接受严格的安全测试。

黄仁勋针对AI安全问题的工程解决方案包含两部分。首先，OpenShell是一款英伟达已在3月其标志性技术大会上预览过的软件产品，可在英伟达的Vera中央处理器上运行。它使得用户能够为AI智能体可以访问的内容设定规则，并实时执行这些规则。该软件是开源的，意味着它可以被自由使用和改编。

与此同时，Nvidia Sentry是一款新产品，可以运行在英伟达的BlueField数据处理单元上。英伟达表示，该产品旨在提供额外一层AI监控机制，对AI智能体的行为进行监管，并在发现智能体行为可疑时介入，将其隔离。