Google安全副总裁 Heather Adkins周一宣布,其大语言模型漏洞研究员 Big Sleep 在多种流行开源软件中发现并报告了 20 个漏洞。由公司人工智能部门 DeepMind 及其精英黑客团队 Project Zero 开发的 Big Sleep首次报告了漏洞,这些漏洞主要存在于音频和视频库 FFmpeg 和图像编辑套件 ImageMagick 等开源软件中。
鉴于这些漏洞尚未修复,我们目前尚不清楚其影响或严重程度,因为Google目前不愿提供详细信息,而这在等待漏洞修复时是常规做法。但 Big Sleep 发现这些漏洞这一简单事实意义重大,因为它表明这些工具开始取得实际成效,即使此案中涉及人为因素。
Google发言人金伯利·萨姆拉 (Kimberly Samra) 表示:“为了确保报告的高质量和可操作性,我们在报告之前会聘请一位人类专家参与,但每个漏洞都是由人工智能代理发现并重现的,无需人工干预。”
Google工程副总裁 Royal Hansen在 X 上写道,这一发现表明“自动化漏洞发现领域开辟了新领域”。 基于 LLM 的工具能够查找和发现漏洞已经成为现实。除了 Big Sleep,还有RunSybil和 XBOW 等。
XBOW 在漏洞赏金平台 HackerOne 的美国排行榜上名列前茅后,引起了媒体的关注。值得注意的是,在大多数情况下,这些报告在流程的某个阶段都会有人工参与,以验证人工智能漏洞猎人是否发现了合法的漏洞,Big Sleep 就是这种情况。
RunSybil 是一家开发人工智能漏洞猎手的初创公司,其联合创始人兼首席技术官 Vlad Ionescu 介绍说,Big Sleep 是一个“合法”的项目,因为它“设计精良,背后的人知道自己在做什么,Project Zero 拥有漏洞查找经验,而 DeepMind 拥有强大的资源来支持它”。
这些工具显然前景光明,但也存在一些明显的缺陷。一些维护不同软件项目的人抱怨说,他们的错误报告实际上是幻觉,有些人甚至称其为“漏洞赏金计划”版的人工智能垃圾。