专门针对机器学习与人工智能系统的漏洞悬赏项目Huntr指出，号称能根据用户需求自主运行任务的新兴AI应用系统AutoGPT，存在重大层级的操作系统命令注入漏洞CVE-2024-6091，该弱点出现在AutoGPT处理禁用Shell命令的方式，攻击者有机会借由更改过的路径，就能绕过相关防护．CVSS风险评分达到9.8，近日开发团队已发布更新予以修补。

什么是AutoGPT？这是以GPT-4为基础开发的AI代理程序，号称是全自动的人工智能系统，能够根据用户下达的任务指令，经过分析后自行设立下个阶段的目标，并进一步运行，过程里还能通过网络搜索取得完成任务的相关数据，用户无须参与中间的过程，迄今已有超过16.7万名GitHub开发者肯定这个项目（给予星号标记），并且有44万个由AutoGPT分叉出来的项目采用，换言之，这些项目很可能也曝露在相关风险之下。

通报此事的研究人员PinkDraconian指出，他们发现只要强制AI使用完整路径运行指令，攻击者就有机会绕过AutoGPT停用特定Shell命令的限制。

为了验证漏洞的概念与可行性，研究人员也公布示范此种威胁的代码。他们通过.env文件，将whoami、/bin/whoami列入停用名单，然后将原本的whoami命令更换为/bin/./whoami，就能绕过AutoGPT的黑名单。