專門針對機器學習與人工智慧系統的漏洞懸賞專案Huntr指出，號稱能根據使用者需求自主執行任務的新興AI應用系統AutoGPT，存在重大層級的作業系統命令注入漏洞CVE-2024-6091，該弱點出現在AutoGPT處理禁用Shell命令的方式，攻擊者有機會藉由更改過的路徑，就能繞過相關防護．CVSS風險評分達到9.8，近日開發團隊已發布更新予以修補。

什麼是AutoGPT？這是以GPT-4為基礎開發的AI代理程式，號稱是全自動的人工智慧系統，能夠根據使用者下達的任務指令，經過分析後自行設立下個階段的目標，並進一步執行，過程裡還能透過網路搜尋取得完成任務的相關資料，用戶無須參與中間的過程，迄今已有超過16.7萬名GitHub開發者肯定這個專案（給予星號標記），並且有44萬個由AutoGPT分叉出來的專案採用，換言之，這些專案很可能也曝露在相關風險之下。

通報此事的研究人員PinkDraconian指出，他們發現只要強制AI使用完整路徑執行指令，攻擊者就有機會繞過AutoGPT停用特定Shell命令的限制。

為了驗證漏洞的概念與可行性，研究人員也公佈示範此種威脅的程式碼。他們透過.env檔案，將whoami、/bin/whoami列入停用名單，然後將原本的whoami命令更換為/bin/./whoami，就能繞過AutoGPT的黑名單。