Ben Nassi

來自康乃爾大學、以色列理工學院和Intuit的3名研究人員近日發表了一份名為ComPromptMized的研究報告，他們打造出一隻鎖定生成式AI（Gen AI）應用的蠕蟲Morris II，它能夠自我複製，傳播至其它生成式AI應用，還能執行惡意行為，像是竊取使用者機密資料，產生有毒內容，發送垃圾郵件，或執行網釣攻擊，並已透過GitHub開源研究成果。

研究人員指出，最近一年有許多企業都已將Gen AI功能整合到現有或新的應用程式中，形成了互連的Gen AI生態系統，此一生態系統是由基於Gen AI服務的半自主或完全自主代理所組成，他們想釐清的是，駭客能否開發一個可利用代理Gen AI元件的惡意程式，進而危害整個Gen AI生態體系。

於是研究人員打造了Morris II 來攻擊基於Gen AI的電子郵件助理，以寄送垃圾郵件或汲取使用者的個資，在黑盒子與白盒子兩種設定下，使用文字與圖像兩種資料輸入型態，測試的對象包括Gemini Pro、ChatGPT 4.0與LLaVA等3種不同的Gen AI模型，並成功的自基於Gemini 與ChatGPT模型的電子郵件助理中取得了電子郵件內容與電話號碼。

Morris II是首隻使用對抗性自我複製提示的蠕蟲，當駭客使用這類的提示時，Gen AI模型會在輸出中複製輸入，同時從事惡意行為，此外，這些輸入還會迫使不同的應用透過Gen AI生態體系的連結性進行傳播。

研究人員指出，這次的實驗對象為電子郵件助理，可用來汲取使用者的機密資料、產生並散布有毒內容，或是發送垃圾郵件，以及執行網釣攻擊等，然而，他們相信，當Gen AI廣泛被整合到作業系統、手機或汽車之後，可能造成更嚴重的影響，因為它們或許夾帶著勒索軟體或遠端攻擊程式。

此外，研究人員也發現，在許多情況下，所輸入的資料會自動傳送到位於雲端的Gen AI伺服器進行推論，完全不需要使用者互動。

儘管Morris II攻陷了Gemini與ChatGPT的一些安全措施，但研究人員認為，此一報告突顯了AI生態體系架構的安全性有待加強。