微軟推出能防止提示注入、偵測幻覺的Azure AI安全工具
· 2024-04-01

微軟公布Azure平臺上的AI安全工具,協助生成式AI應用開發單位偵測及防範提示注入攻擊、AI幻覺、模型濫用等風險

其中提示防護罩能即時偵測並阻斷基礎模型接收到惡意提示。提示防護罩是基於去年11月微軟推出的越獄風險偵測(jailbreak risk detection)擴充。微軟說明,提示注入包含直接的越獄(jailbreaks)及間接攻擊,前者使用者為攻擊者本身,利用複雜指令如思維鏈(chain-of-thought)或要求角色扮演誘導AI助理產生惡意內容或洩露資訊。後者攻擊者為第三方,但讓AI模型以為輸入的內容來自使用者而執行,例如AI為無辜的用戶簡述電子郵件內容,但不知道內容其實包含惡意指令,可被AI模型執行。間接攻擊手法更隱晦、高明而難以察覺。最新工具強化輸入提示的偵測,防範對象由原本的直接攻擊再加入間接攻擊。「提示防護罩」不久後將整合到Azure AI Content Studio之中。

微軟還宣布了其他改善生成式AI服務安全性的工具。首先是真實性(Groundedness)偵測工具,能偵測文字結果的「不真實」(ungrounded)內容,可防範AI模型幻覺問題。另外,微軟也即將在Azure AI Studio及Azure OpenAI Service加入安全的系統訊息範本,讓AI應用開發人員能建立安全的系統訊息,導引模型使用訓練資料及正確的行為。

热门文章
JILI 宣布与全球板球传奇 AB de Villiers(ABD)达成重磅战略合作
体育游戏
灰度在iGB L!VE 2026展位T70和你相约7月,一起点燃伦敦的热情!
灰度头条
英国确认各垂直行业的赌博税税率
游戏风向
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
新泽西州7月博彩收入创6.06亿美元新高,颁布禁令
游戏风向
2027 Global Game Connect(GGC)斯里兰卡招商全面开启!业务人脉尽在掌握!
灰度头条
密西西比州众议院委员会推进提议增加赌场税的法案
游戏风向
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
超级PAC筹资4800万美元:体育博彩势力加码
游戏风向
BETFAIR 网络攻击80万用户资料泄露
游戏风向
斯里兰卡博弈产业大转型,官方:剑指南亚拉斯维加斯
游戏风向
菲律宾博彩技术赛道迎来新变局,B2B 供应模式加速渗透
东南亚资讯
GGC Awards 2026 璀璨科伦坡:致敬 iGaming 行业的领航者与创新力量
灰度头条
灰度世界杯嘉年华狂欢派对吉隆坡站即将开启,业务拓展人脉社交从马来西亚开始
灰度头条
首页
游戏
合作
发现
我的