OpenAI公布網頁爬蟲GPTBot,解決網頁資料擷取疑慮
· 2023-08-08

GPTBot提供網站或資料持有人opt-in或opt-out選項,決定是否提供網站內容給OpenAI訓練其AI模型

為解決從公開網站上掠取資料的隱私與智財權爭議,OpenAI本周一釋出網頁爬蟲技術GPTBot,以更透明方式蒐集公開網頁資料來訓練其AI模型。

OpenAI指出,GPTBot以明白的user agent token(GPTBot)及完整字串(Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)表明它是來自OpenAI。

OpenAI表示,以GPTBot user agent抓取的網頁資料可能會用於改良未來模型,過程中會篩選掉需要付費的來源,但其中仍可能包含可辨識身份的資訊,或是違反OpenAI政策的文字。

若網站管理員允許GPTBot存取網站,將可協助改進AI模型的精確度,提升其能力及安全。但若網站管理員不希望其網站被蒐集資料,OpenAI也提供了拒絕的方法說明。包括在網站robots.txt檔案中加入GPTBot(如圖),也可以自訂GPTBot存取網站部份內容(如圖)。此外,OpenAI也公布GPTBot使用(https://openai.com/gptbot-ranges.txt)的IP位址範圍,方便網站辨識與封鎖。

此類透明化措施可說是OpenAI對媒體或內容網站對AI模型業者未經同意蒐集資料的批評的回應。現在普遍認為,業者未經同意蒐集公開網站的內容來訓練自己的AI模型,侵犯了智財權、隱私權;他們應該要提供opt-in或opt-out選項,讓網站或資料持有人決定是不是要提供自己網站上的內容。

上周募資平臺Kickstarter也頒布一項AI相關規定,其中一項規定是若新創專案使用了外部,應出具來源網站的許可政策及同意證明。無法提供的專案則無法通過審核在Kickstarter上架。

而本周OpenAI預計也將有大改版,包括ChatGPT底層將升級為GPT-4,而外掛Code Interpreter也將支援上傳多個檔案到提示中。

Popular articles
UK MPs reopen 2025 gambling inquiry as reform stalls
Regulation
That’s a Wrap: AffPapa Conference Madrid 2026 Highlights
Online Game
Zenith partners with HUIDU for 2026 World Cup Carnival Official Tour
Online Game
New Jersey July Gambling Revenue Hits $606M, Sweeps Casinos Banned
Regulation
GAT Expo Puerto Rico Will Pulse with the New Era of Gaming in the Caribbean
Marketing
Online gambling, crypto pose ongoing money laundering risks in Philippines, analyst says
Southeast Asia
Indiana online casino bill stalls in House committee
Regulation
Super PAC Raises $48 Million: Sports Betting Forces Ramp Up Political Push
Regulation
JILI Partners with Cricket Legend AB de Villiers (ABD) to Launch Exclusive Branded Game Series 100% 11
Sports Game
Kazakhstan plans to penalise online casino promotions
Regulation
Manila delivers: Highlights from SiGMA Asia 2026 
Southeast Asia
British gambling levy rates confirmed for each vertical
Regulation
What’s on the SBC Summit Conference Agenda in 2026?
Marketing
SBC Summit Canada to Make Player Safety a Key Pillar of 2026 Agenda
Marketing
Vietnam's tightening online gaming policy creates new market opportunities
Southeast Asia
Home
Game
Cooperation
Find
My