Meta和微軟聯手發表可免費商用的大型語言模型Llama 2
· 2023-07-19

Meta開源可商用大型語言模型Llama 2,與微軟合作供用戶簡單在Azure與Windows部署與執行,但用戶也可從AWS以及Hugging Face等平臺取得Llama 2模型

Meta宣布開源可免費商用大型語言模型Llama 2,並找來微軟當作首批發表合作夥伴,展示雙方於人工智慧領域的擴大合作。用戶現在能夠方便地在Azure和Windows上部署Llama 2模型,而這有望使企業開發人工智慧應用的成本與障礙大幅降低。Meta和微軟在人工智慧領域的合作,從ONNX Runtime與PyTorch的整合開始,而現在進一步拓展至語言模型開源,展示雙方長期合作的決心。

Meta在今年2月的時候發表LLaMA 1,而這個第一代LLaMA語言模型僅開放給人工智慧研究社群申請使用。LLaMA 1提供各種規模的版本,分別有70億、130億、330億及650億個參數等,這些基礎模型以大量未標註的資料訓練,用戶適合針對各種任務進行微調。

LLaMA 1一公開便受到研究人員的歡迎,Meta總共收到10萬個針對LLaMA 1的存取請求,而現在Meta開源Llama 2不限研究用途,更免費提供商業使用,開源的內容包括預訓練模型以及經調校模型的權重與起始訓練程式碼,Llama 2模型有70億、130億和700億參數三個版本。

Llama 2用於訓練的資料量,比LLaMA 1還多了40%,Llama 2預訓練模型總共使用2兆Token訓練,而且其上下文長度(Context Length)是LLaMA 1的兩倍。所謂的上下文長度,是指模型在生成文字時可以參考的文字長度,擁有更長的上下文長度,代表著模型能夠理解和生成更長的文字序列,有助於提升模型理解複雜文字結構和遠距的語義關係。Llama 2經調校的版本,則使用了超過100萬個由人類標註的資料訓練。

這次開源很值得注意的是經調校模型Llama 2-Chat,該模型運用人類回饋增強學習(Reinforcement Learning from Human Feedback,RLHF),針對對話應用最佳化,在廣泛可用性和安全基準上,Llama 2-Chat的表現已經比大多數開放模型還要好,而且根據人類的評估,其可用性已經和ChatGPT相當。Llama 2-Chat同樣也使用Llama 2授權,也就是說可用於學術和商業目的。


Hugging Face

當前用戶在商用大型語言模型的選擇並不多,即便不少企業或是學術單位釋出各種自己訓練的指令遵循模型,但多數模型可能無法商用,以Dolly 1.0模型來說,該指令遵循模型是Databricks以史丹佛大學的Alpaca模型,使用OpenAI API所產生的指令遵循資料集訓練而成,而OpenAI的使用條款,明確禁止用戶將其用於開發和OpenAI競爭的模型。

因此當一個語言模型的訓練資料來自另一個商用語言模型,那其商業用途便會受到限制,要開發一個可商用的語言模型,需要使用全新乾淨的指令遵循資料集,完全不能夠從ChatGPT或是網路等其他來源複製,否則便會污染資料集,也是因為這樣,當初Databricks才傾全公司5,000名員工之力,共同編寫指令遵循資料集,創建並開源可供商用與學術使用的Dolly 2.0。

而現在Meta開源可商用的Llama 2模型,以及可用性與ChatGPT相當的Llama 2-Chat模型,無疑是增加商用語言模型選擇,Llama 2-Chat也有望成為閉源聊天機器人的開放替代之一。

用戶現在可以在Azure AI模型目錄上選用Llama 2,並使用雲端原生工具設置內容過濾與安全功能,Llama 2也針對Windows本地端執行進行最佳化,但不只在微軟的Azure上,用戶也可以從AWS以及Hugging Face等其他平臺獲取Llama 2模型。

不過,雖然Meta稱Llama 2為開源模型,並可供研究與商業使用,但是Llama 2使用一個由Meta自創名為Llama 2的授權,從授權協議看起來Llama 2授權並非典型的開源授權,除了限制Llama 2的輸出不可用於改進其他大型語言模型之外,還附帶了特殊的商業用途條款,當公司的產品和服務超過700萬活躍使用者,就必須向Meta申請授權,因此用戶在使用上仍需多加注意。

熱門文章
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
英國確認各垂直行業的賭博稅稅率
合規與政策
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
GGC Awards 2026 璀璨科倫坡:致敬 iGaming 行業的領航者與創新力量
灰度頭條
巴西擬將博弈稅率提高至24% 稅收將用於社保與醫療領域
合規與政策
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
灰度在iGB L!VE 2026展位T70和你相約7月,一起點燃倫敦的熱情!
灰度頭條
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
首頁
遊戲
合作
發現
我的