中研院正式開源釋出繁中優化的Llama 2大型語言模型,正式採用Apache2.0釋出
· 2023-10-09

中研院CKIP Lab中文詞知識庫小組,最新開源釋出了以Llama 2開發的繁中優化的大型語言模型CKIP-Llama-2-7b,並提供學術和商用,可運用在文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等。

中研院公開展示了經過多任務微調訓練的 CKIP-Llama-2-7b-chat 模型。例如,當你輸入「台灣最高的山?」,它可以回答「玉山」,甚至問他「在台灣,什麼是22K?」,模型都能夠提供相應的回答。此外,你也可以要求它針對台灣的特定主題進行討論。如「規劃一下日月潭二日遊」或是能用七言絕句吟詩作對。

其中,CKIP-Llama-2-7b使用了5.8GB資料進行預訓練,總共包含273萬筆資料,大約28億個token數。這些資料包括了中英維基百科、CommonCrawl子集、臺灣碩博士論文摘要、中央研究院漢語平衡語料庫、徐志摩詩歌全集、朱自清散文全集等內容。另外,使用純人工產生的COIG-PC資料集和dolly資料集來進行多任務微調訓練。

根據他們的測試,經過C-Eval中文模型評測結果,CKIP-Llama-2-7b-chat和CKIP-Llama-2-7b模型表現在整體平均都高於Llama2-7b、Atom-7B等模型,例如,CKIP-Llama-2-7b平均分數約37.03,高於Llama2-7b的22.26和Atom-7B 的35.95。甚至多任務微調訓練後的CKIP-Llama-2-7b-chat,平均分更高,有38.39分。

CKIP Lab小組表示,這個模型可應用於各種領域,包括文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等等。中研院搶先開放測試網頁,開放所有人測試。

除了釋出繁中優化的Llama 2模型,CKIP Lab小組在這之前還有釋出了繁體中文的transformers預訓練模型,包含ALBERT、BERT、GPT2,提供使用者試用,並以GPL-3.0授權釋出。隨著中研院繁中優化的Llama 2模型推出,將有助於加速臺灣繁中大型語言模型研究和商用的發展。

熱門文章
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
巴西擬將博弈稅率提高至24% 稅收將用於社保與醫療領域
合規與政策
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
西班牙監管機構警告在線賭博平臺存在身份盜竊行為
合規與政策
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
橫跨全球6個城市,灰度8場派對邀你共看世界盃,重塑高質量社交新場景
灰度頭條
英國確認各垂直行業的賭博稅稅率
合規與政策
GGC Awards 2026 璀璨科倫坡:致敬 iGaming 行業的領航者與創新力量
灰度頭條
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
灰度在iGB L!VE 2026展位T70和你相約7月,一起點燃倫敦的熱情!
灰度頭條
首頁
遊戲
合作
發現
我的