中研院CKIP Lab中文詞知識庫小組，最新開源釋出了以Llama 2開發的繁中優化的大型語言模型CKIP-Llama-2-7b，並提供學術和商用，可運用在文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等。
中研院公開展示了經過多任務微調訓練的 CKIP-Llama-2-7b-chat 模型。例如，當你輸入「台灣最高的山？」，它可以回答「玉山」，甚至問他「在台灣，什麼是22K？」，模型都能夠提供相應的回答。此外，你也可以要求它針對台灣的特定主題進行討論。如「規劃一下日月潭二日遊」或是能用七言絕句吟詩作對。
其中，CKIP-Llama-2-7b使用了5.8GB資料進行預訓練，總共包含273萬筆資料，大約28億個token數。這些資料包括了中英維基百科、CommonCrawl子集、臺灣碩博士論文摘要、中央研究院漢語平衡語料庫、徐志摩詩歌全集、朱自清散文全集等內容。另外，使用純人工產生的COIG-PC資料集和dolly資料集來進行多任務微調訓練。
根據他們的測試，經過C-Eval中文模型評測結果，CKIP-Llama-2-7b-chat和CKIP-Llama-2-7b模型表現在整體平均都高於Llama2-7b、Atom-7B等模型，例如，CKIP-Llama-2-7b平均分數約37.03，高於Llama2-7b的22.26和Atom-7B 的35.95。甚至多任務微調訓練後的CKIP-Llama-2-7b-chat，平均分更高，有38.39分。
CKIP Lab小組表示，這個模型可應用於各種領域，包括文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等等。中研院搶先開放測試網頁，開放所有人測試。
除了釋出繁中優化的Llama 2模型，CKIP Lab小組在這之前還有釋出了繁體中文的transformers預訓練模型，包含ALBERT、BERT、GPT2，提供使用者試用，並以GPL-3.0授權釋出。隨著中研院繁中優化的Llama 2模型推出，將有助於加速臺灣繁中大型語言模型研究和商用的發展。
