台智雲揭企業級LLM服務新進展,9月底將上線3種繁中優化的Llama 2模型
· 2023-09-22

華碩子公司台智雲揭露新進展,要在企業級大型語言模型服務AFS中納入更多模型,包括以繁中資料強化的FFM-Llama 2 7B、13B和70B版本,預計9月底上線。

再來,在寫程式方面,FFM-Llama 2可在程式碼中保留所需的中文,而非如Llama 2以英文呈現文字內容。(如下圖)

另外,台智雲在AFS中還新添新功能,比如能提高訓練效率的LoRA(Low-Rank Adaptation),特別適合資料量不多的企業使用者,預計10月上線FFM-Llama 2、Meta Llama 2和FFM-BLOOM系列支援LoRA。另一個新功能則是BitsAndBytes,結合了LoRA和模型縮小技術,有利於模型部署於運算資源有限的裝置。(如下圖)

專攻生成式AI,重整推4大服務

吳漢章指出,早在幾年前,華碩雲端就在思考如何創新雲端服務。近期生成式AI崛起,他們看到新契機,藉由原本儲存於雲端的知識,結合生成式AI模型,就能讓模型運用這些知識,來回答用戶各種問題,就像是第二個大腦。

再加上台智雲的算力優勢,他們在今年陸續推出生成式AI 4大服務,包括用於LLM正式環境的AFS、容器服務CCS,以及用於算力和研究的OneAI、HPC。其中,台智雲在CCS容器服務中新添了生成式AI類別,內含多種基礎模型,如BLOOM、Llama 2等,使用者可快速建立生成式AI容器。該服務以GPU每小時計費,目前台智雲的計價方式為1小時58元(臺幣)。吳漢章表示,他們接下來會上架更多開源模型,以及合作夥伴所開發的模型。(如下圖)

而HPC則提供跨節點平行運算環境,來供使用者開發模型使用。此外,OneAI是一款無程式碼平臺,提供多種AI工具,適合快速嚐鮮的使用者,來快速打造模型、管理模型生命周期。(如下圖)

熱門文章
巴西擬將博弈稅率提高至24% 稅收將用於社保與醫療領域
合規與政策
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
橫跨全球6個城市,灰度8場派對邀你共看世界盃,重塑高質量社交新場景
灰度頭條
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
西班牙監管機構警告在線賭博平臺存在身份盜竊行為
合規與政策
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
灰度在iGB L!VE 2026展位T70和你相約7月,一起點燃倫敦的熱情!
灰度頭條
GGC Awards 2026 璀璨科倫坡:致敬 iGaming 行業的領航者與創新力量
灰度頭條
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
首頁
遊戲
合作
發現
我的