台智雲揭企業級LLM服務新進展,9月底將上線3種繁中優化的Llama 2模型
· 2023-09-22

華碩子公司台智雲揭露新進展,要在企業級大型語言模型服務AFS中納入更多模型,包括以繁中資料強化的FFM-Llama 2 7B、13B和70B版本,預計9月底上線。

再來,在寫程式方面,FFM-Llama 2可在程式碼中保留所需的中文,而非如Llama 2以英文呈現文字內容。(如下圖)

另外,台智雲在AFS中還新添新功能,比如能提高訓練效率的LoRA(Low-Rank Adaptation),特別適合資料量不多的企業使用者,預計10月上線FFM-Llama 2、Meta Llama 2和FFM-BLOOM系列支援LoRA。另一個新功能則是BitsAndBytes,結合了LoRA和模型縮小技術,有利於模型部署於運算資源有限的裝置。(如下圖)

專攻生成式AI,重整推4大服務

吳漢章指出,早在幾年前,華碩雲端就在思考如何創新雲端服務。近期生成式AI崛起,他們看到新契機,藉由原本儲存於雲端的知識,結合生成式AI模型,就能讓模型運用這些知識,來回答用戶各種問題,就像是第二個大腦。

再加上台智雲的算力優勢,他們在今年陸續推出生成式AI 4大服務,包括用於LLM正式環境的AFS、容器服務CCS,以及用於算力和研究的OneAI、HPC。其中,台智雲在CCS容器服務中新添了生成式AI類別,內含多種基礎模型,如BLOOM、Llama 2等,使用者可快速建立生成式AI容器。該服務以GPU每小時計費,目前台智雲的計價方式為1小時58元(臺幣)。吳漢章表示,他們接下來會上架更多開源模型,以及合作夥伴所開發的模型。(如下圖)

而HPC則提供跨節點平行運算環境,來供使用者開發模型使用。此外,OneAI是一款無程式碼平臺,提供多種AI工具,適合快速嚐鮮的使用者,來快速打造模型、管理模型生命周期。(如下圖)

熱門文章
Kazakhstan plans to penalise online casino promotions
Regulation
New Jersey July Gambling Revenue Hits $606M, Sweeps Casinos Banned
Regulation
PropellerAds Shared a New iGaming Case Study: 97,674 Installs and 12,701 Deposits in 3 Months
Marketing
That’s a Wrap: AffPapa Conference Madrid 2026 Highlights
Online Game
GAT Expo CDMX 2026 Kicks Off Today in Mexico with a Sold-Out Opening Reception at Big Bola Casino Santa Fe
Marketing
Gaming & Technology Expo Makes a Powerful Entrance in CDMX
Marketing
Vietnam's tightening online gaming policy creates new market opportunities
Southeast Asia
1spin4win releases unique slot Don Catleone Hold and Win featuring gangster cats
Online Game
Indiana online casino bill stalls in House committee
Regulation
Brazil Proposes Raising Gambling Tax Rate to 24%, With Revenue Allocated to Social Security and Healthcare
Regulation
PropellerAds Positions Itself as a Go-To Traffic Source for iGaming Advertisers Ahead of a High-Demand Season
Marketing
Zenith partners with HUIDU for 2026 World Cup Carnival Official Tour
Online Game
SBC Summit Canada to Make Player Safety a Key Pillar of 2026 Agenda
Marketing
British gambling levy rates confirmed for each vertical
Regulation
GAT Expo Puerto Rico Will Pulse with the New Era of Gaming in the Caribbean
Marketing
首頁
遊戲
合作
發現
我的