台智雲揭企業級LLM服務新進展,9月底將上線3種繁中優化的Llama 2模型
· 2023-09-22

華碩子公司台智雲揭露新進展,要在企業級大型語言模型服務AFS中納入更多模型,包括以繁中資料強化的FFM-Llama 2 7B、13B和70B版本,預計9月底上線。

再來,在寫程式方面,FFM-Llama 2可在程式碼中保留所需的中文,而非如Llama 2以英文呈現文字內容。(如下圖)

另外,台智雲在AFS中還新添新功能,比如能提高訓練效率的LoRA(Low-Rank Adaptation),特別適合資料量不多的企業使用者,預計10月上線FFM-Llama 2、Meta Llama 2和FFM-BLOOM系列支援LoRA。另一個新功能則是BitsAndBytes,結合了LoRA和模型縮小技術,有利於模型部署於運算資源有限的裝置。(如下圖)

專攻生成式AI,重整推4大服務

吳漢章指出,早在幾年前,華碩雲端就在思考如何創新雲端服務。近期生成式AI崛起,他們看到新契機,藉由原本儲存於雲端的知識,結合生成式AI模型,就能讓模型運用這些知識,來回答用戶各種問題,就像是第二個大腦。

再加上台智雲的算力優勢,他們在今年陸續推出生成式AI 4大服務,包括用於LLM正式環境的AFS、容器服務CCS,以及用於算力和研究的OneAI、HPC。其中,台智雲在CCS容器服務中新添了生成式AI類別,內含多種基礎模型,如BLOOM、Llama 2等,使用者可快速建立生成式AI容器。該服務以GPU每小時計費,目前台智雲的計價方式為1小時58元(臺幣)。吳漢章表示,他們接下來會上架更多開源模型,以及合作夥伴所開發的模型。(如下圖)

而HPC則提供跨節點平行運算環境,來供使用者開發模型使用。此外,OneAI是一款無程式碼平臺,提供多種AI工具,適合快速嚐鮮的使用者,來快速打造模型、管理模型生命周期。(如下圖)

Popular articles
Are you ready to maximize your earnings? Try ProPush.me Constructor!
Marketing
Institutional Academy that exceeded expectations marked the opening of GAT CDMX
Online Game
Across 6 Cities: HUIDU Invites You to 8 World Cup Parties Redefining High-Value Social Networking
HUIDU Focus
1spin4win grows its Latin American presence by partnering with Fortuna Juegos
Online Game
GAT CDMX 2025 Institutional Academy: Leaders and Experts Analyze the Present and Future of the Gaming Industry in Mexico and Lat
Sports Game
Super PAC Raises $48 Million: Sports Betting Forces Ramp Up Political Push
Regulation
1spin4win releases unique slot Don Catleone Hold and Win featuring gangster cats
Online Game
UK MPs reopen 2025 gambling inquiry as reform stalls
Regulation
Online gambling, crypto pose ongoing money laundering risks in Philippines, analyst says
Southeast Asia
Indiana online casino bill stalls in House committee
Regulation
GGC Awards 2026 Shines in Colombo: Honoring Leaders and Innovators in the iGaming Industry
HUIDU Focus
British gambling levy rates confirmed for each vertical
Regulation
Brazil Proposes Raising Gambling Tax Rate to 24%, With Revenue Allocated to Social Security and Healthcare
Regulation
New Jersey July Gambling Revenue Hits $606M, Sweeps Casinos Banned
Regulation
Vietnam's tightening online gaming policy creates new market opportunities
Southeast Asia
Home
Game
Cooperation
Find
My