Hugging Face公布可在手機上執行的語言模型SmolLM家族
支付動態 · 2024-07-18
Hugging Face研究人員公布小語言模型家族SmolLM，強調是以謹慎策畫的高品質資料集訓練而成，同時釋出該資料集並說明其內容及規畫方法
其中在合成資料集中，團隊產生了3,900萬筆合成文件，包含280億token的大學與高中課本、故事、文章和程式碼，涵括主題超過3.4萬。FineWeb-Edu則是Hugging Face的大型英語網頁資料集FineWeb的一部分，是利用Llama3-70B-Instruct標註挑選出的1.3T token教育類網頁資訊，幾個月前已釋出。Stack-Edu-Python則是由The Stack資料集中，根據Llama 3標註挑選的50萬筆python範例。團隊指出，經過挑選的資料集，在訓練模型的速度都會更快，其中，以Python-Edu-Python資料集訓練的速度提升了3倍。
最終團隊以SmolLM-Corpus 6,000億token資料，分別訓練了1.35億及3.6億版本模型，並以1TB token資料訓練17億版本模型。
Hugging Face團隊將開發出的SmolLM模型和參數量相當的其他模型進行標竿測試。其中SmolLM-135M在多項測試中超越小於200M（2億）參數的其他模型，包括Meta才剛公布的小型LLM MobileLLM（以1TB資料集訓練）。SmolLM-360M測試成績優於所有500M參數以下的模型，不過某些項目遜於MobileLLM-350M。至於SmolLM-1.7B模型則超越所有參數量小於2B的模型，包括微軟Phi-1.5、MobileLLM-1.5B及Qwen2。此模型在Python程式撰寫效能尤其強大。
／Hugging Face
Popular articles
Kazakhstan plans to penalise online casino promotions
Regulation
B2B Tech Infrastructure Gains Momentum in Philippine Gaming Sector
Southeast Asia
That’s a Wrap: AffPapa Conference Madrid 2026 Highlights
Online Game
GAT Expo Puerto Rico Will Pulse with the New Era of Gaming in the Caribbean
Marketing
Global Game Connect (GGC) 2027 Officially Opens Sponsorship & Exhibition Opportunities in Sri Lanka!
HUIDU Focus
PropellerAds Shared a New iGaming Case Study: 97,674 Installs and 12,701 Deposits in 3 Months
Marketing
Vietnam’s Controlled Gaming Shift Gains Ground, But Domestic Demand Still Lags
Southeast Asia
Gaming & Technology Expo Makes a Powerful Entrance in CDMX
Marketing
DB Gaming Is One of Asia’s Top-Tier Game Solution Providers, Recognized as a Pioneer in the Asian Gaming Industry.
Marketing
Zenith partners with HUIDU for 2026 World Cup Carnival Official Tour
Online Game
Brazil Proposes Raising Gambling Tax Rate to 24%, With Revenue Allocated to Social Security and Healthcare
Regulation
1spin4win releases unique slot Don Catleone Hold and Win featuring gangster cats
Online Game
JILI Partners with Cricket Legend AB de Villiers (ABD) to Launch Exclusive Branded Game Series 100% 11
Sports Game
What’s on the SBC Summit Conference Agenda in 2026?
Marketing
New Jersey July Gambling Revenue Hits $606M, Sweeps Casinos Banned
Regulation
