

Meta研究人員公布可執行在行動裝置、參數量不到10億的MobileLLM模型家族

_arXiv:2402.14905
MobileLLM 125M/350M在聊天和API呼叫任務中,效能大幅超越參數量相當的小型LLM。其中,在API呼叫任務中,這個新模型得分還比Meta的LLaMA-v2 7B模型大幅領先。
研究人員另外也訓練了其他參數規模的模型,包括MobileLLM-600M/1B/1.5B。
Meta研究小組將MobileLLM的相關資源公開於GitH
最新研究使Meta也躋身裝置端(on-device)AI模型的供應商之林。今年稍早蘋果公布了OpenELM 270M/450M/1.1B/3B、Google則先後開源了Gemma 2B/7B、Gemm2-9B/27B。