The resource will cannot be restored after deletion
蘋果發表規模分別為14億及70億參數的DCLM模型家族,號稱效能與Llama 3、Gemma或Mistral不相上下,同時更節省訓練運算資源
/arXiv:2406.11794
第二款DCLM-1B模型參數量為14億。蘋果宣稱,在Alpaca bench測試中,效能優於Hugging Face上周公布的小模型SmolLM。
蘋果最後將DCLM模型框架、高品質訓練資料集DCLM-BASELINE以及預訓練方法,都開源公布在https://datacomp.ai/dclm專案網站。