Hugging Face第二屆LLM排行榜出爐,中國LLM表現出色
支付動態 · 2024-07-01

Hugging Face以MMLU-Pro等六大測試基準,評測市面上的開源LLM,結果顯示阿里雲的Qwen 2凌駕Meta Llama 3-70B拿下第一,另一方面Google Deepmind研究人員則強調新公佈的Gemma 2是最好的開源模型

在完整的排行榜中可以看到每個開源模型的平均表現,以及於不同基準測試中的表現,其中,Qwen 2 -72B在各項基準的平均表現為43.02,明顯凌駕第二名Meta Llama 3-70B的36.67。

Hugging Face共同創辦人暨執行長Clement Delangue在結果出爐的當時表示,該平臺總計使用了300個H100 GPU來測試市場上的開源LLM,不僅是由源自中國阿里巴巴的Qwen 2 -72B勝出,中國在開源LLM市場上也佔據主導地位,此外,對最近更新的模型來說,過去的基準變更太容易了,如同高中生在解決國中生的問題一樣。

Delangue還發現兩件有趣的事,一是打造模型的開發者愈來愈注重各種主要的測試基準,而忽略或犧牲了其它基準;其次則是越大的模型並不總是越聰明。

不過,就在Google上週釋出開源的Gemma 2之後,DeepMind的首席研究人員Armand Joulin便宣佈,Gemma 2-27B已是市場上最好的開源模型。Gemma採用與Gemini同樣的研究及技術而打造,第二代提供了9B及27B兩種版本,Joulin宣稱就算Gemma 2-27B的模型規模比其它競爭對手小了2.5倍,卻已是最好的開源模型。

另一方面,Large Model Systems Organization(lmsys.org)也呼應了Joulin的說法,指出在Google釋出Gemma 2以來便開始蒐集開發者的測試意見,已有超過5,000名開發者認為Gemma 2-27B已勝過Meta Llama 3-70B,為市場上最好的開源模型,不過,lmsys.org的調查一來專注於聊天機器人領域,二來是由開發者進行比較與投票,與Hugging Face所採取的方式不同。

熱門文章
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
西班牙監管機構警告在線賭博平臺存在身份盜竊行為
合規與政策
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
亞洲遊戲市場觀察:15大市場熱門遊戲與用戶趨勢
網路遊戲
英國確認各垂直行業的賭博稅稅率
合規與政策
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
2027 Global Game Connect(GGC)斯里蘭卡招商全面啟動!業務人脈盡在掌握!
灰度頭條
首頁
遊戲
合作
發現
我的