Cerebras發表Cerebras Inference,號稱全球最快AI推論解決方案
支付動態 · 2024-08-28

Cerebras強調自家AI推論解決方案執行Llama 3.1模型的效能,比基於Nvidia GPU的大型雲端解決方案快上20倍,但價格只需1/5

目前Cerebras已被視為少數能與Nvidia匹敵的競爭對手,並已計畫於今年下半年首次公開發行股票。

剛上線的Cerebras Inference有免費版、開發者版及企業版,目前其免費版很慷慨地提供了每日10萬次的免費推論;開發者版在Llama 3.1 8B與Llama 3.1 70B模型上每生成100萬個Token的價格分別是0.1美元與0.6美元;而提供微調、客製化服務及專門支援的企業版則可直接聯繫Cerebras以議價。

Cerebras還比較了Cerebras Inference以及各大主要AI雲端服務在基於Llama 3.1 8B模型的效能表現,發現它以每秒生成1,800個Token的速度,遠遠領先Groq的750個、Fireworks AI的257個、together.ai的225個、perplexity的165個、OctoAI的164個、AWS的93個,以及Azure的79個。

提供獨立AI基準測試的Artificial Analysis執行長Micah Hill-Smith指出,Cerebras在AI推論基準測試上領先群倫,它與GPU解決方案根本是不同等級,此外,Cerebras Inference上的Llama 3.1 8B/70B達到與Meta官方一樣的16bit精度成果,對於有即時及高容量要求的AI應用開發者而言特別有吸引力。

此外,推論是AI運算中成長最快的領域,約佔整體AI硬體市場的70%。Cerebras形容,每秒可生成上千Token的高速推論,堪比寬頻網路的問世,預告了AI應用的新時代,讓開發人員能夠建置需要複雜、多步驟並即時執行任務的新一代AI應用。/Cerebras Systems

熱門文章
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
亞洲遊戲市場觀察:15大市場熱門遊戲與用戶趨勢
網路遊戲
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
英國確認各垂直行業的賭博稅稅率
合規與政策
2027 Global Game Connect(GGC)斯里蘭卡招商全面啟動!業務人脈盡在掌握!
灰度頭條
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
西班牙監管機構警告在線賭博平臺存在身份盜竊行為
合規與政策
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
首頁
遊戲
合作
發現
我的