Cerebras发表Cerebras Inference,号称全球最快AI推论解决方案
支付動態 · 2024-08-28

Cerebras强调自家AI推论解决方案运行Llama 3.1模型的性能,比基于Nvidia GPU的大型云端解决方案快上20倍,但价格只需1/5

目前Cerebras已被视为少数能与Nvidia匹敌的竞争对手,并已计划于今年下半年首次公开发行股票。

刚上线的Cerebras Inference有免费版、开发者版及企业版,目前其免费版很慷慨地提供了每日10万次的免费推论;开发者版在Llama 3.1 8B与Llama 3.1 70B模型上每生成100万个Token的价格分别是0.1美元与0.6美元;而提供微调、客制化服务及专门支持的企业版则可直接联系Cerebras以议价。

Cerebras还比较了Cerebras Inference以及各大主要AI云端服务在基于Llama 3.1 8B模型的性能表现,发现它以每秒生成1,800个Token的速度,远远领先Groq的750个、Fireworks AI的257个、together.ai的225个、perplexity的165个、OctoAI的164个、AWS的93个,以及Azure的79个。

提供独立AI基准测试的Artificial Analysis首席执行官Micah Hill-Smith指出,Cerebras在AI推论基准测试上领先群伦,它与GPU解决方案根本是不同等级,此外,Cerebras Inference上的Llama 3.1 8B/70B达到与Meta官方一样的16bit精度成果,对于有即时及高容量要求的AI应用开发者而言特别有吸引力。

此外,推论是AI运算中成长最快的领域,约占整体AI硬件市场的70%。Cerebras形容,每秒可生成上千Token的高速推论,堪比宽带网络的问世,预告了AI应用的新时代,让开发人员能够建置需要复杂、多步骤并即时运行任务的新一代AI应用。/Cerebras Systems

热门文章
灰度在iGB L!VE 2026展位T70和你相约7月,一起点燃伦敦的热情!
灰度头条
巴西颁布新法赋权央行封锁非法博彩账户及 Pix 交易
支付动态
2027 Global Game Connect(GGC)斯里兰卡招商全面开启!业务人脉尽在掌握!
灰度头条
GGC Awards 2026 璀璨科伦坡:致敬 iGaming 行业的领航者与创新力量
灰度头条
越南在线博彩业政策收紧 催生市场新机遇
东南亚资讯
印度最高法院受理公益诉讼,要求全国禁封“伪装”成社交游戏的赌博平台
游戏风向
横跨全球6个城市,灰度8场派对邀你共看世界杯,重塑高质量社交新场景
灰度头条
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
越南博彩管控逐步放宽,惟本土需求仍显乏力
东南亚资讯
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
BETFAIR 网络攻击80万用户资料泄露
游戏风向
超级PAC筹资4800万美元:体育博彩势力加码
游戏风向
英国确认各垂直行业的赌博税税率
游戏风向
亚洲游戏市场观察:15大市场热门游戏与用户趋势
线上游戏
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
首页
游戏
合作
发现
我的