Liquid AI发表非Transformer的AI模型
支付動態 · 2024-10-01

由4名MIT研究人员联合创办的Liquid AI,利用非Transformer架构所建置的LFM基础模型家族,宣称在基准测试表现上,已凌驾其他相同规模的Transformer模型,包括Meta Llama、微软 Phi、Stability Stable以及Google Gemma

/Liquid AI

其中,LFM-1.3B在许多基准测试中击败了1B领域的众多好手,包括苹果的OpenELM、Meta的Llama 3.2、微软的Phi 1.5或是Stability的Stable LM 2,Liquid AI说,这是首次有非GPT架构的模型明显超越Transformer模型。

而LFM-3.1B不仅超越了3B领域的各种Transformer模型、混合模型与RNN模型,甚至超越了前一代的7B与13B模型,不管是Google的Gemma 2,苹果的AFM Edge AFM,Meta的Llama 3.2,微软的Phi-3.5都屈居下风。

LFM-40.3B则强调模型规模与输出品质之间的平衡,尽管拥有400亿个参数,但运行时激活120亿个参数来推论,能比美比自己还大的模型,此外,其MoE架构能实现更高的吞吐量,也能部署在更具成本效益的硬件上。

现阶段的LFMs擅长一般知识及专业知识,也能处理数学及逻辑推理,并可有效率地处理长文任务,主要支持英文,也支持中文、法文、德文、西班牙文、日文、韩文与阿拉伯文。较不擅长的则有零样本的代码任务,精确的数值计算,具时效性的信息,也无法计算Strawberry这个字中有多少个R,以及尚未部署人类偏好的优化。

热门文章
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
张侨伟参议员排除全面禁止,敦促菲律宾规范网络赌博
东南亚资讯
斯里兰卡博弈产业大转型,官方:剑指南亚拉斯维加斯
游戏风向
JILI 宣布与全球板球传奇 AB de Villiers(ABD)达成重磅战略合作
体育游戏
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
BETFAIR 网络攻击80万用户资料泄露
游戏风向
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
密西西比州众议院委员会推进提议增加赌场税的法案
游戏风向
2027 Global Game Connect(GGC)斯里兰卡招商全面开启!业务人脉尽在掌握!
灰度头条
亚洲顶尖游戏供应商多寶游戏 DB GAMING,开创亚洲市场的唯一首选
广告营销
越南博彩管控逐步放宽,惟本土需求仍显乏力
东南亚资讯
新泽西州7月博彩收入创6.06亿美元新高,颁布禁令
游戏风向
Zenith携手HUIDU,冠名赞助2026年世界杯嘉年华官方巡回活动
线上游戏
超级PAC筹资4800万美元:体育博彩势力加码
游戏风向
英国确认各垂直行业的赌博税税率
游戏风向
首页
游戏
合作
发现
我的