Liquid AI发表非Transformer的AI模型
支付動態 · 2024-10-01

由4名MIT研究人员联合创办的Liquid AI,利用非Transformer架构所建置的LFM基础模型家族,宣称在基准测试表现上,已凌驾其他相同规模的Transformer模型,包括Meta Llama、微软 Phi、Stability Stable以及Google Gemma

/Liquid AI

其中,LFM-1.3B在许多基准测试中击败了1B领域的众多好手,包括苹果的OpenELM、Meta的Llama 3.2、微软的Phi 1.5或是Stability的Stable LM 2,Liquid AI说,这是首次有非GPT架构的模型明显超越Transformer模型。

而LFM-3.1B不仅超越了3B领域的各种Transformer模型、混合模型与RNN模型,甚至超越了前一代的7B与13B模型,不管是Google的Gemma 2,苹果的AFM Edge AFM,Meta的Llama 3.2,微软的Phi-3.5都屈居下风。

LFM-40.3B则强调模型规模与输出品质之间的平衡,尽管拥有400亿个参数,但运行时激活120亿个参数来推论,能比美比自己还大的模型,此外,其MoE架构能实现更高的吞吐量,也能部署在更具成本效益的硬件上。

现阶段的LFMs擅长一般知识及专业知识,也能处理数学及逻辑推理,并可有效率地处理长文任务,主要支持英文,也支持中文、法文、德文、西班牙文、日文、韩文与阿拉伯文。较不擅长的则有零样本的代码任务,精确的数值计算,具时效性的信息,也无法计算Strawberry这个字中有多少个R,以及尚未部署人类偏好的优化。

热门文章
JILI 宣布与全球板球传奇 AB de Villiers(ABD)达成重磅战略合作
体育游戏
BETFAIR 网络攻击80万用户资料泄露
游戏风向
密西西比州众议院委员会推进提议增加赌场税的法案
游戏风向
越南在线博彩业政策收紧 催生市场新机遇
东南亚资讯
GGC Awards 2026 璀璨科伦坡:致敬 iGaming 行业的领航者与创新力量
灰度头条
准备好了将你的收益最大化吗?尝试ProPush.me Constructor!
广告营销
巴西颁布新法赋权央行封锁非法博彩账户及 Pix 交易
支付动态
越南博彩管控逐步放宽,惟本土需求仍显乏力
东南亚资讯
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
英国确认各垂直行业的赌博税税率
游戏风向
新泽西州7月博彩收入创6.06亿美元新高,颁布禁令
游戏风向
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
超级PAC筹资4800万美元:体育博彩势力加码
游戏风向
灰度在iGB L!VE 2026展位T70和你相约7月,一起点燃伦敦的热情!
灰度头条
菲律宾博彩技术赛道迎来新变局,B2B 供应模式加速渗透
东南亚资讯
首页
游戏
合作
发现
我的