

有别于Transformer模型强调自注意机制与支持复杂时空的运算能力,Mistral AI强调Codestral Mamba采用新型架构,支持线性时间推论,因此得以更有效地处理长串行,对于产生代码特别有效率
/Mistral AI
此外,Mistral AI也已测试多达256K Token的Codestral Mamba脉络检索能力,预期它可成为出色的本地端代码助手。
至于Mathstral 7B则是个奠基在Mistral 7B的数学推论模型,专攻科学、技术、工程及数学(STEM)相关领域的主题,将它与DeepSeek Math 7B、Llama 3 8B、GLM4 9B、QWen2 7B、Gemma2 9B进行比较,Mathstral 7B不管是在MATH、GSM8K、Odyssey Math、GRE Math、AMC 2023或AIME 2024等基准测试上都有出色的表现,而且若能拥有更多的运算资源与时间,就会有更好的推论表现。

/Mistral AI
Mathstral 7B是个预训练模型,已可直接用来推论,亦可根据需求来微调它。