GitHub

法国AI新创公司Mistral AI本周公布AI模型客制化工具，包括API、SDK，让开发人员更容易为自家AI应用微调模型，或是提升模型的运行性能和速度，此外也提供企业模型微调服务。

过去，微调模型需要高额投资，也需要具备相当的模型知识。为此，Mistral AI推出微调用的SDK及API，借以降低微调模型的成本及技术门槛。而且，新工具可支持在用户自有基础架构上微调Mistral AI模型，或是使用Mistral AI代管的微调服务二种情境。

Mistral AI的微调SDK名为mistral-finetune。后者是一种高效轻量程序库（codebase）。这家业者说，这codebase是以LoRA（Low-Rank Adaptation）训练典范训练而成，支持省内存（memory-efficient）和高效的微调作业，允许用户在自己的基础架构上微调Mistral AI所有开源模型，而不损及性能。根据mistral-finetune网页说明，为确保性能，建议使用A100或H100 GPU。这个程序库已为多GPU单一节点训练环境优化，但若用较小模型如Mistral AI 7B，则单一个GPU已足够。

这家新创另外也发布la Platforme上的一组无服务器（serverless）微调服务API。这些服务以Mistral独有的微调技术为基础改良，达到可快速、省成本微调，以及快速部署模型的目的。这是Mistral模型开放应用开发商存取的新方式，底层使用LoRA接口，以防用户忘记基础架构模型知识，也更方便提供服务。

微调服务API兼容Mistral 7B及Mistral Small二种模型。这些模型用户现在就能利用API加以客制化。该公司表示，未来几周会再加入支持的新模型。

若用户不会微调，或希望微调结果更符合自有应用，Mistral AI也能代劳；新公布的客制化训练服务能以客户自有数据来微调模型，适合创建更专精化和为特定领域优化的模型。该公司在这服务中加入进阶技术，像是持续预训练（continuous pretraining），以便在模型权重中加入专属知识。目前这客制化训练服务已经提供给一小部分客户。