GitHub

法國AI新創公司Mistral AI本週公佈AI模型客製化工具，包括API、SDK，讓開發人員更容易為自家AI應用微調模型，或是提升模型的執行效能和速度，此外也提供企業模型微調服務。

過去，微調模型需要高額投資，也需要具備相當的模型知識。為此，Mistral AI推出微調用的SDK及API，藉以降低微調模型的成本及技術門檻。而且，新工具可支援在用戶自有基礎架構上微調Mistral AI模型，或是使用Mistral AI代管的微調服務二種情境。

Mistral AI的微調SDK名為mistral-finetune。後者是一種高效輕量程式庫（codebase）。這家業者說，這codebase是以LoRA（Low-Rank Adaptation）訓練典範訓練而成，支援省記憶體（memory-efficient）和高效的微調作業，允許用戶在自己的基礎架構上微調Mistral AI所有開源模型，而不損及效能。根據mistral-finetune網頁說明，為確保效能，建議使用A100或H100 GPU。這個程式庫已為多GPU單一節點訓練環境優化，但若用較小模型如Mistral AI 7B，則單一個GPU已足夠。

這家新創另外也發布la Platforme上的一組無伺服器（serverless）微調服務API。這些服務以Mistral獨有的微調技術為基礎改良，達到可快速、省成本微調，以及快速部署模型的目的。這是Mistral模型開放應用開發商存取的新方式，底層使用LoRA介面，以防用戶忘記基礎架構模型知識，也更方便提供服務。

微調服務API相容Mistral 7B及Mistral Small二種模型。這些模型用戶現在就能利用API加以客製化。該公司表示，未來幾周會再加入支援的新模型。

若用戶不會微調，或希望微調結果更符合自有應用，Mistral AI也能代勞；新公佈的客製化訓練服務能以客戶自有資料來微調模型，適合建立更專精化和為特定領域最佳化的模型。該公司在這服務中加入進階技術，像是持續預訓練（continuous pretraining），以便在模型權重中加入專屬知識。目前這客製化訓練服務已經提供給一小部分客戶。