／Red Hat

Granite是IBM研究院開發的旗艦級decoder-only Transformer架構LLM，去年9月發布。Granite模型家族的4個模型可用於AI助理、財務應用、多語（英、西、葡、德、法語）翻譯，以及日文專用版本。

包含在RHEL AI中的Granite模型則是IBM開源的Granite 70億模型（Granite-7b-base），它是Meta Llama2-7B基礎模型變種，是以2兆token資料集訓練而成，上下文長度達4千個token。

除了Granite模型外，新方案還包含IBM研究院提供的模型訓練開發方法和工具，名為Large-scale Alignment for chatBots（LAB）。IBM說明，LAB方法使用分類指引（taxonomy-guided）的資料合成與新式多階段調校框架，可藉由減少人員標註及免除昂貴模型，降低AI模型開發門檻，也能藉由指明領域知識及技能、使用大量生成的資料來訓練、改進模型。

配合在RHEL AI專案，Red Hat也設立以LAB開源社群InstructLab，藉由開源Granite模型吸引開發人員加入貢獻。

RHEL AI除了單獨提供，也可包含在混合機器學習運行MLOPs平臺OpenShift AI中，以便在分散式叢集環境中大規模部署。開發人員可使用OpenShift的Kubernetes引擎來訓練並執行AI模型，並使用內建的MLOPs功能管理其生命周期。IBM開發工具watsonx.ai是在OpenShift AI上開發，將可基於RHEL AI能力得以提升AI開發資料管理、模型治理能力。