Hugging Face

IBM周一公布其大型語言模型（large language model，LLM）Granite 3.0版多個版本及工具，涵括護欄能力、邊緣運算及高效能型，後者效能超越Google及Alibaba等公司10倍大的競爭模型。

這是IBM繼5月Granite系列首次亮相後，Granite系列最新成員。本次釋出的Granite 3.0有11個，主要有8B與2B版本，分成4種用途類型。第一是密集、通用LLM，Granite 3.0 8B及Granite 3.0 2B各有Instruct及Base版本，共4模型。第二有4模型，是輸出－輸入護欄（guardrail）模型，Granite 3.0 Guardian 8B與Granite 3.0 Guardian 2B，Instruct及Base版本各一，可提供護欄能力，確保回應內容安全和可信賴。

第三類有2個，為現最小延遲性的專家混合（mixture of expert，MoE）模型，Granite 3.0-3B- A800M-instruct及Granite 3.0-3B- A400M-instruct，適合在CPU為底層的環境及端點運算執行。第四類是1個新的時間序列（Time Series）模型Granite-3.0-8B-Instruct-Accelerator，為提升推論速度和效率的推測解碼器，適合零／少量樣本預測，效能超過10倍大的模型。

Granite 3.0版是以來自12種自然語言及116種程式語言文本，超過12兆字詞，運用二階段訓練方法，並結合數千項以提升資料品質、資料選擇及訓練參數訓練而成。預計到年底Granite 3.0 8B及2B模型可支援128K脈絡長度及多模態文件理解能力。

IBM指出，許多企業資料卻仍未善用，結合小型Granite及企業資料有助於發揮企業資料的價值，Granite模型結合了IBM和RedHat 5月開源的一致化技術InstructLab，可以更少的成本獲致大型模型的效能，估計成本可省3倍到23倍。

Granite 3.0 8B和2B LLM可供企業執行大負載任務的模型，以高效能支援擷取增強生成（retrieval augmented generation，RAG）、分類、重點摘要、實體擷取等任務。這些模型允許以企業資料微調，整合到各種企業環境或工作流程中。

IBM同時也公開Granite為底層的Code Assistant（程式撰寫助理）提供給一般程式開發用途，這項工具可在watsonx.ai平臺用以開發和部署AI應用及代理程式。

IBM已將整個Granite 3.0模型系列都以Apache 2.0授權在Hugging Face供下載。其中Granite Guardian 3.0 8B和2B已上架IBM watsonx平臺供商業用途。部份Granite 3.0模型可作為Nvidia NIM微服務推出，或在Google Cloud Vertex AI Model Garden上架。並有一些Granite 3.0模型透過Ollama和Replicate平臺提供給開發人員。