Hugging Face

IBM周一公布其大型语言模型（large language model，LLM）Granite 3.0版多个版本及工具，涵括护栏能力、边缘运算及高性能型，后者性能超越Google及Alibaba等公司10倍大的竞争模型。

这是IBM继5月Granite系列首次亮相后，Granite系列最新成员。本次发布的Granite 3.0有11个，主要有8B与2B版本，分成4种用途类型。第一是密集、通用LLM，Granite 3.0 8B及Granite 3.0 2B各有Instruct及Base版本，共4模型。第二有4模型，是输出－输入护栏（guardrail）模型，Granite 3.0 Guardian 8B与Granite 3.0 Guardian 2B，Instruct及Base版本各一，可提供护栏能力，确保回应内容安全和可信赖。

第三类有2个，为现最小延迟性的专家混合（mixture of expert，MoE）模型，Granite 3.0-3B- A800M-instruct及Granite 3.0-3B- A400M-instruct，适合在CPU为底层的环境及端点运算运行。第四类是1个新的时间串行（Time Series）模型Granite-3.0-8B-Instruct-Accelerator，为提升推论速度和效率的推测解码器，适合零／少量样本预测，性能超过10倍大的模型。

Granite 3.0版是以来自12种自然语言及116种编程语言文本，超过12兆字词，运用二阶段训练方法，并结合数千项以提升数据品质、数据选择及训练参数训练而成。预计到年底Granite 3.0 8B及2B模型可支持128K脉络长度及多模态文档理解能力。

IBM指出，许多企业数据却仍未善用，结合小型Granite及企业数据有助于发挥企业数据的价值，Granite模型结合了IBM和RedHat 5月开源的一致化技术InstructLab，可以更少的成本获致大型模型的性能，估计成本可省3倍到23倍。

Granite 3.0 8B和2B LLM可供企业运行大负载任务的模型，以高性能支持截取增强生成（retrieval augmented generation，RAG）、分类、重点摘要、实体截取等任务。这些模型允许以企业数据微调，整合到各种企业环境或工作流程中。

IBM同时也公开Granite为底层的Code Assistant（程序撰写助理）提供给一般程序开发用途，这项工具可在watsonx.ai平台用以开发和部署AI应用及代理程序。

IBM已将整个Granite 3.0模型系列都以Apache 2.0授权在Hugging Face供下载。其中Granite Guardian 3.0 8B和2B已上架IBM watsonx平台供商业用途。部份Granite 3.0模型可作为Nvidia NIM微服务推出，或在Google Cloud Vertex AI Model Garden上架。并有一些Granite 3.0模型通过Ollama和Replicate平台提供给开发人员。