

Google强调Gemma 2 2B可支持边缘设备、笔电,以及使用 Vertex AI与GKE的强大云端部署,并利用Nvidia TensorRT-LLM函数库进行优化,可作为Nvidia NIM使用
Google亦强调了Gemma 2 2B的灵活部署能力,可支持边缘设备、笔电,以及使用 Vertex AI与Google Kubernetes Engine(GKE)的强大云端部署,而为了进一步提升其速度,利用Nvidia TensorRT-LLM函数库进行优化,并可作为Nvidia NIM使用。
此一优化适用于各种不同部署,涵盖数据中心、云端、本地工作站、个人电脑与边缘设备,并利用Nvidia RTX、Nvidia GeForce RTX GPU或Nvidia的Jetson模块来运行边缘AI,也能在Google Colab平台上免费的T4 GPU上运行。另外它也能无缝集成Keras、JAX、Hugging Face、Nvidia NeMo、Ollama、Gemma.cpp 以及即将支持的MediaPipe,以简化开发。
至于ShieldGemma则是个安全分类模型,可额外部署在模型的输入及输出端,用以过滤有害内容,它主要筛选4大领域的内容,包括仇恨言论、骚扰、裸露的色情内容,以及危险内容。

ShieldGemma具备2B、9B与27B版本以供开发者选择,其中,尺寸较小的ShieldGemma 2B最适合在线分类,9B与27B则相对适合较无延迟考量的脱机应用。
本周开源的还有稀疏自动编码器(Sparse Autoencoder,SAE)Gemma Scope。Google是在Gemma 2 9B及Gemma 2 2B的每一层及子层输出上训练稀疏自动编码器,制造了超过400个SAE,具备逾3,000万个特征,而Gemma Scope即是这些SAE的集合。

SAE为一特殊的神经网络,可于数据中找到有用的特征,因此,ShieldGemma将协助研究人员理解特征在模型中的演变、相互作用,或是如何形成更复杂的特征,解读Gemma 2所处理的密集与复杂信息,进一步透明化相关模型的内部作业。
美国商务部旗下的国家电信暨信息管理局(NTIA)日前才发布政策建议,指出开放权重的模型允许开发者利用既有的基础建置与调整,把AI工具的可用性延伸至小公司、研究人员、非营利组织与个人,将拥抱AI的开放性,但也应该积极监控强大AI模型的安全风险。