

Google公布与Gemini师出同门的开源轻量模型Gemma 2,除了强调性能提升,也能在单个Nvidia H100 GPU或Google TPU运行全精度的高效推论,大幅降低部署成本
此外,Google表示,27B版本的Gemma 2其设计就是为了要让它能够在单个Google Cloud TPU主机,或是单个Nvidia A100 80GB Tensor Core GPU,以及单个Nvidia H100 Tensor Core GPU运行全精度的高效推论,在维持高性能的同时大幅降低成本,让开发者更容易部署AI。
因此,Gemma 2可在高级游戏笔电、高级台式机,以及云端上运行。Google建议用户可于Google AI Studio上以最高精度运行,在CPU上通过Gemma.cpp 使用量化版本来解锁本地端性能;也能通过Hugging Face Transformers,于具备Nvidia RTX或GeForce RTX的家中电脑使用。
相较于第一代,Gemma 2不仅有更高的性能、推论效率,并强化了安全,也更容易整合到用户的工作流程中,它支持Hugging Face Transformers、JAX、PyTorch及TensorFlow等AI框架,并针对Nvidia的加速基础设施进行优化,也能作为Nvidia NIM推论服务,之后也会针对Nvidia的自然语言处理解决方案NeMo展开优化。
为了打造更安全的AI应用,即日起开发者已可利用Python函数库对模型及数据进行比较评估,于程序中产生可视化的结果,此外,Google也正准备替Gemma模型开源文本浮水印技术SynthID。
自Google于今年初开源第一代Gemma后,该模型已被下载超过1,000万次,其中一个Navarasa项目即利用Gemma来创建一个支持多元化印度语言的微调模型。