

Google公佈與Gemini師出同門的開源輕量模型Gemma 2,除了強調效能提升,也能在單個Nvidia H100 GPU或Google TPU執行全精度的高效推論,大幅降低部署成本
此外,Google表示,27B版本的Gemma 2其設計就是為了要讓它能夠在單個Google Cloud TPU主機,或是單個Nvidia A100 80GB Tensor Core GPU,以及單個Nvidia H100 Tensor Core GPU執行全精度的高效推論,在維持高效能的同時大幅降低成本,讓開發者更容易部署AI。
因此,Gemma 2可在高階遊戲筆電、高階桌上型電腦,以及雲端上執行。Google建議使用者可於Google AI Studio上以最高精度執行,在CPU上透過Gemma.cpp 使用量化版本來解鎖本地端效能;也能透過Hugging Face Transformers,於具備Nvidia RTX或GeForce RTX的家中電腦使用。
相較於第一代,Gemma 2不僅有更高的效能、推論效率,並強化了安全,也更容易整合到使用者的工作流程中,它支援Hugging Face Transformers、JAX、PyTorch及TensorFlow等AI框架,並針對Nvidia的加速基礎設施進行優化,也能作為Nvidia NIM推論服務,之後也會針對Nvidia的自然語言處理解決方案NeMo展開最佳化。
為了打造更安全的AI應用,即日起開發者已可利用Python函式庫對模型及資料進行比較評估,於程式中產生視覺化的結果,此外,Google也正準備替Gemma模型開源文字浮水印技術SynthID。
自Google於今年初開源第一代Gemma後,該模型已被下載超過1,000萬次,其中一個Navarasa專案即利用Gemma來建立一個支援多元化印度語言的微調模型。