Google釋出兩Gemma模型變體,專供程式開發與研究用
· 2024-04-11

Google推出Gemma系列模型新成員CodeGemma、RecurrentGemma,強化程式碼生成以及研究實驗執行效率,可相容於多種開發環境和硬體裝置

Google輕量級開放模型Gemma增加兩個新成員,其一是可用於程式碼完成以及指令遵循生成式任務的CodeGemma,另一個則是針對研究實驗效率最佳化架構的RecurrentGemma。

CodeGemma模型針對開發人員和企業的程式碼完成、生成和聊天工具使用情境開發,其提供了多種變體供用戶靈活應用,包括CodeGemma 7B預訓練變體,可用作專門處理程式碼完成和生成任務,還有針對指令調校的CodeGemma 7B變體,能用於程式碼聊天和指令遵循任務,另外CodeGemma 2B預訓練變體則適用於本地端快速程式碼完成。這些變體針對不同功能進行最佳化,以適應不同的使用場景和需求。

由於CodeGemma模型使用5,000億個,主要為英文的網頁文件、數學和程式碼Token進行訓練,Google提到,CodeGemma產生的程式碼不僅語法正確,而且語義也更具意義,有助於減少程式碼錯誤與除錯時間。CodeGemma同樣具有多語言能力,特別是Python、JavaScript、Java等各種熱門程式語言的程式碼編寫建議。

RecurrentGemma則可支援研究人員進行大批次的高效推理,採用循環神經網路和局部注意力機制提升記憶效率,Google提到,雖然RecurrentGemma在基準測試上成績與Gemma 2B模型相當,但是RecurrentGemma使用的記憶體量更少,在記憶體資源相對有限的裝置上,像是單GPU或是CPU電腦,能夠生成更長的樣本。

也因為RecurrentGemma較少的記憶體使用量,因此能夠以更大的批次規模進行推理,在生成長序列時,每秒能夠產生更多Token。Google指出,RecurrentGemma展示了一種非Transformer模型,也能實現高效能的深度學習研究進展。

CodeGemma和RecurrentGemma皆採用Google所開發的開源數值運算函式庫JAX建置,與JAX、PyTorch、Hugging Face Transformers、Gemma.cpp相容,支援包括筆記型電腦、桌上型電腦、Nvidia GPU和Google雲端TPU等裝置,進行本地實驗和雲端部署。此外,CodeGemma還相容於Keras、NvidiaNeMo、TensorRT-LLM、Optimum-Nvidia、MediaPipe與Vertex AI等市面上各種機器學習工具與框架。

熱門文章
GGC Awards 2026 璀璨科倫坡:致敬 iGaming 行業的領航者與創新力量
灰度頭條
橫跨全球6個城市,灰度8場派對邀你共看世界盃,重塑高質量社交新場景
灰度頭條
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
英國確認各垂直行業的賭博稅稅率
合規與政策
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
巴西擬將博弈稅率提高至24% 稅收將用於社保與醫療領域
合規與政策
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
灰度在iGB L!VE 2026展位T70和你相約7月,一起點燃倫敦的熱情!
灰度頭條
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
首頁
遊戲
合作
發現
我的