Google釋出兩Gemma模型變體,專供程式開發與研究用
· 2024-04-11

Google推出Gemma系列模型新成員CodeGemma、RecurrentGemma,強化程式碼生成以及研究實驗執行效率,可相容於多種開發環境和硬體裝置

Google輕量級開放模型Gemma增加兩個新成員,其一是可用於程式碼完成以及指令遵循生成式任務的CodeGemma,另一個則是針對研究實驗效率最佳化架構的RecurrentGemma。

CodeGemma模型針對開發人員和企業的程式碼完成、生成和聊天工具使用情境開發,其提供了多種變體供用戶靈活應用,包括CodeGemma 7B預訓練變體,可用作專門處理程式碼完成和生成任務,還有針對指令調校的CodeGemma 7B變體,能用於程式碼聊天和指令遵循任務,另外CodeGemma 2B預訓練變體則適用於本地端快速程式碼完成。這些變體針對不同功能進行最佳化,以適應不同的使用場景和需求。

由於CodeGemma模型使用5,000億個,主要為英文的網頁文件、數學和程式碼Token進行訓練,Google提到,CodeGemma產生的程式碼不僅語法正確,而且語義也更具意義,有助於減少程式碼錯誤與除錯時間。CodeGemma同樣具有多語言能力,特別是Python、JavaScript、Java等各種熱門程式語言的程式碼編寫建議。

RecurrentGemma則可支援研究人員進行大批次的高效推理,採用循環神經網路和局部注意力機制提升記憶效率,Google提到,雖然RecurrentGemma在基準測試上成績與Gemma 2B模型相當,但是RecurrentGemma使用的記憶體量更少,在記憶體資源相對有限的裝置上,像是單GPU或是CPU電腦,能夠生成更長的樣本。

也因為RecurrentGemma較少的記憶體使用量,因此能夠以更大的批次規模進行推理,在生成長序列時,每秒能夠產生更多Token。Google指出,RecurrentGemma展示了一種非Transformer模型,也能實現高效能的深度學習研究進展。

CodeGemma和RecurrentGemma皆採用Google所開發的開源數值運算函式庫JAX建置,與JAX、PyTorch、Hugging Face Transformers、Gemma.cpp相容,支援包括筆記型電腦、桌上型電腦、Nvidia GPU和Google雲端TPU等裝置,進行本地實驗和雲端部署。此外,CodeGemma還相容於Keras、NvidiaNeMo、TensorRT-LLM、Optimum-Nvidia、MediaPipe與Vertex AI等市面上各種機器學習工具與框架。

熱門文章
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
巴西擬將博弈稅率提高至24% 稅收將用於社保與醫療領域
合規與政策
英國確認各垂直行業的賭博稅稅率
合規與政策
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
西班牙監管機構警告在線賭博平臺存在身份盜竊行為
合規與政策
2027 Global Game Connect(GGC)斯里蘭卡招商全面啟動!業務人脈盡在掌握!
灰度頭條
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
首頁
遊戲
合作
發現
我的