Google釋出兩Gemma模型變體,專供程式開發與研究用
· 2024-04-11

Google推出Gemma系列模型新成員CodeGemma、RecurrentGemma,強化程式碼生成以及研究實驗執行效率,可相容於多種開發環境和硬體裝置

Google輕量級開放模型Gemma增加兩個新成員,其一是可用於程式碼完成以及指令遵循生成式任務的CodeGemma,另一個則是針對研究實驗效率最佳化架構的RecurrentGemma。

CodeGemma模型針對開發人員和企業的程式碼完成、生成和聊天工具使用情境開發,其提供了多種變體供用戶靈活應用,包括CodeGemma 7B預訓練變體,可用作專門處理程式碼完成和生成任務,還有針對指令調校的CodeGemma 7B變體,能用於程式碼聊天和指令遵循任務,另外CodeGemma 2B預訓練變體則適用於本地端快速程式碼完成。這些變體針對不同功能進行最佳化,以適應不同的使用場景和需求。

由於CodeGemma模型使用5,000億個,主要為英文的網頁文件、數學和程式碼Token進行訓練,Google提到,CodeGemma產生的程式碼不僅語法正確,而且語義也更具意義,有助於減少程式碼錯誤與除錯時間。CodeGemma同樣具有多語言能力,特別是Python、JavaScript、Java等各種熱門程式語言的程式碼編寫建議。

RecurrentGemma則可支援研究人員進行大批次的高效推理,採用循環神經網路和局部注意力機制提升記憶效率,Google提到,雖然RecurrentGemma在基準測試上成績與Gemma 2B模型相當,但是RecurrentGemma使用的記憶體量更少,在記憶體資源相對有限的裝置上,像是單GPU或是CPU電腦,能夠生成更長的樣本。

也因為RecurrentGemma較少的記憶體使用量,因此能夠以更大的批次規模進行推理,在生成長序列時,每秒能夠產生更多Token。Google指出,RecurrentGemma展示了一種非Transformer模型,也能實現高效能的深度學習研究進展。

CodeGemma和RecurrentGemma皆採用Google所開發的開源數值運算函式庫JAX建置,與JAX、PyTorch、Hugging Face Transformers、Gemma.cpp相容,支援包括筆記型電腦、桌上型電腦、Nvidia GPU和Google雲端TPU等裝置,進行本地實驗和雲端部署。此外,CodeGemma還相容於Keras、NvidiaNeMo、TensorRT-LLM、Optimum-Nvidia、MediaPipe與Vertex AI等市面上各種機器學習工具與框架。

热门文章
越南博彩管控逐步放宽,惟本土需求仍显乏力
东南亚资讯
GGC Awards 2026 璀璨科伦坡:致敬 iGaming 行业的领航者与创新力量
灰度头条
菲律宾博彩技术赛道迎来新变局,B2B 供应模式加速渗透
东南亚资讯
灰度在iGB L!VE 2026展位T70和你相约7月,一起点燃伦敦的热情!
灰度头条
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
横跨全球6个城市,灰度8场派对邀你共看世界杯,重塑高质量社交新场景
灰度头条
BETFAIR 网络攻击80万用户资料泄露
游戏风向
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
JILI 宣布与全球板球传奇 AB de Villiers(ABD)达成重磅战略合作
体育游戏
亚洲游戏市场观察:15大市场热门游戏与用户趋势
线上游戏
英国确认各垂直行业的赌博税税率
游戏风向
越南在线博彩业政策收紧 催生市场新机遇
东南亚资讯
巴西颁布新法赋权央行封锁非法博彩账户及 Pix 交易
支付动态
灰度世界杯嘉年华狂欢派对吉隆坡站即将开启,业务拓展人脉社交从马来西亚开始
灰度头条
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
首页
游戏
合作
发现
我的