Google開源Gemma 2 2B,宣稱其聊天機器人評測超越所有GPT-3.5模型
支付動態 · 2024-08-01

Google強調Gemma 2 2B可支援邊緣裝置、筆電,以及使用 Vertex AI與GKE的強大雲端部署,並利用Nvidia TensorRT-LLM函式庫進行最佳化,可作為Nvidia NIM使用

Google亦強調了Gemma 2 2B的靈活部署能力,可支援邊緣裝置、筆電,以及使用 Vertex AI與Google Kubernetes Engine(GKE)的強大雲端部署,而為了進一步提升其速度,利用Nvidia TensorRT-LLM函式庫進行最佳化,並可作為Nvidia NIM使用。

此一最佳化適用於各種不同部署,涵蓋資料中心、雲端、本地工作站、個人電腦與邊緣裝置,並利用Nvidia RTX、Nvidia GeForce RTX GPU或Nvidia的Jetson模組來執行邊緣AI,也能在Google Colab平臺上免費的T4 GPU上執行。另外它也能無縫整合Keras、JAX、Hugging Face、Nvidia NeMo、Ollama、Gemma.cpp 以及即將支援的MediaPipe,以簡化開發。

至於ShieldGemma則是個安全分類模型,可額外部署在模型的輸入及輸出端,用以過濾有害內容,它主要篩選4大領域的內容,包括仇恨言論、騷擾、裸露的色情內容,以及危險內容。

ShieldGemma具備2B、9B與27B版本以供開發者選擇,其中,尺寸較小的ShieldGemma 2B最適合線上分類,9B與27B則相對適合較無延遲考量的離線應用。

本周開源的還有稀疏自動編碼器(Sparse Autoencoder,SAE)Gemma Scope。Google是在Gemma 2 9B及Gemma 2 2B的每一層及子層輸出上訓練稀疏自動編碼器,製造了超過400個SAE,具備逾3,000萬個特徵,而Gemma Scope即是這些SAE的集合。

SAE為一特殊的神經網路,可於資料中找到有用的特徵,因此,ShieldGemma將協助研究人員理解特徵在模型中的演變、相互作用,或是如何形成更複雜的特徵,解讀Gemma 2所處理的密集與複雜資訊,進一步透明化相關模型的內部作業。

美國商務部旗下的國家電信暨資訊管理局(NTIA)日前才發布政策建議,指出開放權重的模型允許開發者利用既有的基礎建置與調整,把AI工具的可用性延伸至小公司、研究人員、非營利組織與個人,將擁抱AI的開放性,但也應該積極監控強大AI模型的安全風險。

Popular articles
Brazil Proposes Raising Gambling Tax Rate to 24%, With Revenue Allocated to Social Security and Healthcare
Regulation
New Jersey July Gambling Revenue Hits $606M, Sweeps Casinos Banned
Regulation
Are you ready to maximize your earnings? Try ProPush.me Constructor!
Marketing
Institutional Academy that exceeded expectations marked the opening of GAT CDMX
Online Game
Kazakhstan plans to penalise online casino promotions
Regulation
GAT Expo Puerto Rico Will Pulse with the New Era of Gaming in the Caribbean
Marketing
Vietnam’s Controlled Gaming Shift Gains Ground, But Domestic Demand Still Lags
Southeast Asia
UK MPs reopen 2025 gambling inquiry as reform stalls
Regulation
PropellerAds Shared a New iGaming Case Study: 97,674 Installs and 12,701 Deposits in 3 Months
Marketing
1spin4win grows its Latin American presence by partnering with Fortuna Juegos
Online Game
JILI Partners with Cricket Legend AB de Villiers (ABD) to Launch Exclusive Branded Game Series 100% 11
Sports Game
Online gambling, crypto pose ongoing money laundering risks in Philippines, analyst says
Southeast Asia
HUIDU Invites You to Booth T70 at iGB L!VE 2026 — Let’s Ignite London This July!
HUIDU Focus
Indiana online casino bill stalls in House committee
Regulation
SBC Summit Canada to Make Player Safety a Key Pillar of 2026 Agenda
Marketing
Home
Game
Cooperation
Find
My