Google开源Gemma 2 2B,宣称其聊天机器人评测超越所有GPT-3.5模型
支付動態 · 2024-08-01

Google强调Gemma 2 2B可支持边缘设备、笔电,以及使用 Vertex AI与GKE的强大云端部署,并利用Nvidia TensorRT-LLM函数库进行优化,可作为Nvidia NIM使用

Google亦强调了Gemma 2 2B的灵活部署能力,可支持边缘设备、笔电,以及使用 Vertex AI与Google Kubernetes Engine(GKE)的强大云端部署,而为了进一步提升其速度,利用Nvidia TensorRT-LLM函数库进行优化,并可作为Nvidia NIM使用。

此一优化适用于各种不同部署,涵盖数据中心、云端、本地工作站、个人电脑与边缘设备,并利用Nvidia RTX、Nvidia GeForce RTX GPU或Nvidia的Jetson模块来运行边缘AI,也能在Google Colab平台上免费的T4 GPU上运行。另外它也能无缝集成Keras、JAX、Hugging Face、Nvidia NeMo、Ollama、Gemma.cpp 以及即将支持的MediaPipe,以简化开发。

至于ShieldGemma则是个安全分类模型,可额外部署在模型的输入及输出端,用以过滤有害内容,它主要筛选4大领域的内容,包括仇恨言论、骚扰、裸露的色情内容,以及危险内容。

ShieldGemma具备2B、9B与27B版本以供开发者选择,其中,尺寸较小的ShieldGemma 2B最适合在线分类,9B与27B则相对适合较无延迟考量的脱机应用。

本周开源的还有稀疏自动编码器(Sparse Autoencoder,SAE)Gemma Scope。Google是在Gemma 2 9B及Gemma 2 2B的每一层及子层输出上训练稀疏自动编码器,制造了超过400个SAE,具备逾3,000万个特征,而Gemma Scope即是这些SAE的集合。

SAE为一特殊的神经网络,可于数据中找到有用的特征,因此,ShieldGemma将协助研究人员理解特征在模型中的演变、相互作用,或是如何形成更复杂的特征,解读Gemma 2所处理的密集与复杂信息,进一步透明化相关模型的内部作业。

美国商务部旗下的国家电信暨信息管理局(NTIA)日前才发布政策建议,指出开放权重的模型允许开发者利用既有的基础建置与调整,把AI工具的可用性延伸至小公司、研究人员、非营利组织与个人,将拥抱AI的开放性,但也应该积极监控强大AI模型的安全风险。

热门文章
BETFAIR 网络攻击80万用户资料泄露
游戏风向
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
2027 Global Game Connect(GGC)斯里兰卡招商全面开启!业务人脉尽在掌握!
灰度头条
越南在线博彩业政策收紧 催生市场新机遇
东南亚资讯
张侨伟参议员排除全面禁止,敦促菲律宾规范网络赌博
东南亚资讯
巴西颁布新法赋权央行封锁非法博彩账户及 Pix 交易
支付动态
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
密西西比州众议院委员会推进提议增加赌场税的法案
游戏风向
印度最高法院受理公益诉讼,要求全国禁封“伪装”成社交游戏的赌博平台
游戏风向
准备好了将你的收益最大化吗?尝试ProPush.me Constructor!
广告营销
亚洲顶尖游戏供应商多寶游戏 DB GAMING,开创亚洲市场的唯一首选
广告营销
新泽西州7月博彩收入创6.06亿美元新高,颁布禁令
游戏风向
菲律宾博彩技术赛道迎来新变局,B2B 供应模式加速渗透
东南亚资讯
英国确认各垂直行业的赌博税税率
游戏风向
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
首页
游戏
合作
发现
我的