Google云计算更新HPC工具包,加速AI和机器学习计算资源配置
· 2023-11-16

Google云计算更新去年所推出的HPC工具包,不仅能够支持HPC使用案例,现在也可更好地支持人工智能和机器学习的工作负载,供用户简单部署人工智能运算环境。


Google云计算更新去年所推出的HPC工具包,不仅能够支持HPC使用案例,现在也可更好地支持人工智能和机器学习的工作负载,供用户简单部署人工智能运算环境。HPC工具包是一组开源工具和资源,简化重复创建HPC运算环境的任务,用户可以通过现有HPC蓝图,或是在YAML文件新建蓝图,在数分钟内迅速启动并执行HPC集群。


Google发现客户会在传统的HPC集群上,使用像是Nvidia NeMo人工智能和机器学习框架,大规模定制化和部署模型。因此Google现在改进HPC工具包,应对HPC系统与人工智能/机器学习工作负载融合带来的部署挑战,让用户只要使用HPC工具包,就可以通过鼠标点击迅速设置HPC环境,开始在Nvidia GPU上训练大型语言模型。


HPC工具包拥有几个关键组件,包括HPC蓝图(Blueprint)、HPC模块、ghpc引擎和HPC部署文件夹。HPC蓝图是一种用YAML文件格式定义的配置文件,其详细指定了所要使用的HPC模块,以及定制化这些模块的方法。而HPC模块则由Terraform和Packer配置文件组成,是构建部署文件夹的基本组成。ghpc引擎则是Google的开源工具,会使用HPC蓝图以及不同的HPC模块,产生HPC部署文件夹,该文件夹为自包含,具有部署完整HPC集群需要的所有元素。


在本次更新中,Google强化HPC工具包对人工智能工作负载的支持,官方指出,他们与Nvidia一起开发了人工智能和机器学习蓝图,蓝图提供预配置分割区,支持包括G2、A2和A3三种不同的Nvidia GPU虚拟机类型。


此外,该系统以Google的Ubuntu深度学习虚拟机镜像文件为基础,并且包含了NCCL(Nvidia Collective Communications Library)Fast Socket优化,可以提升分布式运算环境中的网络通信效率。而且Google通过在蓝图中捆绑enroot容器工具,和适用于Slurm工作负载调度程序的Pyxis扩展组件,让用户能够无缝集成非特权容器,并在Slurm任务中指定使用该容器。


通过运用Google云计算的HPC工具包,开发者可以快速创建和部署遵循最佳实践的云计算环境,并集成Cloud Monitoring,进行监控与获得性能可见性。而且HPC工具包也与Google的合作伙伴解决方案与技术集成,因此能够结合DAOS、DDN EXAscaler等存储系统,以及Slurm工作负载调度程序一起使用,高效处理大量数据和复杂计算任务。


热门文章
印度最高法院受理公益诉讼,要求全国禁封“伪装”成社交游戏的赌博平台
游戏风向
越南博彩管控逐步放宽,惟本土需求仍显乏力
东南亚资讯
英国确认各垂直行业的赌博税税率
游戏风向
BETFAIR 网络攻击80万用户资料泄露
游戏风向
密西西比州众议院委员会推进提议增加赌场税的法案
游戏风向
准备好了将你的收益最大化吗?尝试ProPush.me Constructor!
广告营销
菲律宾博彩技术赛道迎来新变局,B2B 供应模式加速渗透
东南亚资讯
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
斯里兰卡博弈产业大转型,官方:剑指南亚拉斯维加斯
游戏风向
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
JILI 宣布与全球板球传奇 AB de Villiers(ABD)达成重磅战略合作
体育游戏
Zenith携手HUIDU,冠名赞助2026年世界杯嘉年华官方巡回活动
线上游戏
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
超级PAC筹资4800万美元:体育博彩势力加码
游戏风向
张侨伟参议员排除全面禁止,敦促菲律宾规范网络赌博
东南亚资讯
首页
游戏
合作
发现
我的