AWS推EC2容量區塊新功能,讓用戶指定時間預留GPU資源
· 2023-11-02

AWS的Amazon EC2容量區塊新功能,讓用戶可以事先指定時間,預留需要的GPU執行個體數量,確保在需要的時候有足夠的GPU資源可供使用

有鑒於目前GPU資源的稀缺性,AWS新推出Amazon EC2容量區塊(Capacity Blocks)功能,這是一項適用於機器學習模型開發的EC2使用模型,用戶可以在EC2 UltraCluster特殊叢集中預留需要的Nvidia GPU資源,藉由指定叢集大小、開始時間和持續時間,便能夠以可預測的方式存取GPU資源。

全世界掀起一陣人工智慧應用熱潮,不少組織開始開發機器學習模型,而AWS提到,企業對在機器學習模型的GPU容量需求,已經超過全產業的供應量,使得GPU成為稀缺資源。而這對於需要大量GPU資源,用以訓練基礎模型和大型語言模型的用戶來說,是一項需要解決的問題。

面對這樣的問題,企業可能會需要長期購買大量的GPU容量,確保在需要的時刻,有足夠GPU運算資源可以使用,但是這可能造成資源浪費,導致在未使用時出現GPU資源閒置。因此AWS現在推出EC2容量區塊模式,來解決GPU資源搶奪的問題,這是一種安排GPU執行個體的新方法,用戶可以在指定時間內保留所需要的執行個體數量。

用戶可以提前8周指定日期,存取預留的EC2容量區塊並啟動P5執行個體,持續時間可為1到14天,叢集大小為1到64個執行個體,並且只需要支付所需要的GPU時間費用。而當EC2容量區塊持續時間結束後,任何執行中的執行個體都會被終止。

這項新功能在用戶需要容量保證,以訓練和微調機器學習模型、執行實驗,或是計畫性地增加機器學習應用程式需求時特別有用。用戶可以從AWS控制臺、命令列介面和開發工具包預留可用的容量區塊,目前可以先在AWS美東地區,預留搭載Nvidia H100 Tensor Core GPU的EC2 P5執行個體,官方計畫之後也會在其他地區推出該項功能。

热门文章
超级PAC筹资4800万美元:体育博彩势力加码
游戏风向
越南在线博彩业政策收紧 催生市场新机遇
东南亚资讯
横跨全球6个城市,灰度8场派对邀你共看世界杯,重塑高质量社交新场景
灰度头条
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
菲律宾博彩技术赛道迎来新变局,B2B 供应模式加速渗透
东南亚资讯
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
张侨伟参议员排除全面禁止,敦促菲律宾规范网络赌博
东南亚资讯
新泽西州7月博彩收入创6.06亿美元新高,颁布禁令
游戏风向
2027 Global Game Connect(GGC)斯里兰卡招商全面开启!业务人脉尽在掌握!
灰度头条
JILI 宣布与全球板球传奇 AB de Villiers(ABD)达成重磅战略合作
体育游戏
巴西颁布新法赋权央行封锁非法博彩账户及 Pix 交易
支付动态
BETFAIR 网络攻击80万用户资料泄露
游戏风向
亚洲游戏市场观察:15大市场热门游戏与用户趋势
线上游戏
巴西拟将博彩税率提高至24% 税收将用于社保和医疗领域
游戏风向
灰度世界杯嘉年华狂欢派对吉隆坡站即将开启,业务拓展人脉社交从马来西亚开始
灰度头条
首页
游戏
合作
发现
我的