【re:Invent 2023】AWS如何以生成式AI再創新
· 2023-12-04

AWS在re:Invent 2023發表的大量新服務,幾乎全與生成式AI有關,不僅涵蓋生成式AI架構的三個層級—基礎設施、工具與應用程式,還包括首度揭曉、專為企業組織所設計的商務型AI聊天機器人Amazon Q,可望成為其在生成式AI領域的新戰略利器。

在上述兩項產品宣布後,發表會旋即揭開生成式AI重頭戲。Selipsky首先邀請Nvidia執行長黃仁勳上臺,宣布雙方擴大多項策略合作。第一項是Nvidia將提供針對生成式AI運算需求所設計的GH200 Grace Hopper Superchip運算卡,讓AWS成為第一個採用的雲端運算供應商。

AWS將會以一個EC2執行個體的型式提供整套GH200 NVL32的運算力,GH200 NVL32整套系統是以NVlink連結技術串接32片GH200 Grace Hopper Superchip運算卡,整套系統亦包含NVswitch,可配置最大20TB共享記憶體,運算力可說是超級電腦等級,對於需要仰賴巨量運算資源的生成式AI模型訓練有很大的助益。

上述的EC2執行個體亦立基於AWS的第三代EFA()連結技術與Nitro的虛擬化技術,因而每片Superchip運算卡擁有高速低延遲的400Gbps網路傳輸速度,執行個體的串接數量可多達上千個,提供在網路服務上建立巨大的AI運算叢集。

AWS與Nvidia的擴大合作,還包括Nvidia將首度提供其專為生成式AI運算所設計的Nvidia DGX超級電腦等級運算雲,予以第三方雲端服務供應商,由AWS提供雲端託管服務。Nvidia DGX亦立基於GH200 NVL32,可支援超過1兆參數的生成式AI與大型語言模型的訓練。此外,雙方也藉由Project Ceiba的合作,建置一套超過16,384個Nvidia GH200超級晶片,運算速度達65 Exaflops等級的AI超級電腦,作為Nvidia研發全新生成式AI之用。

在生成式AI架構的基礎設施層,Selipsky宣布AWS自家設計的新一代AI訓練晶片Trainium 2將於明年推出,效能比前一代提升4倍,可應付參數量千億至兆級的基礎模型訓練需求。

在生成式AI架構的工具層,AWS最大的利器就是Bedrock平臺,而Bedrock的一大優勢就是支援多種大型語言模型,從AI21、Amazon Titan、Anthropic、Cohere、Llama2到stability.ai。Selipsky說,AWS深信沒有任何一個大型語言模型可以主宰一切,因為各個模型在不同的應用面上皆有其獨到之處。

Bedrock的另一個優勢,則是客製化能力。Selipsky指出,AWS的生成式AI技術的研發,打從第一天開始就是以企業需求為出發點,考量到不同型態的企業生成式AI應用需要運用不同的模型,再者各別企業的產業型態、業務流程與企業知識皆有不同,企業需要有客製化模型的彈性,才能將企業知識融入模型,創造各別競爭優勢,同時也由於企業知識具有機敏性,必須將資訊安全與資料隱私設計在內,確保商業機密在模型訓練過程中不會外洩。

在模型客製化方面,AWS新推出三款服務,包括Cohere、Llma2與Titan三種模型的微調(Fine tuning)、Retrieval Augmented Generation (RAG) with Knowledge Bases及Titan模型的持續預訓練。

對於企業擔憂生成式AI本質上存在不可控的可能性,AWS也新推出Guardrails for Amazon Bedrock,提供過濾有害內容的功能,確保模型輸出的內容符合企業的負責任AI(Responsible AI)政策,而針對基礎模型輸出的個資內容予以事先編輯,以防個資外洩的功能,也在未來規畫藍圖中。

在生成式AI架構最上層的應用層方面,Selipsky則是相當興奮地宣布AWS首款AI聊天機器人Amazon Q的問世。面對市面上已有眾多AI聊天機器人搶占市場先機,為何AWS還要推出另一款聊天機器人?Selipsky表示,Amazon Q是專為企業組織設計的商務型AI聊天機器人,與其他聊天機器人最大的不同是考量企業應用的情境、資訊安全、資料隱私與依職責控管存取權限等需求。

Selipsky提出Amazon Q可望協助企業的四大面向,包括協助軟體開發人員撰寫程式碼、協助同仁提升日常工作效率、讓同仁便於獲得商業智慧的協助,以及提升更好的顧客服務。在程式碼方面,AWS新推出Amazon Q Code Transformation,透過生成式AI技術協助程式碼改寫升級與強化程式碼安全,Selipsky指出,這項新服務可讓1千個Java應用程式的改寫工作,在2天內就完成,若在過往由開發人員改寫,往往需耗時數月甚至數年。此外,Amazon Q的訓練資料涵蓋17年的AWS產品與服務資料,使用AWS的軟體開發人員或架構師可用聊天問答介面,立即取得AWS所有的技術資訊。

除了協助軟體開發人員,Amazon Q也可以幫助資料庫管理人員,Amazon Redshift Serverless資料倉儲服務整合了Amazon Q,使用者可用自然語言提出資料查詢需求,由Amazon Q自動生成SQL資料庫查詢指令,協助提升ETL等工作的效率。

Amazon Q亦可望成為企業內的專家助手,可連結超過40種企業常用服務的資訊源,如S3、Salesforce、Google Drive、Microsoft 365、ServiceNow、Gmail、Slack、Atlassian與Zendesk等,涵蓋一般辦公室文書通信、業務行銷、軟體開發與IT管理等平臺,同時依據詢問者的存取權限來提供其被授權的內容。此外,Amazon Q也會整合至Amazon Quicksight、Amazon Connect等商業智慧與客戶服務平臺。

AWS資料與人工智慧資深副總裁Swami Sivasubramanian則指出開發生成式AI應用必備的四個要素,包括要有基礎模型、可讓模型運行的私有安全運算環境、易於使用的生成式AI開發工具,以及機器學習專用運算架構。他亦強調資料是生成式AI的重要關鍵,資料會決定企業生成式AI的差異性,而資料的儲存、處理、分析、治理,本來就是企業用戶使用AWS雲端服務的重要應用之一。

Sivasubramanian也發表多項生成式AI服務,包括Amazon Titan新增影像生成功能,不僅可以生成高畫質的圖像,使用者甚至可用自然語言下達指令,在保持影像背景下讓圖片中的主角鏡像翻轉,而Titan Image Generator生成的圖片都會加上隱形浮水印,以利識別AI生成,避免淪為假訊息之用。此外,Titan也新增轉換多模態向量(Multimodal Embeddings)的能力,同時支援文字、圖片、影像與音訊。而為了因應負責任AI的需求,Bedrock也提供模型評估功能,讓用戶先以預載的資料與檢測方法評估模型的適用性與風險,另外,AWS Clean Rooms ML,則可讓企業不需提供訓練資料也能與合作夥伴共享模型。

在資料庫與資料分析服務方面,也因應生成式AI而全面提升向量儲存與搜尋功能,新推出的Amazon Neptune analytics藉由內建圖形(Graph)演算法提升向量搜尋速度,幾秒鐘內可分析百億個連結。多款資料庫服務也增加向量儲存與搜尋能力,Amazon OpenSearch Serverless vector engine可以儲存與搜尋向量資料,Amazon DocumentDB、Amazon DynamoDB、Amazon MemoryDB for Redis也都可以儲存與搜尋向量。此外,支援Zero-ETL的資料庫服務也增多了,包括Amazon Aurora PostgreSQL、Amazon DynamoDB與Amazon RDS for MySQL皆可直接整合,不需額外透過ETL,而Amazon OpenSearch Service亦可直接與S3整合。

自去年11月30日ChatGPT推出後,生成式AI頓時蔚為風潮,短短一年內就成為兵家必爭之地。雖然AWS在這波生成式AI浪潮中沒有搶到引領風潮的先機,但綜觀Selipsky宣布的多款生成式AI新服務,包括在生成式AI架構最底層的基礎設施層,以Nvidia晶片與AWS自家晶片提供雲端服務中最強大的生成式AI運算力;在中間層的工具層方面,以Bedrock為主力擴展對基礎模型的支援;在最上層的應用層,祭出Amazon Q聊天機器人貫通企業應用場景,而且在每個環節都將資訊安全、隱私保護、負責任AI與合規考量進去,讓企業不因上述顧慮而畏懼生成式AI,再加上諸多強化資料整合、提升向量資料庫能力等等,很明顯地,AWS將以其擁有眾多雲端企業用戶的優勢,透過持續再創新搶占仍是處女地的生成式AI企業商用市場。

Popular articles
Are you ready to maximize your earnings? Try ProPush.me Constructor!
Marketing
Online gambling, crypto pose ongoing money laundering risks in Philippines, analyst says
Southeast Asia
Across 6 Cities: HUIDU Invites You to 8 World Cup Parties Redefining High-Value Social Networking
HUIDU Focus
Institutional Academy that exceeded expectations marked the opening of GAT CDMX
Online Game
Full House at GAT Expo Cartagena 2026 Academic Agenda
Online Game
GAT CDMX 2025 Institutional Academy: Leaders and Experts Analyze the Present and Future of the Gaming Industry in Mexico and Lat
Sports Game
JILI Partners with Cricket Legend AB de Villiers (ABD) to Launch Exclusive Branded Game Series 100% 11
Sports Game
Vietnam's tightening online gaming policy creates new market opportunities
Southeast Asia
PropellerAds Shared a New iGaming Case Study: 97,674 Installs and 12,701 Deposits in 3 Months
Marketing
Vietnam’s Controlled Gaming Shift Gains Ground, But Domestic Demand Still Lags
Southeast Asia
Brazil Proposes Raising Gambling Tax Rate to 24%, With Revenue Allocated to Social Security and Healthcare
Regulation
British gambling levy rates confirmed for each vertical
Regulation
GAT Expo Puerto Rico Will Pulse with the New Era of Gaming in the Caribbean
Marketing
Gaming & Technology Expo Makes a Powerful Entrance in CDMX
Marketing
UK MPs reopen 2025 gambling inquiry as reform stalls
Regulation
Home
Game
Cooperation
Find
My