在雲端應用生命周期管理上，Google推出名為Gemini Cloud Assist的雲端維運助手的私人預覽， 也就是先前專用於IT維運設計的Duet AI助手進化版，不只採用最新Gemini模型，能夠涵蓋應用程式生命週期的管理，提供包括目標設計、安全、維運指導、故障排除等多方面輔助功能。另外提供效能和成本優化的建議。（攝影／余至浩）

Google公布新生成式AI產品架構

Google Cloud在會中提出一個生成式AI產品架構藍圖，將生成式AI產品架構從過去生成式AI開發工具為主的開發架構，變成是擴大延伸到各種雲端服務的產品架構。

這個產品技術框架可以進一步分為4層，雖然和過去生成式AI開發平臺Vertex AI都是4層架構，但兩者在本質上有很大的差別。新架構最底層是AI Hypercomputer超級電腦基礎架構，專門針對生成式AI強化推出的基礎架構，提供AI模型訓練和服務所需的各種AI加速硬體、軟體框架和相關系統資源，與Vertex AI的底層是以一般性的雲端基礎架構為主有所不同。

再上一層是Gemini模型。原本Gemini只是Vertex AI模型花園中的一個模型，現在被拆分出來，成為與Vertex AI開發工具並重的另外一個重要的功能。這是因為Gemini模型已經變成支援Google Cloud所有產品的重要核心基礎模型。第三層是生成式AI平臺Vertex AI，包含了AI Studio、Colab、VS Code等各種GAI開發工具。最上層則是Google雲端服務和辦公生產力Workspace專用的Gemini助手，以及企業自建的生成式AI代理。

新產品架構下的Vertex AI平臺，現在進一步加強企業GAI 代理開發的支援。

例如在模型建置上，Google將Google搜尋作為可信來源的參考基準，推出Grounding with Google Search新服務，利用Google搜尋結果比對模型生成的內容，藉此提高回應品質並減少幻覺。在模型微調方面，Vertex AI提供簡化提示設計，讓開發者更容易撰寫出高品質的提示，並推出新提示管理工具，可用於管理、追蹤，比較不同提示版本的回應品質。此外，模型部署到正式環境前，開發人員也能利用新的模型評估機制AutoSxS比較兩個LLM模型版本的差異對於最後模型推論的影響，以此選擇最佳模型版本用於生產環境。

Google這次推出了一站式AI解決方案，稱作Vertex Al Agent Builder，該方案進一步結合「搜尋」和「對話」兩類GAI應用套件，能快速在企業內部應用建立和部署No Code對話式生成式AI代理，且可與企業系統相連接，讓生成的回覆內容可以貼近企業的實際情況。

Thomas Kurian指出，企業在Vertex AI中可以快速自建GAI代理，來執行不同任務，像是有顧客服務的AI代理、員工管理的AI代理，還有創意設計、數據分析、程式撰寫和資安等不同的AI代理。「每一個GAI代理都具有多模態執行能力，能夠同時處理多種資訊。」

Google公開了最新的TPU模組機架式機櫃（左圖）和雲端GPU機櫃（右圖），用來提供包含Gemini在內的GAI模型訓練和服務。每臺TPU模組機櫃最多可容納64個TPUv5p模組。（攝影／余至浩）

雲端AI維運助手不只提供雲成本優化的建議，還支援目標驅動設計

Google今年雲端產品發布中另一個重要焦點，著重在加強其雲端服務GAI整合能力，與去年剛推出時相比，現在在Google雲端服務中不僅可以使用GAI助手完成更多任務，進一步也將其擴大到更多的服務中。

Google今年開始以生成式AI助手Gemini為品牌，應用在各種雲端服務中，推出軟體開發AI助手、應用生命周期平臺的AI維運助手、資料分析平臺的AI分析助手，BI平臺的AI洞察助手，資料庫的A管理助手，以及資安的AI防護助手。

AI維運助手的最大特色是，引進最新Gemini模型，涵蓋應用程式生命周期的維運管理。

例如，AI維運助手現在能支援目標驅動設計的功能，讓維運人員可以用自然語言描述建立待測試的目標和使用者旅程流程，進而產生自訂的測試腳本，根據需求進一步提供架構配置、部署或設定，例如提供網路配置或協助三層架構應用程式部署、理解Terraform腳本等。

此外，還能蒐集和分析Cloud Logging中各種日誌，提供IT團隊相關摘要和解釋，並提供故障排除的建議。甚至在身分權限控管上也能使用AI維運助手提供IAM身份識別與存取管理的建議，例如根據企業資料、加密偏好以及合規性需求在加密金鑰建立過程中提供協助。

服務效能和成本優化也是AI維運助手這次新增的功能之一。例如可以偵測哪些叢集是在開發或測試環境中執行，或是被用於實驗的叢集，還可識別資源過剩的叢集並提供建議，讓管理者可以重新調整資源分配，降低雲端花費。

在資料服務的AI助手上，Google Cloud持續強化旗下資料產品與Gemini的整合。舉例來說，現在在BigQuery資料倉儲中，資料分析人員可以自然語言方式向Gemini助手提需求進行資料準備、查找、分析及治理，並且能夠使用Gemini 1.0 Pro，執行多模態和進階推理的功能。

不僅如此，BigQuery與Vertex AI之 間的結合更緊密，使用者可以直接在BigQuery中存取Vertex AI中的AI 型，代表企業可以將這些AI模型、ML operators和統計分析功能納入到企業內部資料工作流程中，進行多模態 析，包括結構化與非結構化資料。在BigQuery中能透過Vertex AI模型API處理文件檔案和音訊。不過目前這些Gemini功能大多處於預覽階段。

在應用開發輔助方面，Google宣布其程式撰寫AI助手現已達企業級的安全 和可靠，並支援最新的Gemini 1.5 Pro，可以在程式庫中執行大規模程式碼檢索、除錯及測試。在雲端資安防護方面也強化了與Gemini的整合。例如，將Gemini整合至SecOps維運流程中，並開始在威脅智慧情報服務與SCC安全指揮中心中提供相關的Gemini服務。

除了推出算力更強的AI硬體，Google首款資料中心設計的Arm架構處理器Axion首次公開亮相，未來有可能將其與TPU一同用於GAI模型服務。目前這款處理器已在Spanner、BigQuery、GKE、Google地球引擎和YouTube廣告服務中使用。（攝影／余至浩）

企業辦公生產力工具深度整合Gemini能力，還增添影片創作AI助手Vids

企業生產力應用是另一大雲端GAI戰場。為了力抗微軟M365，Google Workspace在今年二月開始引進Gemini模型，加強對Workspace內容的多模態進階理解能力，Google同時也將Workspace的AI助手Duet AI改名為Gemini，並推出商用版與企業版，提供更多企業級功能。

Workspace目前擁有超過30億使用者和超過1,000萬付費訂閱客戶。Google Workspace的副總裁兼總經理Aparna Pappu表示，在近8個月內，在Workspace中使用Gemini服務的用戶超過一百萬人，還有上千家企業採用，包括Uber、Verizon、Sports Basement等。

Workspace今年產品更新一大重點就是GAI。Gemini現在已經能夠跨Workspace產品線生成內容，Chat和Docs中都開始使用最新的Gemin模型。

在Gmail中新增語音提示和即時潤色，只需向Gemin說出「幫助我寫作」，就能完成草稿，並且一鍵轉換為完整的電子郵件。Meet上新增了AI會議和傳訊的擴充功能，每位用戶每月10 美元，可以提供「為我做筆記」、「為我翻譯」等功能。還可以自動檢測和翻譯Meet中的字幕，最多支援 69 種語言，並在預覽版Chat中自動翻譯訊息、對話摘要和問題回答，將於今年稍後推出。

Google也透過AI加強Workspace的資安防護，推出AI Security商用附加服務，能夠協助資安人員自動分類Google硬碟中的敏感文件並提供防護。此外在測試版Gmail中開始提供DLP資料外洩防護的控制和分類標簽功能，甚至之後將實驗後量子加密PQC演算法納入其中。

Workspace這次還推出了全新的AI影片創作生產力服務Google Vids。這是一個整合影片、寫作、製作和編輯的AI助手，讓即使是不熟悉影片創作的行銷人員也能快速製作出各種影片內容，用於產品行銷、人才培訓、團體慶祝等活動。 Vids雖然採用了Gemini模型，但與OpenAI的短片生成AI模型Sora不同，並非生成完整的影片內容，而是根據使用者的描述從影片資料庫中找出相應的影片、圖片和背景音樂的場景，然後將它們整合在一起，協助使用者完成分鏡腳本、後製和編輯。這項實驗性服務預計在6月推出。

隨著GAI應用在2024年大爆發，Thomas Kurian強調，企業正在迎來一個GAI代理的新時代，並且建立在全新、完全開放的AI平臺之上，「我們正在重塑雲端基礎架構，以因應此一趨勢。」

不只搶攻雲端GAI，Google正在透過在手機上執行的輕量Gemini模型，以及用相同技術所開發的開源邊緣AI模型Gemma，瞄準企業邊緣GAI應用需求。