Google Cloud

大語言模型最大問題之一是幻覺，而解決AI幻覺的方法之一是grounding。Google上週宣佈Cloud AI平臺Vertex AI新增包括以Google搜尋、第三方資料、混合搜尋的grounding功能，以減少AI幻覺。

Google Cloud Vertex AI 4月發表Agent Builder時，包含擷取增強生成（retrieval augmented generation，RAG）可以Google搜尋為Gemini輸出結果grounding的能力，現在又再新增數項grounding功能供用戶選擇，包括以Google搜尋grounding的能力新增動態擷取（dynamic retrieval）、以高傳真模式grounding、以第三方資料集grounding，以及擴大向量搜尋（vector search），實現關鍵字和向量混合搜尋功能。

首先，以Google搜尋為Gemini模型grounding時，Gemini會進行Google搜尋，利用相關搜尋結果，如事實來生成輸出，藉此達成grounding。Grounding是指提供LLM真實世界的例子或相關資料，使之與模型的抽象知識整合，達到貼近真實、減少幻覺的目的，進而提升LLM產出結果的品質。

Google說，以這方法減少幻覺最大優點是簡單，但問題是使用Google搜尋grounding會增加運算成本，再者Gemini訓練夠紮實，不需每次查詢都grounding。因此，第二項方法中，Google將為Vertex AI加入動態擷取，讓Gemini動態選擇是否要動用Google搜尋，也可只使用模型既有知識，藉此平衡成本效益和回應品質。這功能很快會上線。

RAG-based代理程式生成結果是整合模型內在知識和企業資料提供的情境（context），這在大多數應用場景是可行的，但有嚴格法規的產業，如金融服務業、健康和保險業卻要求模型根據給定的情境來生成回應。為此，在第三項功能中，Google Cloud已開始實驗Grounded Generation API的高傳真模式（high-fidelity mode）grounding。這功能使用經微調的Gemini 1.5 Flash模型，支援重要企業應用場景，像是為多篇檔案摘錄重點或對一組財務資料擷取資料。減少資料幻覺，啟用高傳真模式時，答案中的句子都會附有來源，提供資料可信度，此外也會提供grounding的信心分數。

第三，從下一季開始，Vertex AI將提供以專門領域第三方資料grounding的功能。這可讓企業為生成式AI代理程式整合外部資料，以推升生成結果的真實性。Google Cloud正在和權威的資料供應商，像是評級公司穆迪（Moody's）、MSCI（摩根士丹利資本編製的股價指數）、企業Zoominfo、Thomson Reuters等合作，將其資料整合到本項服務中。

最後，針對具有內嵌（embedding）的應用場景，像是推薦系統、廣告發送與RAG語義搜尋等，Vertex AI擴充向量搜尋（vector search）以支援混合搜尋（hybrid search）。內嵌是指將詞語句子、圖片等複雜資料轉化為固定維度的數值向量的技術，以捕捉語義關係並用於自然語言處理任務。

透過支援混合搜尋，Vertex AI可結合向量搜尋及關鍵字搜尋技巧，以提供相關及精準回應。現在該功能已進入公測。此外，Google也補充，Vertex AI最新的文字內嵌模型（text-embedding-004及text-multilingual-embedding-002）生成品質更超過前幾版。