Google Cloud

大语言模型最大问题之一是幻觉，而解决AI幻觉的方法之一是grounding。Google上周宣布Cloud AI平台Vertex AI添加包括以Google搜索、第三方数据、混合搜索的grounding功能，以减少AI幻觉。

Google Cloud Vertex AI 4月发表Agent Builder时，包含截取增强生成（retrieval augmented generation，RAG）可以Google搜索为Gemini输出结果grounding的能力，现在又再添加数项grounding功能供用户选择，包括以Google搜索grounding的能力添加动态截取（dynamic retrieval）、以高传真模式grounding、以第三方数据集grounding，以及扩大矢量搜索（vector search），实现关键字和矢量混合搜索功能。

首先，以Google搜索为Gemini模型grounding时，Gemini会进行Google搜索，利用相关搜索结果，如事实来生成输出，借此达成grounding。Grounding是指提供LLM真实世界的例子或相关数据，使之与模型的抽象知识集成，达到贴近真实、减少幻觉的目的，进而提升LLM产出结果的品质。

Google说，以这方法减少幻觉最大优点是简单，但问题是使用Google搜索grounding会增加运算成本，再者Gemini训练够扎实，不需每次查找都grounding。因此，第二项方法中，Google将为Vertex AI加入动态截取，让Gemini动态选择是否要动用Google搜索，也可只使用模型既有知识，借此平衡成本效益和回应品质。这功能很快会上线。

RAG-based代理程序生成结果是集成模型内在知识和企业数据提供的情境（context），这在大多数应用场景是可行的，但有严格法规的产业，如金融服务业、健康和保险业却要求模型根据给定的情境来生成回应。为此，在第三项功能中，Google Cloud已开始实验Grounded Generation API的高传真模式（high-fidelity mode）grounding。这功能使用经微调的Gemini 1.5 Flash模型，支持重要企业应用场景，像是为多篇文档摘录重点或对一组财务数据截取数据。减少数据幻觉，激活高传真模式时，答案中的句子都会附有来源，提供数据可信度，此外也会提供grounding的信心分数。

第三，从下一季开始，Vertex AI将提供以专门领域第三方数据grounding的功能。这可让企业为生成式AI代理程序集成外部数据，以推升生成结果的真实性。Google Cloud正在和权威的数据供应商，像是评级公司穆迪（Moody's）、MSCI（摩根士丹利资本编制的股价指数）、企业Zoominfo、Thomson Reuters等合作，将其数据整合到本项服务中。

最后，针对具有内嵌（embedding）的应用场景，像是推荐系统、广告发送与RAG语义搜索等，Vertex AI扩充矢量搜索（vector search）以支持混合搜索（hybrid search）。内嵌是指将词语句子、图片等复杂数据转化为固定维度的数值矢量的技术，以捕捉语义关系并用于自然语言处理任务。

通过支持混合搜索，Vertex AI可结合矢量搜索及关键字搜索技巧，以提供相关及精准回应。现在该功能已进入公测。此外，Google也补充，Vertex AI最新的文本内嵌模型（text-embedding-004及text-multilingual-embedding-002）生成品质更超过前几版。