Nvidia推出可建置企業級聊天機器人的生成式AI微服務NeMo Retriever
· 2023-11-30

Nvidia人工智慧微服務NeMo Retriever可供企業簡單地客製檢索增強生成(RAG)應用,透過連接大型語言模型和企業資料集,實作以提示詞即可獲得準確資訊的智慧查詢功能

Nvidia發布生成式人工智慧微服務Nvidia NeMo Retriever,讓企業能夠連接大型語言模型與企業資料,在其人工智慧應用程式提供精確的回應。該服務是NeMo系列的新產品,供企業能夠使用Nvidia最佳化演算法,建置生產就緒的檢索增強生成(Retrieval-Augmented Generation,RAG)人工智慧應用。

NeMo Retriever為一個語意檢索微服務,讓開發者可以簡單地客製化問答應用程式。該服務能夠被部署在雲端或是本地環境中,支援生成式人工智慧應用程式。藉由使用Nvidia最佳化演算法,NeMo Retriever可以提供更加精準的回應。此外,開發者能夠將其與雲端和資料中心裡的業務資料連接,以便終端使用者透過簡單的對話提示,快速獲得準確且最新的訊息。

透過NeMo Retriever企業便可在其應用程式中加入檢索增強生成功能,官方提到,其提供了先進且商業化的模型和微服務,並對延遲和吞吐量進行了最佳化。NeMo Retriever所使用的模型經過負責任且可稽核的資料訓練,開發者可選用不同的預訓練模型,並且依據使用案例自定義模型。

NeMo Retriever中的Retrieval QA Embedding模型,能夠將文字資訊轉換成為密集的向量表示,以方便搜尋向量資料庫,檢索和終端使用者查詢最相關的檔案。NeMo Retriever中的Retrieval QA Embedding模型為Transformer編碼器,是一個E5-Large-Unsupervised模型的微調版本,具有24層,嵌入大小為1,024,經過私有和公開資料集進行訓練,最大支援512個token輸入。

開發者可以透過Retrieval QA Embedding Playground API來存取該服務,由於Retrieval QA Embedding模型為E5-Large-Unsupervised微調版本,因此也適用類似的輸入格式要求,開發者在發出請求的時候,需要指定片段資訊(Passage)以及查詢(Query)。

經Nvidia電信、IT、諮詢和能源產業的客戶內部資料集評估,Retrieval QA Embedding模型在模擬檢索增強生成情境的Recall@5指標中表現最好,而且在學術基準測試NQ、HotpotQA、FiQA和TechQA上,Retrieval QA Embedding模型在平均NDCG@10指標上超越其他開源和商業檢索模型。

热门文章
灰度在iGB L!VE 2026展位T70和你相约7月,一起点燃伦敦的热情!
灰度头条
GGC Awards 2026 璀璨科伦坡:致敬 iGaming 行业的领航者与创新力量
灰度头条
新泽西州7月博彩收入创6.06亿美元新高,颁布禁令
游戏风向
英国确认各垂直行业的赌博税税率
游戏风向
JILI 宣布与全球板球传奇 AB de Villiers(ABD)达成重磅战略合作
体育游戏
横跨全球6个城市,灰度8场派对邀你共看世界杯,重塑高质量社交新场景
灰度头条
2027 Global Game Connect(GGC)斯里兰卡招商全面开启!业务人脉尽在掌握!
灰度头条
灰度世界杯嘉年华狂欢派对吉隆坡站即将开启,业务拓展人脉社交从马来西亚开始
灰度头条
张侨伟参议员排除全面禁止,敦促菲律宾规范网络赌博
东南亚资讯
亚洲游戏市场观察:15大市场热门游戏与用户趋势
线上游戏
PropellerAds 分享了新的 iGaming 案例研究:在 3 个月实现 97,674 次安装和 12,701 笔存款
广告营销
哈萨克斯坦计划对在线赌场促销活动进行处罚
游戏风向
越南在线博彩业政策收紧 催生市场新机遇
东南亚资讯
印度最高法院受理公益诉讼,要求全国禁封“伪装”成社交游戏的赌博平台
游戏风向
斯里兰卡博弈产业大转型,官方:剑指南亚拉斯维加斯
游戏风向
首页
游戏
合作
发现
我的