Nvidia推出可建置企業級聊天機器人的生成式AI微服務NeMo Retriever
· 2023-11-30

Nvidia人工智慧微服務NeMo Retriever可供企業簡單地客製檢索增強生成(RAG)應用,透過連接大型語言模型和企業資料集,實作以提示詞即可獲得準確資訊的智慧查詢功能

Nvidia發布生成式人工智慧微服務Nvidia NeMo Retriever,讓企業能夠連接大型語言模型與企業資料,在其人工智慧應用程式提供精確的回應。該服務是NeMo系列的新產品,供企業能夠使用Nvidia最佳化演算法,建置生產就緒的檢索增強生成(Retrieval-Augmented Generation,RAG)人工智慧應用。

NeMo Retriever為一個語意檢索微服務,讓開發者可以簡單地客製化問答應用程式。該服務能夠被部署在雲端或是本地環境中,支援生成式人工智慧應用程式。藉由使用Nvidia最佳化演算法,NeMo Retriever可以提供更加精準的回應。此外,開發者能夠將其與雲端和資料中心裡的業務資料連接,以便終端使用者透過簡單的對話提示,快速獲得準確且最新的訊息。

透過NeMo Retriever企業便可在其應用程式中加入檢索增強生成功能,官方提到,其提供了先進且商業化的模型和微服務,並對延遲和吞吐量進行了最佳化。NeMo Retriever所使用的模型經過負責任且可稽核的資料訓練,開發者可選用不同的預訓練模型,並且依據使用案例自定義模型。

NeMo Retriever中的Retrieval QA Embedding模型,能夠將文字資訊轉換成為密集的向量表示,以方便搜尋向量資料庫,檢索和終端使用者查詢最相關的檔案。NeMo Retriever中的Retrieval QA Embedding模型為Transformer編碼器,是一個E5-Large-Unsupervised模型的微調版本,具有24層,嵌入大小為1,024,經過私有和公開資料集進行訓練,最大支援512個token輸入。

開發者可以透過Retrieval QA Embedding Playground API來存取該服務,由於Retrieval QA Embedding模型為E5-Large-Unsupervised微調版本,因此也適用類似的輸入格式要求,開發者在發出請求的時候,需要指定片段資訊(Passage)以及查詢(Query)。

經Nvidia電信、IT、諮詢和能源產業的客戶內部資料集評估,Retrieval QA Embedding模型在模擬檢索增強生成情境的Recall@5指標中表現最好,而且在學術基準測試NQ、HotpotQA、FiQA和TechQA上,Retrieval QA Embedding模型在平均NDCG@10指標上超越其他開源和商業檢索模型。

熱門文章
新澤西州7月博彩收入創6.06億美元新高,頒布禁令
合規與政策
橫跨全球6個城市,灰度8場派對邀你共看世界盃,重塑高質量社交新場景
灰度頭條
GGC Awards 2026 璀璨科倫坡:致敬 iGaming 行業的領航者與創新力量
灰度頭條
西班牙監管機構警告在線賭博平臺存在身份盜竊行為
合規與政策
灰度在iGB L!VE 2026展位T70和你相約7月,一起點燃倫敦的熱情!
灰度頭條
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
印度最高法院受理公益訴訟,要求全國禁封「偽裝」成社交遊戲的賭博平台
合規與政策
巴西擬將博弈稅率提高至24% 稅收將用於社保與醫療領域
合規與政策
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
英國確認各垂直行業的賭博稅稅率
合規與政策
首頁
遊戲
合作
發現
我的