／Nvidia

企業客戶可以將其在AI Foundry客製的模型，連同優化的引擎及標準API輸出為Nvidia NIM推論微服務，執行在其屬意的加速基礎架構上。而推論方案如Nvidia TensorRT-LLM，可加速Llama 3.1模型執行，降低延遲性和擴大傳輸吞吐量，可讓企業更快產生字元，減少從提示輸入的成本。此外Nvidia AI Enterprise軟體套件則提供安全性及管理、最佳化元件等底層支援。

客戶可以使用Nvidia合作夥伴提供的AIOps和MLOps平臺開發AI Foundry模型，包括Cleanlab、DataDog、Dataiku、Dataloop、New Relic、Scale等。AI Foundry全球服務技術夥伴包括Accenture、Deloitte、Infosys和Wipro等。

首先使用AI Foundry的客戶包括SAP、Capital One、KT、現代汽車、Snowflake、圖庫業者Getty Images等。

最新服務是Nvidia從單純基礎架構業者邁向更全面的雲端平臺的最新發展。Nvidia與Meta執行長黃仁勳和Mark Zuckerberg預定7月29日將在一場活動中對談，說明生成式AI和開源軟體如何幫助開發者及創作者，以及生成式AI在元宇宙中的角色。