Nvidia

Nvidia周一（3/18）宣布於Nvidia AI Enterprise 5.0平臺新增數十款生成式AI微服務（Microservice），目前它們分為NIM及CUDA-X 兩大類別，前者主要提供最佳化的推論微服務以大規模部署AI模型，後者則著重於打造資料處理、AI與高效能運算的各種應用。

微服務是一種架構模式，其服務規模較小，且可獨立部署，Nvidia先前便曾單獨發表生成式AI微服務。Nvidia說明，該公司是在其全棧運算平臺上增添一個微服務層，此層以標準化路徑連結了模型開發者、平臺供應商與企業的AI生態體系，以於雲端、資料中心、工作站或PC上執行針對Nvidia CUDA最佳化的客製AI模型。

其中，NIM是個容器化的推論微服務，內含預建的容器、產業的標準API、特定領域的程式碼與最佳化的推論引擎等，意在縮小企業環境中營運需求及AI部署之間的差距，將模型部署時間從幾周縮短至幾分鐘，以讓企業的應用程式開發人員得以對公司的AI轉型做出10~100倍的貢獻。

此外，NIM專為可攜與可控所設計，讓模型可部署在不同的基礎設施上，涵蓋工作站、雲端到本地資料中心。

至於CUDA-X則是提供端對端的建置組塊，以支援資料準備、客製化及訓練，加速不同產業生產AI的開發。例如提供客製化語音與翻譯AI的Nvidia Riva，最佳化路徑的Nvidia cuOpt，或是高解析度的天氣模擬Nvidia Earth-2等。

企業可在不同的基礎設施上部署Nvidia AI Enterprise 5.0內的各種微服務，如AWS、Google Cloud、Azure或Oracle Cloud Infrastructure。