影片生成     Meta     V-JEPA  

Meta公開新影片生成模型V-JEPA

科技巨頭Meta人工智慧研究團隊，最近揭露用於影片預測的非生成式AI模型V-JEPA，透過預測影片中缺失或被遮蔽的部分，來提高AI對這個世界的理解。V-JEPA的靈感來源，是來自Meta AI首席科學家Yann LeCun在2022年提出的JEPA架構，Meta曾在去年以JEPA架構開發電腦視覺模型I-JEPA，能預測畫面缺失的資訊，來生成圖像。

現在，Meta進一步擴展JEPA，發展出能處理影片的V-JEPA。就訓練方法來說，團隊讓模型觀看一系列影片，並將這些影片遮蔽處理，來要求預測器在只有一小部分影片內容的上下文中，填充缺失的內容。這麼做的好處是，讓模型專注於影片的高層次概念，而非鑽牛角尖於對下游任務不重要的細節。V-JEPA採自監督學習方法，使用未標記的資料進行預訓練，只在要模型適應特定任務時，才會使用標籤。V-JEPA還能丟棄不可預測的資訊，提高訓練和採樣效率達1.5到6倍。

V-JEPA特點之一是凍結評估（Frozen Evaluations），也就是模型在預訓練後，核心部分不會再改變，只需添加小型專門層即可適應新任務，免除傳統模型對新任務需要全面微調的麻煩。目前，Meta以CC BY-NC授權釋出V-JEPA模型。（詳全文）

  .NET     微軟     雲原生  

.NET 9預覽版來了！聚焦雲原生和AI支援

微軟才發布.NET 8不久，.NET 9預覽版已經來了！.NET 9的重點仍是效能提升、雲端原生與AI開發支援。首先，微軟在第9版改善了Visual Studio和VS Code，加入.NET Aspire技術框架新的開發和部署功能，如元件配置、除錯支援、全面整合開發者儀表板，來讓開發者更輕鬆管理和監控應用程式。開發者也可從Visual Studio、VS Code，結合使用Azure Developer CLI，將應用程式快速部署到Azure容器，讓應用程式更快上雲。

此外，.NET 9還持續改進Native AOT（Ahead-of-Time Compilation），來提高應用程式的啟動速度和執行效率，減少資源消耗。至於.NET 9對AI開發的支援，則是要讓開發者更容易使用新AI技術和OpenAI服務，亦即提供更多函式庫和文件，協助開發者使用OpenAI服務和其他開源模型，包括本地端和雲端模型的支援。微軟也會持續投資跨平臺機器學習框架ML.NET，強化向量資料庫和AI工作負載的支援，讓開發者更容易將AI功能整合到應用程式中。目前，微軟已開放.NET 9預覽版供開發者下載測試。（詳全文）

  Gemini     Google     多模態  

Google發表Gemini 1.5，可支援百萬個Token上下文

日前，Google發表最新的Gemini 1.5模型，最多可支援長達100萬個Token的脈絡，也就是能一次處理大量資訊，如1小時的影片、11小時的音訊、超過3萬行的程式碼，或70多萬字的內容。

這款Gemini 1.5模型主要採用Transformer和新的專家混合（MoE）架構，前者為一大型神經網路，後者則由眾多小型的專家神經網路所組成。MoE模型可根據使用者所輸入的資料類型，選擇性地在神經網路上啟動最相關的專家路徑，因此大幅提高模型效能。根據Google計畫，他們將在原本的Gemini 1.5 Pro服務中採用Gemini 1.5模型，將基本版支援的12.8萬個Token擴大到100萬個。（詳全文）

  圖像生成     Stability AI     Stable Cascade  

Stability AI發表新一代圖像生成模型，比前一代更省16倍成本

Stability AI日前發表新一代文字轉圖像模型Stable Cascade，可簡單地在消費級硬體上訓練和微調。就流程來說，Stable Cascade有3步驟將文字轉換為圖像，包括潛在解碼階段的步驟A與步驟B，以及潛在生成階段的步驟C。

其中，步驟C是將用戶的指令，轉換成一張小型且簡化的圖像草稿，只包含重要資訊，再將草稿輸入至步驟A和步驟B，同時加入更多細節並放大，形成一張詳細且高解析度的圖片。由於步驟C與步驟A、B分離，因此可單獨對步驟C額外訓練和微調，包括ControlNet和LoRA的訓練。這種設計，讓新模型與訓練一個類似大小的Stable Diffusion模型相比，節省了16倍成本。

經測試，Stable Cascade不只效能更好，產生的結果也比前一代模型SDXL更好。目前，Stability AI開源步驟C和步驟B各兩種模型，步驟C有10億參數和36億參數版本，步驟B則有7億和15億參數版本。不只如此，團隊也同時開源用於訓練、微調、ControlNet和LoRA的所有程式碼，但這些開源資料只限非商業使用。（詳全文）

  LLM     Slack     摘要  

Slack發表Slack AI服務，可摘要各種訊息

主打企業溝通軟體的Slack最近發表Slack AI服務，提供多項LLM驅動的個人化功能。首先是個人化搜尋，能在使用者搜尋問題時，根據使用者企業的公開通訊內容和個人對話來客製化答案，涵蓋行銷專案、公司政策、過去決策、尋找主題專家到定義特定的縮寫等領域。再來是頻道回顧功能，能總結任何頻道重點，包括未讀訊息、過去7天的重點，還能統整自訂的日期期間。另一個功能是對話串摘要，可整理長期對話的重點摘要，每個摘要也會附上來源。

Slack強調，Slack AI運作於Slack的基礎設施上，所使用的各種LLM都由Slack代管，並不會與LLM供應商分享客戶資料，也不會利用客戶資料來訓練LLM。據Slack統計，在Slack AI出現前，該平臺的使用者已打造可整合Slack使用的13,400種AI工具，合作夥伴亦已將AI整合到眾多的Slack應用中。該服務初期支援英文和Enterprise Grid方案客戶。（詳全文）

  瀏覽器     ONNX Runtime     模型訓練  

開發者可在瀏覽器訓練模型！ONNX Runtime 1.17還支援聯合學習

微軟更新AI推論與訓練加速引擎ONNX Runtime（ORT），加入網頁訓練功能，讓開發者在瀏覽器中啟用模型訓練功能，如此裝置上的資料就能透過瀏覽器，進行聯合學習和個人化應用。

從1.8版本開始，ORT Web提供瀏覽器內推論功能，讓開發者可部署跨平臺、可移植的AI模型，並支援模型在CPU和GPU推論。在最新的ONNX Runtime 1.17中，進一步支援在瀏覽器訓練機器學習模型，該功能主要由2部分組成，分別是WebAssembly二進位檔案和JavaScript套件。由於要讓開發者可以在瀏覽器用CPU來訓練模型，ONNX Runtime提供訓練功能應用程式介面C API，但瀏覽器不能直接執行C語言程式碼，所以需要使用低階語言WebAssembly協助。（詳全文）

／Meta、OpenAI、Stability AI、Slack

  AI近期新聞 

1. OpenAI更新ChatGPT增加記憶能力，能記住更多對話內容

2. Nvidia推出Chat with RTX應用程式，供用戶在本地端自訂AI聊天機器人

3. Nvidia揭露世界第9名AI超級電腦Eos更多細節

：iThome整理，2024年2月