Google 研究人員、柏克萊大學等專家合作的一項新研究指出，利用「環形注意力」（Ring Attention）這種技術，可打破 AI 模型現在主要面臨的記憶體瓶頸，把數百萬的文字量放入 AI 模型的資料視窗中，使 AI 模型的輸入容量擴增到百萬級以上。

Google、柏克萊大學新研究：「環形注意力」可突破 AI 模型記憶體限制 

由於訓練和運算 AI 模型 GPU 存在記憶體限制，導致 AI 模型無法瞬間處理大量的字數 /  token 輸入。該怎麼實現 AI 對大量數據的高效處理，是全球許多 AI 研究人員都在積極投入的項目。

目前而言，ChatGPT 在 Context Window 一次能夠處理的文字輸入頂多只有數千字，而較大的 AI 模型單次能夠處理的上限大約為數萬字（大約是一本書的字數）。

不過，這項限制終於有了新進展。由 Google 研究人員、柏克萊大學、Databricks 技術長等專家本月聯合發布的新論文，提出一項稱為「環形注意力」的突破性技術，有望根本性的改變人類和這些強大的新科技工具互動的方式。

在 Google DeepMind 工作、同時是柏克萊研究人員的 Hao Liu 表示，環形注意力的技術是基於 2017 年革命性的 Transformer 架構，該架構構成了 ChatGPT 和近年來出現的諸多新模型的基礎，例如 GPT-4、 Llama 2，以及 Google 即將推出的 Gemini。

此實驗顯示，環形注意力能夠降低 Transformer 的記憶體需求，使 Transformer 能夠訓練比先前最先進的記憶體長 500 倍以上的序列，而不必對注意力進行近似，讓效率狀態大幅躍升。

超大量數據餵入 AI 化為真實，未來可釋放 GPU 的運作、節省數百萬美元

研究人員 Liu 解釋，由於現代 AI 模型需要 GPU 儲存各種內部輸出，接著重新計算，然後再傳遞給下一個 GPU。這個過程通常需要大量的記憶體容量支援，而這些記憶體並不總是足夠的。本次研究目標即是突破此障礙。

研究團隊提出了一種新的方法，將 GPU 組成一個環形，讓這些 GPU 彼此傳遞處理過的數據，同時接收來自其他鄰近 GPU 的相似數據塊，這實際上能消除單一設備對記憶體的限制。

透過這樣的循環，代表我們能夠一次把數百萬字輸入到 AI 模型的資料視窗，這遠遠高過以往的門檻。從理論上講，未來可以一次性把多本書籍內容、影片、甚至整個程式碼庫餵入，AI 模型將能夠分析這些素材並產生連貫的回應。

就效果舉例，假如你擁有 130 億個參數的一個 AI 模型，並且依賴 256 個 NVIDIA A100 GPU來運算，在善用環形注意力方法之下，可處理的 token 長度將能夠從 16,000 個提升至 400 萬個。光是透過這樣的邏輯，企業在 AI 模型訓練就有機會省下數百萬美元。

新技術會降低市場對 NVIDIA AI 晶片需求？還有什麼可預知的應用範疇？

而這項新發現也暗示了一個重要的問題：如果我們可以使用較少的 GPU 做更多的事情，這是否代表市場對 NVIDIA 等 AI 晶片供應商的需求會減少？

針對此假設，Liu 倒是不這麼認為，相反的，開發人員和技術公司很可能會嘗試使用環形注意力這種新技術來實現更大、更有野心的目標。

隨著 AI 領域革命性的進步化為真實，研究團隊表示，期待未來研究持續探討最大序列長度和最大電腦效能，例如大型視訊 - 音訊 - 語言模型（video-audio-language models）、程式碼庫理解和生成，以及理解基因序列等科學數據等創新性的可能應用。

：Jocelyn
：Sisley

快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！