一篇《彭博社》分析報導指出，OpenAI、Anthropic 和 Google 都分別出現 AI 模型進步的速度不如以往的問題，難像過去每代模型效能有顯著提升。

OpenAI 下一代的大型 AI 模型「Orion」，在內部測試中未能達到預期的目標，尤其在處理未用在訓練的程式碼問題方面表現不佳，不像先前從 GPT-3.5 到 GPT-4 效能有顯著提升，Orion 相較於現有模型，進步幅度並不明顯。

Google 即將推出的 Gemini 軟體更新版本，效能也並未達到內部預期；有知情人士透露，Anthropic Claude 3.5 Opus 能力提升幅度同樣不如內部預期。

Claude 3.5 Opus 發布時間則已延後，且 Anthropic 網站上原本關於模型「今年稍晚推出」和「即將推出」的字句被移除，對此 Anthropic 表示這只是行銷策略的調整，但許多人認為應該是模型的開發進度不如預期。

外媒從三家 AI 公司的問題，歸納出 AI 模型正面臨到的一些共同挑戰。

高品質訓練資料取得困難

網路上可用的高品質資料越來越難以取得，過去用於訓練大型語言模型的資料，包括社群媒體貼文、網路評論、書籍等，已經不足以訓練更先進的 AI 系統。

科技公司也轉向「合成資料」（例如電腦生成的圖像或文字）作為潛在解方，來彌補資料不足的問題。不過，合成資料的品質和多樣性仍有限，尤其是在語言資料方面，根據專家，目前仍然需要人類的指導，才能生成真正高品質的訓練資料集。

Anthropic 的 CEO Dario Amodei 曾在節目上表達出對訓練資料不足的擔憂，他認為很多事情都可能會破壞實現更強大 AI 的進程，包括「資料耗盡」，但他仍對 AI 發展樂觀其成。

單純增加訓練資料，難讓模型有顯著進步

OpenAI 前創辦人暨首席科學家 Ilya Sutskever 接受採訪時表示，他認為增加訓練資料量來提升模型效能，這樣的方法已達到極限，且所有 AI 實驗室都可以透過各種線上資源取得類似的訓練資料，單純增加資料量是無法取得優勢。

「2010 年代是擴展規模的時代，現在我們再次回到了探索和發現的時代，每個人都在尋找下一個目標」，Sutskever 認為現在更重要的是訓練模型的內容和方式。

AI 專家同樣呼應 AI 模型需要不同的訓練方法，才能在各種任務上展現真正出色的表現，而 Amodei 的看法是 Scaling Law 並非宇宙法則，是從經驗得出的規律，「我打賭（Scaling Law）會持續下去，但我對此並不能確定。」

AI 模型訓練成本高昂，資源分配出現困境

訓練大型 AI 模型需要極高的訓練成本，Amodei 估計，今年訓練最先進的 AI 模型需要花費 1 億美元，未來幾年數字將高達到千億美元，這也讓投資新模型的風險和期望值增加。

科技公司也因此陷入資源分配困境，可能需在開發新模型和支援舊模型之間做出取捨，當更大的模型未出現明顯進步時，如何權衡資源分配成一大難題。

Sam Altman 就曾提及模型的複雜性導致他們無法同時進行多項技術開發，在分配運算能力上面臨「許多限制和艱難的決定」。

：Jocelyn
：Sherlock

本文初稿為 INSIDE 使用 AI 編撰；快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！