一篇《彭博社》分析报导指出，OpenAI、Anthropic 和 Google 都分别出现 AI 模型进步的速度不如以往的问题，难像过去每代模型性能有显著提升。

OpenAI 下一代的大型 AI 模型「Orion」，在内部测试中未能达到预期的目标，尤其在处理未用在训练的代码问题方面表现不佳，不像先前从 GPT-3.5 到 GPT-4 性能有显著提升，Orion 相较于现有模型，进步幅度并不明显。

Google 即将推出的 Gemini 软件更新版本，性能也并未达到内部预期；有知情人士透露，Anthropic Claude 3.5 Opus 能力提升幅度同样不如内部预期。

Claude 3.5 Opus 发布时间则已延后，且 Anthropic 网站上原本关于模型「今年稍晚推出」和「即将推出」的字句被移除，对此 Anthropic 表示这只是行销策略的调整，但许多人认为应该是模型的开发进度不如预期。

外媒从三家 AI 公司的问题，归纳出 AI 模型正面临到的一些共同挑战。

高品质训练数据取得困难

网络上可用的高品质数据越来越难以取得，过去用于训练大型语言模型的数据，包括社群媒体贴文、网络评论、书籍等，已经不足以训练更先进的 AI 系统。

科技公司也转向「合成数据」（例如电脑生成的图像或文本）作为潜在解方，来弥补数据不足的问题。不过，合成数据的品质和多样性仍有限，尤其是在语言数据方面，根据专家，目前仍然需要人类的指导，才能生成真正高品质的训练数据集。

Anthropic 的 CEO Dario Amodei 曾在节目上表达出对训练数据不足的担忧，他认为很多事情都可能会破坏实现更强大 AI 的进程，包括「数据耗尽」，但他仍对 AI 发展乐观其成。

单纯增加训练数据，难让模型有显著进步

OpenAI 前创办人暨首席科学家 Ilya Sutskever 接受采访时表示，他认为增加训练数据量来提升模型性能，这样的方法已达到极限，且所有 AI 实验室都可以通过各种在线资源取得类似的训练数据，单纯增加数据量是无法取得优势。

「2010 年代是扩展规模的时代，现在我们再次回到了探索和发现的时代，每个人都在寻找下一个目标」，Sutskever 认为现在更重要的是训练模型的内容和方式。

AI 专家同样呼应 AI 模型需要不同的训练方法，才能在各种任务上展现真正出色的表现，而 Amodei 的看法是 Scaling Law 并非宇宙法则，是从经验得出的规律，「我打赌（Scaling Law）会持续下去，但我对此并不能确定。」

AI 模型训练成本高昂，资源分配出现困境

训练大型 AI 模型需要极高的训练成本，Amodei 估计，今年训练最先进的 AI 模型需要花费 1 亿美元，未来几年数字将高达到千亿美元，这也让投资新模型的风险和期望值增加。

科技公司也因此陷入资源分配困境，可能需在开发新模型和支持旧模型之间做出取舍，当更大的模型未出现明显进步时，如何权衡资源分配成一大难题。

Sam Altman 就曾提及模型的复杂性导致他们无法同时进行多项技术开发，在分配运算能力上面临「许多限制和艰难的决定」。

：Jocelyn
：Sherlock

本文初稿为 INSIDE 使用 AI 编撰；快加入 INSIDE Google News 按下追踪，给你最新、最 IN 的科技新闻！