OpenAI主要竞争对手之一的Anthropic，在本周发表了Message Batches API，以供开发者异步处理大量查找，宣称其成本比调用标准API便宜了50%，对于那些非时间敏感的任务而言更具成本效益。至于OpenAI已于今年4月，推出同样号称可节省50%成本的Batch API。

Anthropic说明，借由Message Batches API，开发人员每批量可送出最多1万个查找，且每批量的处理时间不到24小时，成本比调用标准API少了50%。

Message Batches API现为公开测试版，可支持Claude 3.5 Sonnet、Claude 3 Opus 与 Claude 3 Haiku，Amazon Bedrock上的Claude用户可使用批量推论，并即将支持Google Cloud Vertex AI上的Claude用户。

Anthropic解释，开发人员经常利用Claude来处理大量数据，例如分析客户意见或是翻译语言，但这些任务并不需要即时回应，现在通过Message Batches API可一次提交1万个查找，享有50%的折扣，尽管表订24小时内处理，但通常会快得多，此一服务将让许多过去认为成本太高的应用变得可行，例如分析企业的所有文档。

在Claude 3.5 Sonnet中使用Message Batches API，输入100万个Token的费用为1.5美元，输出100万个Token的费用为7.5美元，在Claude 3 Opus中的价格分别是7.5美元与37.5美元，在Claude 3 Haiku中的价格则是0.125美元与0.625美元。

至于OpenAI的Batch API价格比Anthropic的Message Batches API更便宜，以最高级的GPT-4o模型为例，输入100万个Token的费用为1.25美元，输出100万个Token的费用为5美元。不过，Claude模型所支持的脉络长度为200K，GPT-4o则是128K。