OpenAI主要競爭對手之一的Anthropic，在本周發表了Message Batches API，以供開發者異步處理大量查詢，宣稱其成本比調用標準API便宜了50%，對於那些非時間敏感的任務而言更具成本效益。至於OpenAI已於今年4月，推出同樣號稱可節省50%成本的Batch API。

Anthropic說明，藉由Message Batches API，開發人員每批次可送出最多1萬個查詢，且每批次的處理時間不到24小時，成本比調用標準API少了50%。

Message Batches API現為公開測試版，可支援Claude 3.5 Sonnet、Claude 3 Opus 與 Claude 3 Haiku，Amazon Bedrock上的Claude用戶可使用批次推論，並即將支援Google Cloud Vertex AI上的Claude用戶。

Anthropic解釋，開發人員經常利用Claude來處理大量資料，例如分析客戶意見或是翻譯語言，但這些任務並不需要即時回應，現在透過Message Batches API可一次提交1萬個查詢，享有50%的折扣，儘管表訂24小時內處理，但通常會快得多，此一服務將讓許多過去認為成本太高的應用變得可行，例如分析企業的所有文件。

在Claude 3.5 Sonnet中使用Message Batches API，輸入100萬個Token的費用為1.5美元，輸出100萬個Token的費用為7.5美元，在Claude 3 Opus中的價格分別是7.5美元與37.5美元，在Claude 3 Haiku中的價格則是0.125美元與0.625美元。

至於OpenAI的Batch API價格比Anthropic的Message Batches API更便宜，以最高階的GPT-4o模型為例，輸入100萬個Token的費用為1.25美元，輸出100萬個Token的費用為5美元。不過，Claude模型所支援的脈絡長度為200K，GPT-4o則是128K。