Google 在今年度的雲端大會 Google Cloud Next '23 上推出了新一代自家研發的 AI 加速器晶片 Cloud TPU v5e！除了成本不到第四代的 50%，更可怕的是訓練 LLM 性能提高 2 倍、推理性能提高 2.5 倍！

TPU（Tensor Processing Unit）是 2017 年起 Google 自己設計、研發，專為 AI 所製造的晶片，之前 Google 傑出科學家紀懷新（Ed H. Chi）博士就曾說明 Google 現在所有自家訓練 AI 的工作 100% 都是由 TPU 進行；這次 Google 推出第五代，就是主打可以讓 GCP 客戶訓練 AI 時獲得更高的運算性價比。

TPU v5e Pod 可以支援最多 256 塊晶片連結，總頻寬可達 400 Tb/s、INT8 性能可達 100 petaOps，並支援 8 種不同的虛擬機 (VM) 配置。軟體部分 Cloud TPU v5e 還支援 JAX、PyTorch 和 TensorFlow 等 AI 框架，以及 Hugging Face 的 Transformers 和 Accelerate、PyTorch Lightning、Ray 等開源工具。

除了第五代 TPU 之外，Google 這次也再次宣布基於 NVIDIA H100 GPU 推出的 A3 超級電腦虛擬機服務，將在下個月全面上線。

：Sisley

快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！