Folia
← 返回头版

谷歌扩展第八代TPU产品组合,首年发布四款系统并更新软件生态

谷歌宣布扩展其第八代张量处理单元(TPU)产品组合,新增专为智能体时代设计的TPU 8tx和TPU 8i Max系统 1。这是谷歌首次在单一年份内发布四款TPU系统,另外两款为TPU 8t和8i 1。

在硬件层面,TPU 8tx侧重于硬件级安全与机密推理 1。该芯片基于TPU 8t硅片,搭配第5代AMD EPYC CPU,提供硬件级机密计算能力,其延迟比TPU 8t低高达2倍 1。TPU 8i Max旨在通过双芯片封装解决大规模上下文窗口下的内存瓶颈问题 1。它将两个低延迟TPU 8i芯片合并在一个封装中,使得计算能力、SRAM和HBM带宽均为TPU 8i的两倍 1。

此外,谷歌还发布了一系列软件生态更新,以降低开发门槛并提升AI基础设施的性能与灵活性 1。具体包括:

  • TorchTPU开源:使PyTorch代码和Hugging Face模型可原生运行在TPU上 1。
  • 开放TPU代理套件(预览版):支持Claude Code、Cursor等工具自动进行TPU配置和内核调优 1。
  • Cloud Pathways全面可用:该服务现已在Google Kubernetes Engine (GKE)上全面可用,允许用户像操作本地机器一样编排大规模TPU系统 1。
  • GKE动态切片功能全面可用:利用光路交换技术消除僵硬的节点池重建周期,作业启动时间缩短多达5倍 1。
  • TPU Sync开源:作为模型状态层被开源,可将KV传输延迟和首Token生成时间(TTFT)降低90%以上 1。

来源

  1. Hacker NewsTPUs

评论