// AI 新闻 · 2026-11-09 · Google Cloud

Google发布TPU Sync库以优化推理与强化学习中的模型状态传输

Google于近期推出开源C++库TPU Sync，旨在提升TPU集群中模型状态的传输效率。该库通过异步DMA传输，在TPU HBM、主机DRAM、共享存储及数据中心网络（DCN）之间实现高效、低延迟的键值缓存分层与权重同步。在推理场景中，TPU Sync将KV缓存自动分层至主机内存，并支持多节点协同访问；在强化学习中，它提供底层DMA和DCN原语，使训练器与采样器间可实时同步模型参数。

阅读原文（Google Cloud）↗

原文发布 2026-11-09 21:00（北京时间）来源 Google Cloud自动整理 · 已核对原文

01摘要

该技术显著降低KV传输延迟，相较未使用TPU Sync的情况，对235B至480B参数的MoE模型，在前缀缓存和解耦服务负载下平均减少90%的首次响应时间（TTFT）。TPU Sync已集成至PyTorch（通过TorchTPU）与JAX生态，支持vLLM、SGLang、llm-d等推理框架及Pathways、McJAX等强化学习流水线。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。

02要点

TPU Sync通过异步DMA实现HBM、DRAM、存储和DCN间的高效数据传输，降低KV缓存延迟超90%。
在长上下文推理与多轮对话中，自动将旧KV块从TPU HBM迁移到主机内存，避免内存溢出。
支持前缀缓存场景下并发会话复用已计算的KV块，减少重复预填充计算。
为强化学习提供低层权重同步原语，实现训练器与采样器间自动重分片和实时参数更新。

03原文出处

Introducing TPU Sync: Fast KV cache and weight transfer for inference and RL on TPU

Google Cloud · 发布于 2026-11-09 21:00（北京时间） · 上方为原标题

05相关新闻

出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-09 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

01摘要

02要点

03原文出处

04站内相关

相关产品与工具

05相关新闻