// AI 新闻 · 2026-11-09 · Google AI Changelog
Google推出MaxText支持TPU上1400万token长上下文训练
谷歌在MaxText v0.2.4版本中推出对Cloud TPU的长上下文训练支持，通过四种上下文并行策略实现序列长度达1400万token的高效训练。该功能结合Tokamax Splash Attention核与3D芯片间互连（ICI）技术，使单个序列可跨整个切片运行，通信与计算重叠，每芯片内存占用保持稳定。
原文发布 2026-11-09 08:00（北京时间）来源 Google AI Changelog自动整理 · 已核对原文
01摘要
在TPU 5p上，Llama 3.1 8B模型在400万token序列下达到70%的模型FLOPs利用率；在TPU 7上，上下文长度可扩展至1400万token，且在600万token以下持续保持50%的MFU。四种策略包括全收集（All-gather）、A2A（Ulysses）、P2P（环形注意力）及A2A+P2P混合方案，均通过负载均衡与序列打包优化性能。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- MaxText支持在TPU 5p和TPU 7上实现最长1400万token的长上下文训练。
- 采用Tokamax Splash Attention与3D互连技术，实现计算与通信重叠，内存占用稳定。
- Llama 3.1 8B在TPU 5p上400万token序列下达到70%的模型FLOPs利用率。
- 四种上下文并行策略（All-gather、A2A、P2P、混合）均支持负载均衡与序列打包。
03原文出处
Announcing Long-Context Training on TPUs with MaxText Context Parallelism
Google AI Changelog · 发布于 2026-11-09 08:00（北京时间） · 上方为原标题
05相关新闻
- 同来源 · 在Google AI Studio中使用Google Maps构建地理空间应用2026-11-09 · Google AI Changelog
- 同来源 · 谷歌发布Pathways系统支持大模型单控制器分布式训练2026-11-09 · Google AI Changelog
- 同主题 · Google发布TPU Sync库以优化推理与强化学习中的模型状态传输2026-11-09 · Google Cloud
- 同主题 · Google推出Cloud Pathways分布式ML运行时正式上线2026-11-09 · Google Cloud
- 同日 · Meta Muse Ember上线Vercel AI Gateway2026-11-09 · Vercel Changelog
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-09 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日