// AI 新闻 · 2026-11-07 · NVIDIA
NVIDIA 推出 Reshard 集体通信优化 RL 权重迁移
NVIDIA 在技术博客中介绍,其 NCCL M2N Reshard 集体通信机制通过将权重迁移重构为 DTensor 到 DTensor 的传输,仅转移理论最小数据量,避免传统 gather-and-broadcast 方法中的冗余通信。该方案在 DGX H100 和 DGX GB200 系统上的 NeMo RL 测试中,对 Qwen 3 235B 和 DeepSeek v3 671B 等大模型实现 2.7 倍至 5.7 倍的速度提升。
原文发布 2026-11-07 02:03(北京时间)来源 NVIDIA自动整理 · 已核对原文
01摘要
该方法通过精确计算数据分片交集,并利用 NVLink 域内副本聚合,消除重复网络传输。在混合策略中,Reshard 用于处理占主导地位的前馈投影权重,而小权重仍采用传统方式以保持功能完整性。
由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。
02要点
- Reshard 将权重迁移重构为 DTensor 到 DTensor 的直接传输,仅传递理论最小数据量。
- 通过精确计算分片交集和 NVLink 域内副本聚合,减少冗余网络传输。
- 在 Qwen 3 235B 和 DeepSeek v3 671B 模型上实现 2.7x 至 5.7x 的速度提升。
- 采用混合策略,对前馈投影权重使用 Reshard,小权重保留传统 gather-and-broadcast 方式。
03原文出处
Accelerating Reinforcement Learning Weight Refit with the Reshard Collective
NVIDIA · 发布于 2026-11-07 02:03(北京时间) · 上方为原标题
05相关新闻
- 同来源 · FLUX 3 Image Klein 在 NVIDIA Blackwell 上实现高速图像生成2026-11-07 · NVIDIA
- 同来源 · NVIDIA 推出 DSX OS 支持 GPU Kubernetes 集群配置与运维2026-11-06 · NVIDIA
- 同主题 · SageMaker Inference支持GPU分区以提升资源利用率2026-11-07 · AWS Machine Learning Blog
- 同主题 · 价值1140万美元的Nvidia硬件在运输途中被盗2026-11-07 · Ars Technica
- 同日 · 中期选举结果或重塑AI行业格局2026-11-07 · TechCrunch AI
出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 2026-11-07 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日