Skip to content
简体中文

切换主题

// AI 新闻 · 2026-11-07 · NVIDIA

NVIDIA 推出 Reshard 集体通信优化 RL 权重迁移

NVIDIA 在技术博客中介绍,其 NCCL M2N Reshard 集体通信机制通过将权重迁移重构为 DTensor 到 DTensor 的传输,仅转移理论最小数据量,避免传统 gather-and-broadcast 方法中的冗余通信。该方案在 DGX H100 和 DGX GB200 系统上的 NeMo RL 测试中,对 Qwen 3 235B 和 DeepSeek v3 671B 等大模型实现 2.7 倍至 5.7 倍的速度提升。

原文发布 2026-11-07 02:03(北京时间)来源 NVIDIA自动整理 · 已核对原文

01摘要

该方法通过精确计算数据分片交集,并利用 NVLink 域内副本聚合,消除重复网络传输。在混合策略中,Reshard 用于处理占主导地位的前馈投影权重,而小权重仍采用传统方式以保持功能完整性。

由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。

02要点

03原文出处

Accelerating Reinforcement Learning Weight Refit with the Reshard Collective

NVIDIA · 发布于 2026-11-07 02:03(北京时间) · 上方为原标题

05相关新闻

出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 2026-11-07 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

数据更新于:AI 新闻(北京时间)