// AI 新闻 · 2026-11-09 · Databricks Blog
UCDataset在AI Runtime中Beta发布，实现Unity Catalog表直接流式供GPU训练
Databricks在AI Runtime中推出UCDataset，该功能作为Beta版本，可将Unity Catalog中的表格直接流式传输至PyTorch分布式训练任务的每个GPU，无需数据导出或自定义加载器代码。该方案通过原生集成实现多GPU数据分片，避免了传统方法中的数据复制、延迟和治理缺失问题。
原文发布 2026-11-09 23:00（北京时间）来源 Databricks Blog自动整理 · 已核对原文
01摘要
在模拟生产负载测试中，与从Parquet文件加载数据相比，UCDataset将训练时间缩短了10倍。其核心优势在于直接读取云存储中的原始表文件，自动均衡分配匹配行至各GPU，支持实时过滤和新增数据自动同步，并在训练过程中保持Unity Catalog的完整权限控制。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- UCDataset可直接从Unity Catalog表流式传输数据到每个GPU，无需导出或自定义加载器代码。
- 在300GB特征表上训练推荐模型时，相比Parquet加载方式，训练时间平均提升10倍。
- 数据读取过程自动应用过滤条件，新数据可实时被纳入训练，避免数据过期或滞后。
- 训练任务遵循Unity Catalog权限体系，实现端到端的数据治理与安全控制。
03原文出处
Accelerate GPU training on Unity Catalog tables with UCDataset
Databricks Blog · 发布于 2026-11-09 23:00（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-09 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日