// AI 新闻 · 2026-11-15 · Hugging Face Forum
Phys-ai-dataprofiler 工具实现数据集预检
Hugging Face 论坛用户开发了一款命令行工具 phys-ai-dataprofiler，可在不下载数据集的情况下对其物理AI和实验室数据进行质量评估。该工具通过HTTP范围请求读取元数据（如头部、索引、尾部），分析流数量、消息计数、速率、抖动、断帧、分段及缺失值等关键指标。
原文发布 2026-11-15 07:59（北京时间）来源 Hugging Face Forum自动整理 · 已核对原文
01摘要
工具支持MCAP、ROS 1 .bag、ROS 2 .db3、MATLAB .mat、Parquet和LeRobot等多种格式，v0.4.0版本可读取MP4文件的moov索引以获取编码信息、分辨率和帧时间戳，但不进行实际解码。对大型文件而言，仅需读取约1%的数据量，例如5.8GB的ROS 1 bag文件仅需533KB，493MB视频文件仅需444KB。用户可编写YAML配置文件指定模型需求，工具返回通过、失败或未知结果，未知情况不会被推测为通过。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- 工具通过HTTP范围请求读取元数据，无需下载完整数据集即可评估质量。
- 支持多种格式包括ROS 1/2、MCAP、MATLAB、Parquet及LeRobot数据集。
- 可检测流间时间对齐、帧缺失、速率抖动等关键问题，避免训练前数据缺陷。
- 基于配置文件判断数据集是否满足模型需求，结果为通过、失败或未知，未知不被默认通过。
03原文出处
Phys-ai-dataprofiler — know whether a dataset is good enough before you download 500 GB
Hugging Face Forum · 发布于 2026-11-15 07:59（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-15 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日