预训练、数据、微调与对齐
预训练数据：采集、清洗与配比
网页抓取、去重、质量过滤、数据配比与版权。
高级 20 分钟 适合: 研究者 / 开发者 ✎ 编写中
✎ 本课正在编写，下面是规划好的大纲；正文完成前不会被搜索引擎收录。
本课将讲什么
- Common Crawl 与精选数据源
- 去重与质量过滤
- 数据配比与课程
- 版权、授权与退出机制
相关 AI 新闻
链接指向原始发布方。
- NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World ModelsNVIDIA Blog ·
- Train Qwen3 on AWS Trainium with torchtitanAWS Machine Learning Blog ·
- NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training RequiredHugging Face Blog ·
- How to implement AI training for employeesZapier Blog ·
- Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorchAWS Machine Learning Blog ·