rasbt/LLMs-from-scratch

rasbt/LLMs-from-scratch 是 rasbt 的开源项目，本站归入「学习资料 / Awesome 清单」，主要语言 Jupyter Notebook，许可证 NOASSERTION（待核实）。截至 2026-10-23 有 107,112 个 star、16,488 个 fork，在本站追踪的 43 个同类仓库中按 star 排第 4，在全部 1046 个仓库中排第 43。仓库创建于 2023-07-23（约 3.2 年），最近一次提交在 2026-10-02，距数据日 21 天。GitHub 上没有发布 release，使用时按 README 从源码安装。

GitHub 话题：aiartificial-intelligenceattention-mechanismdeep-learningfinetuningfrom-scratchgenerative-aigptinstruction-tuninglanguage-modellarge-language-modelsllmmachine-learningnatural-language-processingpretrainingpythonpytorchtokenizertransformers

• rohitg00/ai-engineering-from-scratch ★ 72.5k · ai, deep-learning, from-scratch, generative-ai, llm, machine-learning, python, transformers从零学 AI 工程：学习、构建、交付
• huggingface/datasets ★ 22.1k · ai, artificial-intelligence, deep-learning, llm, machine-learning, natural-language-processing, pytorch数据集加载与处理
• huggingface/transformers ★ 168k · deep-learning, llm, machine-learning, natural-language-processing, python, pytorch预训练模型库（训练/推理）
• hiyouga/LlamaFactory ★ 75.7k · ai, gpt, instruction-tuning, large-language-models, llm, transformers统一高效微调 100+ 模型
• ray-project/ray ★ 44.1k · deep-learning, large-language-models, llm, machine-learning, python, pytorch分布式计算与 AI 应用框架
• Lightning-AI/pytorch-lightning ★ 31.4k · ai, artificial-intelligence, deep-learning, machine-learning, python, pytorchPyTorch 高层训练框架

• llm →
• PyTorch →
• transformers →