通俗解释
传统批处理要等最长的请求结束。按“迭代”调度后，短请求一结束就换入新请求，GPU 一直满载，延迟与吞吐同时改善。
用在哪里：vLLM、TGI、SGLang
01原始论文
Orca: A Distributed Serving System for Transformer-Based Generative Models
Yu et al. · OSDI 2022 · 2022
打开 ↗ ✓ 已核实 · 官方页面 HTTP/WebFetch 核实
02知识位置
左边先学；右边是学完它之后可以学的。
左：前置 · 右：后继 · 虚线：相关。看完整关系图 →
03学习资料
官方文档、图解、课程和参考实现，链接都核对过。
04在课程里哪里学
所在学习路线：AI 应用工程师
给 AI 读 / 数据说明
- 核实状态：已核实，核对于 2026-10-21。
- JSON: /api/learn/algorithms.json (id:
continuous-batching)