推理与部署
推理引擎：vLLM、llama.cpp 等
PagedAttention、连续批处理，以及按硬件选引擎。
高级 20 分钟 适合: 开发者 ✎ 编写中
✎ 本课正在编写，下面是规划好的大纲；正文完成前不会被搜索引擎收录。
本课将讲什么
- PagedAttention 与连续批处理
- 投机解码
- GGUF 与 llama.cpp
- 怎么选推理引擎
本课相关软件
相关 AI 新闻
链接指向原始发布方。
- AI’s hidden storage bill: What inference leaves behindMIT Technology Review - AI ·
- How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real ApplicationsHugging Face Blog ·
- ZenteiQ scales batch inference 4x with GKE Inference Gateway powered by llm-dGoogle Cloud 博客全站 ·
- Design Proteins with RFD4-Proteina Using Reward-Guided Inference-Time SearchNVIDIA 技术博客 ·
- Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorchAWS Machine Learning Blog ·