// 算子 / 编译 / 硬件加速
ai-dynamo/nixl
NVIDIA 推理数据传输库 NIXL（KV 缓存跨节点搬运）
官方 · NVIDIA DynamoNOASSERTION维护中
01最近发版
-
ai-dynamo/nixl v1.5.0 次版本
NVIDIA 推理数据传输库 NIXL（KV 缓存跨节点搬运）
02同类
全部仓库 →
lyogavin/airllm 在 4GB 显存上推理 70B 模型。 算子 / 编译 / 硬件加速★ 40.2k 
Dao-AILab/flash-attention 快速显存高效注意力内核 算子 / 编译 / 硬件加速★ 25.2k 
triton-lang/triton GPU 内核编程语言 算子 / 编译 / 硬件加速★ 20.4k 
NVIDIA/open-gpu-kernel-modules NVIDIA Linux 开源 GPU 内核模块 算子 / 编译 / 硬件加速 · 官方★ 17.5k 
ggml-org/ggml 机器学习张量库 ggml（llama.cpp 底层） 算子 / 编译 / 硬件加速 · 官方★ 15.5k