// AI 新闻 · 2026-11-03 · PyTorch Blog
PyTorchKR与XCENA联合举办KVCache技术交流会
2026年9月30日晚，PyTorchKR与XCENA联合举办KVCache技术交流会，Tensormesh作为赞助方参与。来自XCENA、SK hynix、FuriosaAI和LMCache的专家分享了大语言模型推理中KV缓存优化的相关工作。会议涵盖CXL内存扩展、GPU与HBM带宽瓶颈、RNGD上的请求调度以及LMCache的MP模式等技术方向，展示了硬件与服务软件在KV缓存管理上的不同实现路径。
原文发布 2026-11-03 17:22（北京时间）来源 PyTorch Blog自动整理 · 已核对原文
01摘要
交流内容包括CXL内存池中DRAM与SSD协同存储的设计，通过Maru开源引擎实现高效共享缓存访问；SK hynix团队分析了预填充和解码阶段GPU计算与HBM带宽的使用情况，指出预填充期计算密集、解码期内存带宽成为瓶颈；FuriosaAI介绍了其RNGD推理引擎中的请求调度机制，包括分页注意力、连续批处理和分段预填充等技术，并评估了缓存复用与数据传输成本之间的权衡。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- XCENA提出CXL内存池架构，结合DRAM与SSD存储，通过Maru开源引擎实现高效KV缓存管理。
- SK hynix分析显示，预填充阶段GPU计算密集，解码阶段HBM带宽成为瓶颈，影响推理效率。
- FuriosaAI在RNGD上实现请求调度与KV缓存共享，采用分页注意力和连续批处理提升吞吐量。
- 会议强调缓存复用与数据传输成本之间的权衡，具体决策基于输入长度、批量大小及上下文长度。
03原文出处
KVCache Meetup Korea 2026: Event Recap
PyTorch Blog · 发布于 2026-11-03 17:22（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-03 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日