// AI 新闻 · 2026-10-26 · 量子位
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
岩山科技旗下岩芯矩阵联合港科大、CMU团队发布并开源EdgeRock-4B模型，该模型在单张Hopper 80GB显卡上实现512路并发长推理，输出吞吐达12124 tokens/s，是源模型的6.42倍。其核心创新为引入‘记忆岩锚’（RMA）机制，将每条序列的历史信息分为循环状态、局部窗口和锚点库三部分，仅保留关键细节，使KV Cache固定在72MiB，不随上下文增长。
原文发布 2026-10-26 14:45（北京时间）来源 量子位自动整理 · 已核对原文
01摘要
模型在AIME 2024–2026测试中平均一次通过率达82.9%，显著优于对比组（如RWKV-7、GDN等），在29项文本基准中24项排名第一；推理能力与源模型Qwen3.5-4B基本持平，且在长上下文场景下保持稳定性能，证明了固定内存不牺牲推理质量。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- EdgeRock-4B通过RMA机制将KV Cache压缩至72MiB，减少99.1%，不随推理长度增长。
- 单卡512路并发长推理下，吞吐达12124 tokens/s，是源模型的6.42倍，显存峰值未超单卡上限。
- 在AIME和文本基准测试中，平均一次通过率82.9%，优于所有有界状态模型，多项目反超源模型。
- RMA模块关闭后准确率骤降至0.4%，验证其对远距离信息回忆的关键作用。
03原文出处
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
量子位 · 发布于 2026-10-26 14:45（北京时间）
05同主题新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 全部 AI 新闻 · 今日