TOPIC · EFFICIENCY · 69 PAPERS

高效训练与推理

大语言模型推理对齐智能体多模态视觉生成视觉理解与 3D 机器人与具身高效训练与推理安全与可解释 AI for Science 代码与软件工程评测与数据强化学习

近 30 天 69

#05 ▲371 ★115 ❝2 2026-10-13

Jeva: System One Models from First Principles

提出“决策原生”的 System 1 模型 Jeva：直接给候选项打分，而不是逐字生成答案，更快且可缓存。

National University of Singapore · Qi Li, Xinchao Wang

大语言模型高效训练与推理 arXiv 代码 HF

#08 ▲375 ★210 ❝1 2026-10-13

VideoJev: System One Model for Video Understanding and Interaction

VideoJev 把视频理解改成对时间段和选项直接打分，统一时序定位和视频问答。

Multimedia Computing Group-Nanjing University · Yuhan Zhu, Xiangyu Zeng, Qingyi Si +15

多模态高效训练与推理 arXiv 代码 HF

#12 ▲113 ★2.8k ❝1 2026-10-07

Long-WAM: Scaling the Context of World-Action Models

Long-WAM 研究在实时控制约束下给世界-动作模型加长上下文，自回归预训练的视频底座收益最大。

NVIDIA · Wei Huang, Bohan Zhang, Chenzhi Liu +13

机器人与具身高效训练与推理 arXiv 代码 HF

#22 ▲511 ★7 ❝2 2026-09-29

The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation

在线策略蒸馏中，沿 RL 引起的隐藏表征变化方向外推，让学生模型更稳定地超越教师。

机构待核实 · Hao Li, MeiJia Chen, Weijie Ren +4

高效训练与推理强化学习 arXiv 代码 HF

#26 ▲727 ★5 ❝0 2026-10-15

PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews

ReviewFact 标注审稿意见中的事实错误，PremiseCheck 结合大模型和轻量判别模型低成本核查。

机构待核实 · Dingjie Song, Zhiling Yan, Ziqian Zhang +2

评测与数据高效训练与推理 arXiv 代码 HF

#27 ▲560 ★17 ❝0 2026-10-15

MJev-Spatial: System One Spatial Intelligence via Native Attention Matching

MJev-Spatial 把空间理解任务改成分类式打分，比自由生成文本更快地回答方位、距离和落点问题。

Mind Lab · Luozheng Qin, Yuhan Zhu, Changhai Zhou +9

多模态高效训练与推理 arXiv 代码 HF

#30 ▲602 ★7 ❝0 2026-10-14

LEV: Thinking Fast and Deep with Looped Decision Models

LEV 让决策模型通过循环重跑网络层来“想得更深”，不必生成推理文字。

机构待核实 · Dingjie Song, Zhiling Yan, Yuxuan Zhang +1

推理高效训练与推理 arXiv 代码 HF

#41 ▲167 ★303 ❝0 2026-10-08

REMORY: Learning Residual Memory for Context Compaction

REMORY 在文字摘要后补一串“软记忆 token”，帮长任务 Agent 压缩上下文时少丢信息。

Fusion Lab: Generative Vision Lab of Fudan University and SII · Hanchen Xia, Baoyou Chen, Yutang Ge +5

智能体高效训练与推理 arXiv 代码 HF

#47 ▲181 ★57 ❝1 2026-09-28

Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation

多教师在线蒸馏中按领域归一化各教师的反馈强度，让学生同时学好数学、代码和指令遵循。

Nanyang Technological University · Xin Li, Hao Jiang, Xin Gao +6

高效训练与推理强化学习 arXiv 代码 HF

#51 ▲143 ★63 ❝0 2026-10-08

TokenRouter: Efficient Serving System for Token-Level LLM Routing

TokenRouter 是支持 token 级多模型路由的推理服务系统，解决步调不同步和批处理延迟问题。

Tsinghua-NICS-EFC · Tianyu Fu, Tengxuan Liu, Ruoxi Wang +4

高效训练与推理 arXiv 代码 HF

#57 ▲101 ★56 ❝1 2026-10-02

DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation

DuoMatching 同时匹配联合分布和逐帧边缘分布，提升少步视频生成的画质和语义对齐。

ByteDance · Jiahao Zhan, Yan Wang, Yongrui Ma +5

视觉生成高效训练与推理 arXiv 代码 HF

#58 ▲94 ★78 ❝4 2026-09-30

GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed

GroundAnything 用双向扩散并行解码目标位置，在保持精准的同时大幅加快视觉定位。

XPENG AI · Qize Yu, Lianrui Fan, Bowen Ping +19

视觉理解与 3D 高效训练与推理 arXiv 代码 HF

#60 ▲119 ★272 ❝0 2026-10-19

MemT-1.0: Towards Memory-Native Evolution

MemT-1.0 把记忆做成模型计算的一部分，基于 Gated DeltaNet-2 和混合存储扩展原生记忆容量。

MemTensor · Zhiyu Li, Zeyu Zhang, Linyun Liu +71

大语言模型高效训练与推理 arXiv 代码 HF

#70 ▲218 ★10 ❝0 2026-10-15

Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

Waypoint-OPD 借助教师 RL 训练中途的检查点，只迁移前后一致的策略变化。

机构待核实 · Bingxi Hou, Guochao Jiang, Guofeng Quan +4

强化学习高效训练与推理 arXiv 代码 HF

#73 ▲131 ★101 ❝0 2026-09-29

STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

STEPQuant 分析线性注意力循环状态量化误差在时间和空间上的影响，实现低精度状态存储。

Zhejiang University · Bingchen Yao, Haobo Xu, Haokun Lin +6

高效训练与推理 arXiv 代码 HF

#75 ▲38 ★115 ❝6 2026-09-21

Harness-Zero: Harness Distillation via Agent-as-Harness

Harness-Zero 把专用 Agent 框架带来的能力蒸馏进模型权重，换成通用框架也不掉点。

Peking University · Haoran Ye, Yuxing Lu, Haonan Dong +2

智能体高效训练与推理 arXiv 代码 HF

#77 ▲205 ❝1 2026-09-28

On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics

在受控实验中分离 on-policy 与 off-policy 蒸馏的作用，发现结论比“on-policy 总更好”复杂。

University of Cambridge · Julianna Piskorz, Antonin Berthon, Mihaela van der Schaar

高效训练与推理推理 arXiv HF

#81 ▲75 ★763 ❝0 2026-09-26

MassAlloc Attention: Let Attention Allocate Its Own Compute

MALA 注意力按每个位置的贡献自适应分配计算，跳过贡献极小的部分以提速。

Beijing Academy of Artificial Intelligence · Jingze Shi, Zhangyang Peng, Xianduo Li +6

高效训练与推理 arXiv 代码 HF

#82 ▲30 ★224 ❝19 2026-09-21

Jev-Mem: System-One-Controlled Agentic Memory for Efficient AI Agents

Jev-Mem 用快速的 System 1 控制面管理 Agent 记忆，把昂贵的生成移出记忆操作的关键路径。

机构待核实 · Dongming Jiang, Yi Li, Bingzhe Li

智能体高效训练与推理 arXiv 代码 HF

#84 ▲62 ★102 ❝1 2026-09-28

Improving Test-Time Scaling with Adaptive Looped Transformers

研究循环 Transformer 在测试时扩展中的表现，并提出自适应循环以在同等算力下胜过基线。

Tsinghua-NICS-EFC · Yichen You, Tianyu Fu, Aosong Feng +4

推理高效训练与推理 arXiv 代码 HF

#90 ▲327 ❝0 2026-09-26

Scaling Properties of Same-Family On-Policy Distillation

研究同族模型间在线策略蒸馏的扩展规律：训练早期准确率随 KL 距离近似线性上升。

Zhejiang University · Yuntai Bao, Qinfeng Li, Guoqing Jiang +5

高效训练与推理强化学习 arXiv HF

#92 ▲67 ★763 ❝0 2026-09-26

CoWindow Attention: Full Causal Coverage Is a Collective Property

CoWA 注意力让不同 KV 头分摊远程历史，各头稀疏但合起来仍完整覆盖因果上下文。

Beijing Academy of Artificial Intelligence · Jingze Shi, Zhangyang Peng, Xianduo Li +6

高效训练与推理 arXiv 代码 HF

#102 ▲70 ★91 ❝0 2026-10-06

VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs

VisionWeave 让多模态模型端到端学会按内容分配视觉 token 粒度，细节处多给、简单处少给。

Qwen · Yuan Feng, Qize Yang, Ruizhe Chen +9

多模态高效训练与推理 arXiv 代码 HF

#104 ▲80 ★49 ❝0 2026-10-03

ALoDLM: Adaptively Looped Diffusion Language Models

ALoDLM 在扩散语言模型中按 token 难度自适应循环计算，缩小与自回归模型的质量差距。

Amazon · Liancheng Fang, Zhuowei Li, Youngeun Kim +10

大语言模型高效训练与推理 arXiv 代码 HF

#105 ▲44 ❝40 2026-09-22

JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

用只做决策的轻量评审模型做第一轮打分，没把握时再升级给大模型，成本仅为后者的零头。

Carnegie Mellon University · Yubo Li, Yidi Miao, Ramayya Krishnan +1

评测与数据高效训练与推理 arXiv HF

#106 ▲124 ★30 ❝0 2026-09-30

FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation

FrameMorrow 用“前瞻 token”按未来需要挑选历史帧，提升长视频生成的效率和一致性。

National University of Singapore · Bo Yin, Xiaobin Hu, Jiaqi Zhao +1

视觉生成高效训练与推理 arXiv 代码 HF

#109 ▲30 ★2.1k ❝0 2026-10-06

NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

NeMo-DCR 只传输每步变化的约 1% 权重并保证比特级一致，加速万亿参数 Agent RL 的权重同步。

NVIDIA · Songlin Jiang, Zhiyu Li, Terry Kong +5

高效训练与推理强化学习 arXiv 代码 HF

#115 ▲52 ★51 ❝5 2026-10-01

Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens

让机器人 Agent 把动作原语组合成可本地重试的 Python 代码块，成功率更高、token 用量更少。

DAGroup-PKU · Ruiyang Si, Jianxin Bi, Shunyu Yang +12

机器人与具身智能体高效训练与推理 arXiv 代码 HF

#119 ▲120 ❝1 2026-09-30

Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents

Mid-Harness 在模型与执行框架之间先采样并验证候选命令再执行，提高终端 Agent 的可靠性。

NVIDIA · Minki Kang, Ryo Hachiuma, Shaokun Zhang +8

智能体高效训练与推理 arXiv HF

#120 ▲251 ❝0 2026-10-09

Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation

在多教师在线蒸馏中加入跨教师“护栏”，减少不同领域教师之间的梯度冲突。

jingdong · Shi-Yu Tian, Yong Liu, Ximan Liu +10

高效训练与推理 arXiv HF

#129 ▲237 ❝0 2026-10-19

Scaling Parameter-Efficient Fine-Tuning for Brain Encoding

用参数高效微调把最大 104B 的多模态模型适配到脑编码任务，更准确地预测大脑对刺激的反应。

Mind Lab · Zhuofan Josh Ying, Guanglong Sun, Nolan Ho +6

AI for Science 高效训练与推理 arXiv HF

#131 ▲76 ★34 ❝1 2026-10-04

SearchJev: A Fast and Calibrated System-1 Model for Search Agents

SearchJev 是快速且校准良好的 System 1 模型，专门替搜索 Agent 做相关性和下一步动作的判断。

机构待核实 · Congfeng Cao, Lipeng Zuo, Konstantinos Papakostas +6

智能体高效训练与推理 arXiv 代码 HF

#135 ▲47 ★215 ❝1 2026-10-20

SolarRenderer: Few-Step Generative Reference Rendering

SolarRenderer 给冻结的视频大模型加两个 LoRA，把游戏引擎粗结构视频四步渲染成真实画面，并支持实时流式。

Show Lab · Guian Fang, Shengju Qian, Dongyue Lu +6

视觉生成高效训练与推理 arXiv 代码 HF

#139 ▲152 ❝0 2026-10-05

LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches

LoGRA 用低秩梯度草图压缩 RL 后训练的显存，并按预测 KL 控制步长保持稳定。

NVIDIA · Shaokun Zhang, Yifan Zhang, Jian Hu +5

强化学习高效训练与推理 arXiv HF

#147 ▲92 ★28 ❝0 2026-09-22

Disaggregated Quantization: Specializing LLM Prefill and Decode

分离式量化：为预填充和解码两个阶段分别定制计算格式与权重，兼顾速度和精度。

IST Austria Distributed Algorithms and Systems Lab · Andrei Panferov, Maximilian Kleinegger, Sweta Priyadarshi +2

高效训练与推理 arXiv 代码 HF

#153 ▲90 ★26 ❝0 2026-10-07

GRACE: Generation-aware latent compression for efficient video generation

GRACE 在保持与预训练 DiT 兼容的前提下进一步压缩视频潜空间，加速视频生成。

KAIST AI · Jiyoung Kim, Paul Hyunbin Cho, Jisu Nam +5

视觉生成高效训练与推理 arXiv 代码 HF

#154 ▲64 ★20 ❝0 2026-10-14

ActionOPD: Distilling Decisions, Not Tokens

ActionOPD 以“动作”而不是 token 为单位做在线蒸馏，把大模型 Agent 的决策能力迁移给小模型。

Tsinghua-NICS-EFC · Huining Yuan, Xiangmin Yi, Zelai Xu +5

智能体高效训练与推理 arXiv 代码 HF

#159 ▲93 ★21 ❝0 2026-10-15

Speculative Forcing for Efficient Autoregressive Video Generation

推测式强制把中间去噪结果当草稿，提前接受已收敛的 token，加速自回归视频生成。

NAVER AI Lab · Hyunwook Choi, Seungryong Kim, Dongyoon Han +1

视觉生成高效训练与推理 arXiv 代码 HF

#163 ▲93 ★29 ❝0 2026-09-29

SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation

SAKI 用 KL 约束的教师引导采样和最大耦合来分配蒸馏监督，帮助弱学生模型学习。

meituan · Miteto Wei, Xiaohan Wang, Zehao Chen +7

高效训练与推理 arXiv 代码 HF

#165 ▲98 ❝1 2026-10-01

World Action Modeling with Progressive Visual Planning

ProWAM 预测动作和一串稀疏的视觉子目标，比生成整段视频更高效地引导长程操作。

Meta · Fei Zhang, Zhaochong An, Duncan Frost +5

机器人与具身高效训练与推理 arXiv HF

#166 ▲21 ★619 ❝1 2026-10-04

Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Prism 动态稀疏注意力聚焦发声区域，用于原生 2K 音视频联合生成模型的训练。

Tencent Hunyuan · Shuyuan Tu, Qi Tian, Yinming Huang +8

视觉生成高效训练与推理 arXiv 代码 HF

#169 ▲118 ★5 ❝0 2026-10-13

Pack Light, CarryOn: Building Object-Oriented Context for Long-Horizon Agents

CarryOn 以可复用的“任务对象”组织长程 Agent 的上下文，而不是反复读历史记录。

McAuley-Lab · Yuchen Lu, Julian McAuley, Lei Zhang

智能体高效训练与推理 arXiv 代码 HF

#173 ▲57 ★19 ❝0 2026-09-16

RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation

RayOrch 是为基础模型数据准备设计的分布式数据流引擎，保留父子数据关系并高效批处理。

Peking University · Xiaochen Ma, Zimo Meng, Junzhu Liang +13

高效训练与推理 arXiv 代码 HF

#179 ▲46 ★46 ❝0 2026-10-05

MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers

MC-Sparse 免训练地逐个挑选 KV token 并缓存补偿，缩小扩散 Transformer 稀疏与稠密注意力的质量差。

Tencent Hunyuan · Jiarui Chen, Zeqiang Lai, Jiangshan Wang +5

视觉生成高效训练与推理 arXiv 代码 HF

#182 ▲103 ★7 ❝0 2026-09-26

Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs

HeteroFold 让不同家族的大模型之间直接传递 KV 缓存，多智能体协作时免去重复预填充。

University of Southern California · Vincent-Daniel Yun, Woosang Lim, Haneul Yoo +3

高效训练与推理智能体 arXiv 代码 HF

#184 ▲81 ★30 ❝0 2026-09-26

DoSA: Dots Sparse Attention

DoSA 用上下界证明提前排除不可能入选的 key，在不改变 Top-K 结果的前提下加速稀疏注意力。

dots studio · Fanxu Meng, Taosong Fang

高效训练与推理 arXiv 代码 HF

#189 ▲23 ★2.9k ❝0 2026-10-05

RealtimeWAM: One-Step Asynchronous World Action Models

RealtimeWAM 一步生成动作并异步推理，让世界-动作模型满足实时控制需求。

Nanyang Technological University · Chengtao Lv, Jinyang Du, Shuyi Feng +7

机器人与具身高效训练与推理 arXiv 代码 HF

#191 ▲56 ★12 ❝2 2026-09-21

All-in-One Multilingual Scene Text Recognition with Script-aware Mixture-of-Experts

用按文字体系分路的混合专家，做一个比逐语言模型简单、比大视觉语言模型轻的多语种场景文字识别器。

Fudan University · Xingsong Ye, Yongkun Du, Jiaxin Zhang +6

视觉理解与 3D 高效训练与推理 arXiv 代码 HF

#196 ▲108 ❝0 2026-09-28

Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression

发现分块 KV 缓存压缩带来“相位敏感”：信息在压缩窗口中的位置不同，检索准确率差异明显。

ByteDance Seed · Xingyu Zhu, Pu, Yi +6

高效训练与推理 arXiv HF

#197 ▲82 ★13 ❝0 2026-10-14

LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation

LatentLoop 发现循环 MoE 中两次循环作用不对称，据此非对称分配算力以提升效果。

机构待核实 · Zefeng He, Yunkai Chai, Xiaoyang Chen +5

高效训练与推理 arXiv 代码 HF

#199 ▲84 ★10 ❝0 2026-10-14

Speculative Sampling in Interactive Video Generation

交互式视频生成中的“推测采样”：用大窗口预测并缓存结果，兼顾画质与低延迟。

university of science and technology of china · Yubo Huang, Yuxuan Zhang, Jiaming Liu +2

视觉生成高效训练与推理 arXiv 代码 HF

#201 ▲35 ★49 ❝3 2026-10-05

Towards Looped Models Done Right, Part II: Rethinking at Fixed Points

循环语言模型的状态越接近不动点，训练、解码和强化学习都能走捷径，从而大幅省算力。

Institute of Foundation Models · Benhao Huang, Chufan Shi, Junlin Chen +4

高效训练与推理大语言模型 arXiv 代码 HF

#217 ▲58 ★38 ❝0 2026-10-12

AReA: Adaptive Receptive-Field Attention for Efficient High-Resolution Diffusion Transformers

AReA 让扩散 Transformer 的注意力感受野随去噪步骤自适应收窄，更省算力地生成超高分辨率图像。

University of Toronto Computer Science · Javad Rajabi, Koorosh Roohi, David B. Lindell +1

视觉生成高效训练与推理 arXiv 代码 HF

#220 ▲91 ★4 ❝0 2026-10-14

Recovering Reliable Supervision via Critique-Guided On-Policy Distillation

CriticOPD 在在线蒸馏中先让教师点评学生的错误再改写，解决教师跟着学生错下去的问题。

机构待核实 · Kaixiang Zhao, Tianrun Yu, Shangzhe Li +4

高效训练与推理推理 arXiv 代码 HF

#229 ▲80 ★2 ❝1 2026-09-26

X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization

X-Tree 像分词器一样从轨迹中提取可复用的子流程，把分层经验直接训练进智能体权重。

University of Waterloo · Sitao Cheng, Xunjian Yin, Zhiyuan Sun +4

智能体高效训练与推理 arXiv 代码 HF

#230 ▲50 ★37 ❝0 2026-10-09

Multi-Stream Attention Residuals

多流注意力残差把“沿网络深度的注意力”扩展为多头形式，以很小开销带来明显提升。

Shanghai Jiao Tong University · Xiaohan Qin, Xiangdong Zhang, Tuo Dai +7

大语言模型高效训练与推理 arXiv 代码 HF

#231 ▲41 ★123 ❝0 2026-10-13

FlashVSR+: Efficient Video Super-Resolution via Hybrid Attention and Reward-Yield Distribution Matching

FlashVSR+ 用混合注意力和偏好对齐的分布匹配，让一步式视频超分辨率更快、更符合人眼偏好。

MMLab-CUHK · Ruchang Yao, Shi Guo, Junhao Zhuang +7

视觉生成高效训练与推理 arXiv 代码 HF

#232 ▲25 ★826 ❝0 2026-10-15

Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling

Intern-Decision 系列小模型直接输出结构化选项及其概率，替代逐字生成，让智能体决策更快。

Intern Large Models · Tong Zhu, Zhe Xu, Zefeng He +7

多模态智能体高效训练与推理 arXiv 代码 HF

#235 ▲91 ❝0 2026-10-06

TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

Qwen 团队的 TRACE 对齐训练与 rollout 两条 FP4 量化路径，用于 MoE 大模型的低精度强化学习。

Qwen · Xin Wang, Hao Yu, Zhengyang Zhuge +9

高效训练与推理强化学习大语言模型 arXiv HF

#242 ▲80 ★6 2026-10-19

SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum

SpecMRL 用参数导出的谱基重排特征，让俄罗斯套娃式表示的前缀维度更好地承载关键信息。

机构待核实 · Zhongxin Chen, Songhao Wu, Heng Cui +3

高效训练与推理 arXiv 代码 HF

#255 ▲68 ★10 ❝0 2026-09-29

E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models

E-MoE 用增强的混合专家改进非分解式扩散语言模型，提升少步解码质量并避免后验坍塌。

机构待核实 · Arseny Ivanov, Alexander Kolesov, Alexander Korotin +2

大语言模型高效训练与推理 arXiv 代码 HF

#257 ▲65 ★12 ❝0 2026-09-28

PDE-JEPA: Predictive Representation Learning of Latent Dynamics Modeling for Parametric PDEs

PDE-JEPA 用预测式表示预训练学习参数化偏微分方程的潜在动力学，替代重建式目标。

Zhejiang University · Zhentao Tan, Jianrong Zhang, Ruijie Quan +1

AI for Science 高效训练与推理 arXiv 代码 HF

#269 ▲73 ❝0 2026-10-14

Cortex: Consolidating Context into Parametric Memory

Cortex 借鉴生物记忆巩固，把上下文带来的能力提升内化进模型参数，移除上下文后仍保留。

ByteDance Seed · Jintian Zhang, Feng He, Xinnian Liang +5

大语言模型高效训练与推理 arXiv HF

#272 ▲38 ★10 ❝0 2026-10-01

Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents

SSR 让小模型从预设推理候选中“选择”而不是自由生成，降低多模态搜索 Agent 的推理成本。

Carnegie Mellon University · Feiyu Gavin Zhu, Xiaoyu Zhu, Jiqi Yang +9

推理高效训练与推理智能体 arXiv 代码 HF

#273 ▲60 ★9 ❝0 2026-10-18

VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse

VLA-Rolling 复用上一段未执行的动作尾巴作为去噪起点，用更少步数生成动作，冻结模型即可提速并提高成功率。

ZJU-OmniAI · Sicheng He, Yi Pan, Qiuting Yu +10

机器人与具身高效训练与推理 arXiv 代码 HF

#282 ▲32 ★43 ❝0 2026-10-16

DLite: History-free Speculative Decoding for Agentic AI

DLite 是不保留历史上下文的推测解码：直接复用目标模型隐藏状态做局部草稿，适合上下文不断增长的智能体任务。

Shanghai Jiao Tong University · Jiaming Xu, Hanzhen Wang, Tianlang Zhao +7

高效训练与推理智能体 arXiv 代码 HF

#297 ▲22 ★9 ❝0 2026-10-06

Consistent Distribution Matching for Data-Free Diffusion Distillation

提出无需数据和教师采样的扩散蒸馏方法，单个学生网络同时生成样本和估计分数，一步生成即达很低 FID。

Vector Institute · Yuxiang Fu, Qi Yan, Zike Wu +4

视觉生成高效训练与推理 arXiv 代码 HF

#304 ▲28 2026-10-19

Kronecker Delta Rule for Long Context Linear Attention

KronLSTM 提出克罗内克 Delta 规则，只沿单一方向修正记忆矩阵，让长上下文线性注意力更稳定。

NX-AI · Anamaria-Roberta Hartl, Levente Zólyomi, Michael List +3

高效训练与推理大语言模型 arXiv HF

#307 ▲22 2026-10-19

SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration

SpecKCast 在频域用卡尔曼滤波预测扩散 Transformer 输出，不确定性高时才真算一次，无需训练即可加速。

Samsung Research · Javad Rajabi, Hakki Can Karaimer, David B. Lindell +2

视觉生成高效训练与推理 arXiv HF

在归档中检索该主题 →