TOPIC · LLM · 27 PAPERS

大语言模型

大语言模型推理对齐智能体多模态视觉生成视觉理解与 3D 机器人与具身高效训练与推理安全与可解释 AI for Science 代码与软件工程评测与数据强化学习

近 30 天 27

#05 ▲371 ★115 ❝2 2026-10-13

Jeva: System One Models from First Principles

提出“决策原生”的 System 1 模型 Jeva：直接给候选项打分，而不是逐字生成答案，更快且可缓存。

National University of Singapore · Qi Li, Xinchao Wang

大语言模型高效训练与推理 arXiv 代码 HF

#21 ▲240 ★227 ❝0 2026-09-19

OmniEdu: Open Foundation Models for Learning and Teaching

OmniEdu 是面向中小学教与学的开源基础模型家族，覆盖解题、课程对齐、学情诊断和教学引导。

Peking University · Hao Liang, Qihan Lin, Meiyi Qiang +5

大语言模型 arXiv 代码 HF

#35 ▲273 ★18 ❝0 2026-09-24

Post-Training Leaves Behavioral Shadows on Unrelated Decisions

发现后训练会在无关输出上留下“行为影子”，每个提示只需教师一个词就能把能力迁移给学生。

Peking University · Ziyang Zhang, Yubin Jing, Yuanhao Zeng +3

大语言模型安全与可解释 arXiv 代码 HF

#38 ▲21 ★2.8k ❝22 2026-09-29

TabFM: A Zero-Shot Foundation Model for Tabular Data

TabFM 是 4 亿参数的表格基础模型，全靠合成数据训练，单次前向即可零样本预测。

Google · Weihao Kong, Erez Louidor Ilan, Shuxin Nie +6

大语言模型评测与数据 arXiv 代码 HF

#43 ▲241 ★9 ❝0 2026-10-08

Thinking Inertia: LLMs Keep Thinking When Told Not To

发现大模型即使被要求“不思考”仍会偷偷推理，并提出衡量“无思考”行为的三级指标。

Stanford University · Dianqiao Lei, Kevin Qinghong Lin, Pan Lu +2

推理大语言模型 arXiv 代码 HF

#48 ▲47 ★742 ❝2 2026-09-29

Context Language Models

上下文语言模型把上下文当成可自由编辑的文件，自己决定保留什么，以更少算力取得更高准确率。

Meta · Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin +10

大语言模型智能体 arXiv 代码 HF

#60 ▲119 ★272 ❝0 2026-10-19

MemT-1.0: Towards Memory-Native Evolution

MemT-1.0 把记忆做成模型计算的一部分，基于 Gated DeltaNet-2 和混合存储扩展原生记忆容量。

MemTensor · Zhiyu Li, Zeyu Zhang, Linyun Liu +71

大语言模型高效训练与推理 arXiv 代码 HF

#104 ▲80 ★49 ❝0 2026-10-03

ALoDLM: Adaptively Looped Diffusion Language Models

ALoDLM 在扩散语言模型中按 token 难度自适应循环计算，缩小与自回归模型的质量差距。

Amazon · Liancheng Fang, Zhuowei Li, Youngeun Kim +10

大语言模型高效训练与推理 arXiv 代码 HF

#111 ▲92 ❝6 2026-10-08

MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement

小米 MiMo-V2.6 全模态模型技术报告，重点是从多个维度扩大强化学习算力以实现自我提升。

Xiaomi MiMo · Xiaomi LLM-Core Team, :, Zongming Qiao +147

大语言模型强化学习多模态 arXiv HF

#118 ▲32 ★945 ❝0 2026-10-06

Recurrent Looped Transformer

循环 Transformer 新结构 RLT 让计算深度随序列增长，奇偶校验等任务可泛化到远超训练长度。

Princeton University · Yifan Zhang, Jichen Feng, Shihan Qin +2

大语言模型推理 arXiv 代码 HF

#122 ▲92 ★62 ❝0 2026-10-01

Hierarchical Continuous Diffusion Language Models

分层连续扩散语言模型在连续状态去噪的同时约束到合法 token，改善并行解码的一致性。

University of Illinois at Urbana-Champaign · Hui Ren, Zihan Li, Chang Liu +2

大语言模型 arXiv 代码 HF

#138 ▲88 ★30 ❝0 2026-10-10

Vela: User Behavior as Supervision Sparks LLM Intelligence

Vela 把真实用户长期行为记录当作监督信号，提升大模型推断偏好、意图和未来行为的能力。

AllSpark Research · Yang Xiao, Yusong Sun, Haoyi Wu +17

大语言模型 arXiv 代码 HF

#144 ▲33 ★141 ❝4 2026-09-21

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

大模型在心理健康领域应用的综述，梳理从模式识别到个性化陪伴的演进脉络。

机构待核实 · He Hu, Yucheng Zhou, Qianning Wang +8

大语言模型 AI for Science arXiv 代码 HF

#201 ▲35 ★49 ❝3 2026-10-05

Towards Looped Models Done Right, Part II: Rethinking at Fixed Points

循环语言模型的状态越接近不动点，训练、解码和强化学习都能走捷径，从而大幅省算力。

Institute of Foundation Models · Benhao Huang, Chufan Shi, Junlin Chen +4

高效训练与推理大语言模型 arXiv 代码 HF

#214 ▲148 ❝0 2026-10-20

PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking

PAR 让循环语言模型每轮迭代对齐“已完成的步数”并锚定状态范数，状态追踪任务可外推到训练长度的 16 倍。

ant-international · Pan Wang, Yihao Hu, Guangyuan Dong +8

大语言模型推理 arXiv HF

#222 ▲101 ❝0 2026-09-29

Follow the Entities: A Corpus Map for Agentic Search

微软为大型文档库构建以实体为线索的“语料地图”，帮助智能体搜索跨文档的证据。

Microsoft · Soyeong Jeong, Sujay Kumar Jauhar, Sung Ju Hwang +1

智能体大语言模型 arXiv HF

#230 ▲50 ★37 ❝0 2026-10-09

Multi-Stream Attention Residuals

多流注意力残差把“沿网络深度的注意力”扩展为多头形式，以很小开销带来明显提升。

Shanghai Jiao Tong University · Xiaohan Qin, Xiangdong Zhang, Tuo Dai +7

大语言模型高效训练与推理 arXiv 代码 HF

#235 ▲91 ❝0 2026-10-06

TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

Qwen 团队的 TRACE 对齐训练与 rollout 两条 FP4 量化路径，用于 MoE 大模型的低精度强化学习。

Qwen · Xin Wang, Hao Yu, Zhengyang Zhuge +9

高效训练与推理强化学习大语言模型 arXiv HF

#236 ▲27 ★187 ❝1 2026-10-06

On KL-Regularized Policy Optimization

KLPO 把 KL 正则锚定在采样策略上，处理异步强化学习中策略过期和推理/训练概率不一致的问题。

math-ai · Yifan Zhang

强化学习大语言模型 arXiv 代码 HF

#240 ▲41 ★14 ❝0 2026-10-15

AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning

清华 AutoSFT 给智能体一整套数据操作（配比、剪枝、修复、合成），自动做监督微调的数据研究。

Tsinghua NLP Group · Bingxiang He, Pengqi Sun, Shihao Peng +18

智能体大语言模型 arXiv 代码 HF

#255 ▲68 ★10 ❝0 2026-09-29

E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models

E-MoE 用增强的混合专家改进非分解式扩散语言模型，提升少步解码质量并避免后验坍塌。

机构待核实 · Arseny Ivanov, Alexander Kolesov, Alexander Korotin +2

大语言模型高效训练与推理 arXiv 代码 HF

#259 ▲79 ★3 ❝0 2026-10-13

Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders

ReMaRk 让大模型推荐器的 GRPO 训练对所有回复的并集打分，消除随机抽一个回复带来的噪声。

Nanyang Technological University · Xin Li, Hao Jiang, Jinghao Guo +2

强化学习大语言模型 arXiv 代码 HF

#266 ▲54 ★11 ❝0 2026-10-06

U-Space: Uncovering When and Why Uncertainty Arises in Language Models

U-Space 分析语言模型的不确定性在何时、为何产生，帮助判断单个回答是否可信。

Multimodal AI Lab - Technical University of Darmstadt · Tobias Braun, Nils Loose, Alexander Herzog +4

安全与可解释大语言模型 arXiv 代码 HF

#269 ▲73 ❝0 2026-10-14

Cortex: Consolidating Context into Parametric Memory

Cortex 借鉴生物记忆巩固，把上下文带来的能力提升内化进模型参数，移除上下文后仍保留。

ByteDance Seed · Jintian Zhang, Feng He, Xinnian Liang +5

大语言模型高效训练与推理 arXiv HF

#271 ▲68 ★5 ❝0 2026-10-18

CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow?

CoEvo-RSI 研究模型与执行框架（harness）共同进化时的“脑体不匹配”，由元智能体协调框架演化和模型选择。

机构待核实 · Jiaqi Su, Guibin Zhang, Jie-Jing Shao +5

智能体大语言模型 arXiv 代码 HF

#278 ▲55 ★6 ❝0 2026-10-15

Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics

提出“词汇参照系”，借模型自身后续层读出中间隐藏状态的含义，比 logit lens 等方法更忠实。

机构待核实 · Jian Gu, Hongyu Zhang, Chunyang Chen +1

安全与可解释大语言模型 arXiv 代码 HF

#304 ▲28 2026-10-19

Kronecker Delta Rule for Long Context Linear Attention

KronLSTM 提出克罗内克 Delta 规则，只沿单一方向修正记忆矩阵，让长上下文线性注意力更稳定。

NX-AI · Anamaria-Roberta Hartl, Levente Zólyomi, Michael List +3

高效训练与推理大语言模型 arXiv HF

在归档中检索该主题 →