大模型是什么？一文看懂大语言模型（LLM）

一句话回答

大语言模型（Large Language Model，LLM），就是一个用海量文本训练出来的超大神经网络，它只被训练做一件事：给定一段文字，预测接下来是什么。 ChatGPT、Claude、Gemini、DeepSeek、通义千问、Llama 都建立在这个思路上。

这听起来太简单，不像能解释一个会写代码、会总结合同、会规划行程的助手。过去几年最大的意外就是：当模型足够大、训练文本足够多时，为了把“下一个是什么”猜得足够准，它不得不顺带学会语法、事实、推理方式，甚至编程。

第一步：文字变成 token

模型不是一个字一个字、也不是一个词一个词地读。文本先被切成 token：常见词、词的一部分或标点。英文 “Unbelievable!” 可能被切成 Un believ able !；中文里一个 token 常常对应一到两个汉字。每个 token 对应一个编号，每个编号再对应一串数字（向量），网络就拿这些向量做计算。下一课 Token 与 Embedding 会详细讲。

第二步：一遍又一遍地预测下一个 token

根据已有的 token，模型会给词表里每一个 token 算出一个概率。对“法国的首都是”，“巴黎”的概率非常高。程序选出一个 token（通常是最可能的几个之一），接在后面，再重复。一段长回答，就是这个循环跑了成百上千次。

flowchart LR
  A["你的提问"] --> B["切分成 token"]
  B --> C["神经网络（Transformer）"]
  C --> D["下一个 token 的概率"]
  D --> E["选出一个 token"]
  E -->|"接上去，再来一轮"| C
  E --> F["逐个 token 生成回答"]

几乎所有大模型用的网络结构都是 Transformer，由 Google 研究者在 2017 年提出（Vaswani 等）。它的核心是“注意力”：每个 token 都能回头看前面所有 token，决定哪些更重要。详见 Transformer 与注意力机制。

第三步：“参数”和“训练”是什么意思

网络里有大量参数（也叫权重）：数十亿个数字，决定了输入的 token 如何一步步变成预测。训练前它们是随机的，模型只会输出乱码。

训练就是给模型看数万亿个 token 的文本（网页、书籍、代码、论文），在每个位置把它的预测和真正的下一个 token 比较，再用“梯度下降”把每个参数都微调一点点，让正确答案下次的概率高一点（见 机器是怎么“学习”的）。在成千上万块 GPU 上重复数万亿次，参数里就压缩存下了它见过的文本的统计规律。

由此带来两个实际后果：

• 模型的知识存在参数里，不是一个可以检索的数据库。除非给它工具，否则它没法“去查一下”；训练数据收集之后发生的事，它也不知道（这就是知识截止日期）。
• 一般来说越大越强，但有上限。Kaplan 等（2020） 发现，随着参数、数据和算力增长，预测误差会平滑下降。GPT-3（Brown 等，2020）有 1750 亿参数，并证明只要在提示里给几个例子，它就能完成新任务。

第四步：从“续写机器”到“助手”

只学过续写网络文本的模型叫基座模型，它并不是好助手：你问它一个问题，它可能接着写出更多问题。聊天助手还要经过额外训练：

1. 指令微调：用“请求 + 优质回答”的示例继续训练。
2. **基于人类反馈的强化学习（RLHF）**或类似方法：由人（或其他模型）给多个回答排序，把模型往更受欢迎的方向推。OpenAI 的 InstructGPT 论文（Ouyang 等，2022）显示，这样调教过的小得多的模型，比原始的 1750 亿参数 GPT-3 更受人们青睐。

这些阶段在 大模型如何学习 一课中详细展开。

大模型擅长什么、在哪里会失败

大多数短板靠的不是更大的模型，而是给模型配工具：搜索引擎或文档库（RAG）、代码解释器，或者其他可以调用的软件（工具调用与 MCP）。在循环中自己挑选工具、一步步完成目标的模型，就叫 Agent（智能体）（AI Agent 工作原理）。

开源与闭源模型

有些公司只通过 API 或应用提供模型（闭源，如 GPT、Claude、Gemini）；另一些公开训练好的参数，任何人都能运行（开放权重，如 Llama、通义千问、DeepSeek、Mistral、Gemma）。用 Ollama 或 LM Studio 就能在笔记本上跑开放权重模型，你会直观地看到：大模型“不过是”一个装满数字的大文件，加上一个跑预测循环的程序。

动手试试

1. 把同一个开放式问题问三遍。答案不一样，因为下一个 token 是按概率采样出来的，而不是固定的。
2. 问一件刚发生的事，看它是承认不知道，还是编一个答案。
3. 让它算两个六位数相乘，再用计算器核对。

这三个小实验对应本课的核心事实：大模型预测的是“可能的文本”，有知识截止日期，也会自信地出错。这正是后面整套课程要解决的问题。