1.3 大模型的生成和训练机制.md 7.5 KB
作为应用型AI产品经理，你不需要了解大模型的算法细节，但是理解大模型的底层运作机制，能帮助你更好地设计产品、评估技术可行性、与研发团队高效沟通。
一、大模型是如何生成内容的？
当你输入"今天天气真"，模型会计算下一个最可能出现的字——"好"。
然后把"今天天气真好"作为新输入，再预测下一个字……
如此循环，就生成了一整段流畅的文字。
大语言模型的本质，就是一个超级强大的"文字接龙"机器。
（一）分词（Tokenization）
计算机看不懂人类的文字，需要把长句子切分成最小单位Token（词元）。例如：句子 I love playing games 会被切分成 I love playing games。然后通过词汇表将每个词映射成一个数字，送入模型。
词汇表是模型的"字典"，包含了模型能够识别和处理的所有 Token。 通常包含几万到几十万个 Token，包括常见的单词、汉字、标点符号,还有常见的词组、数字、甚至 emoji 表情。 每个 Token 都对应一个唯一的数字 ID。例如：I：40，love：3047
Token计算器： https://platform.openai.com/tokenizer
（二）自回归生成
当你输入"今天天气真好"，模型并不是一次性输出完整回答，而是一个字一个字地生成。这个过程叫做自回归生成（Autoregressive Generation）。
具体流程如下：
模型接收到输入"今天天气真好"，计算出下一个token的概率分布，并从中选择最合适的token进行生成（假设是”，“。
将"今天天气真好，"作为新的输入，再预测下一个Token（假设是"适"）。
继续循环：输入变成"今天天气真好，适"，预测"合"……
直到模型输出特殊的结束符号（EOS），或达到设定的最大长度，生成过程才停止。
二、大模型是怎么"学会"语言的？
预训练（Pre-training）和后训练（Post-training）是构建一个强大、实用且安全的人工智能模型的两个核心阶段。
- 预训练（学习各种知识）
学习认字、语法、常识、逻辑，吸收大量的知识，但还不知道怎么用。
- 后训练（学习和人沟通）
学习如何与人沟通（礼貌、服从指令），遵守社会规则（不说脏话、不违法），成为一个讨人喜欢的助手。
（一）预训练（Pre-training）
- 概念
预训练是模型生命的起点。它是指在一个随机初始化的神经网络模型上，使用海量的、未标注的数据（如整个互联网的网页、书籍、维基百科、代码库）进行长时间的训练。这个阶段产出的模型被称为“基座模型”（Base Model），例如 GPT-3、Llama 3 的 Base 版本。
- 原理
预训练的核心原理是模型在大量无标注数据上进行自监督学习，通过将被遮蔽的词或下一个词作为标签来学习语言的的统计规律与语义标识。
训练数据示例所示：
| 输入 | 标签 |
|---|---|
| 白日依山 | 尽 |
| 白日依山尽 | ， |
| 白日依山尽， | 黄 |
| …. | ….. |
如果预测对了，模型不会调整参数；如果预测错了，模型内部的参数（权重）就会根据数学算法（反向传播）进行微小的调整降低损失。
经过几万亿个词的训练后，模型不仅学会了语法，还“记住”了世界上大部分的知识，甚至涌现出了基础的逻辑推理能力。
（二） 后训练（Post-training）
- 概念
后训练主要是指人类对齐（Human Alignment）。即使经过了微调的问答训练，模型可能依然会产生有害内容（如教人做炸弹），或者回答啰嗦、不符合人类偏好。后训练就是为了纠正这些行为，塑造模型的“价值观”。
注：在目前大模型（特别是 OpenAI 等头部公司的语境）中，“后训练”是一个更宽泛的概念，它通常包含了指令微调（SFT）以及后续的“对齐（Alignment）”阶段。它的核心目的是将一个聪明的模型变成一个“安全、有用、讨人喜欢”的 AI 助手（如 ChatGPT）。
- 原理
后训练最核心的机制是监督学习（Supervised Learning）、基于人类反馈的强化学习（RLHF），或者直接偏好优化 （DPO）。
监督学习：
指令微调 (SFT - Supervised Fine-Tuning)：告诉模型应该如何回答问题。
数据示例：
Input: "中国的首都在哪？" ->Output: "中国的首都是北京。"模型通过学习这些对答，从“文本接龙大师”转变为“问答小能手”。
高效参数微调 (PEFT - Parameter-Efficient Fine-Tuning)：因为全参数微调（改动模型所有的参数）极其昂贵，现在流行LoRA (Low-Rank Adaptation) 等技术。
- LoRA 原理：冻结原本预训练好的庞大模型参数，在旁边外挂一个非常小的“补丁模块”。训练时只更新这个小模块的参数。就像在不修改原版百科全书的情况下，在旁边贴了张小纸条。
- LoRA 原理：冻结原本预训练好的庞大模型参数，在旁边外挂一个非常小的“补丁模块”。训练时只更新这个小模块的参数。就像在不修改原版百科全书的情况下，在旁边贴了张小纸条。
RLHF：
人类给出各种Prompt，让模型生成多个回答。
人类标注员对这些回答进行打分、排序（比如回答A比回答B更有礼貌且准确）。
用这些排序数据训练一个奖励模型（Reward Model），它相当于一个“AI裁判”，学会了人类的喜好标准。
最后，使用强化学习算法（如 PPO），让主模型不断去答题。如果“裁判”给高分，模型就强化这种答题策略；如果给低分，就调整策略。
DPO： 当模型输出的质量或风格不符合预期，例如会输出不安全内容等情况；或者目标数据难以大量生产或者标注，例如需要模型输出幽默风趣的句子，会消耗大量人力和时间来构建这种数据。可以使用直接偏好优化方法，来调整参数，使得模型输出和目标偏好差异减少。 它用数学方法绕过了复杂的“训练裁判（奖励模型）”和强化学习的环节。直接拿“人类喜欢的回答”和“人类讨厌的回答”去更新模型的参数，让模型在概率上倾向于生成前者，极大简化了训练流程。
- 目的与输出结果
三个核心目标（HHH标准）：Helpful（有帮助）、Honest（诚实，减少幻觉）、Harmless（无害，遵守安全红线）。
输出：经过后训练的模型被称为Chat Model（对话模型）或 Instruct Model（指令模型），这也就是我们平时使用的 ChatGPT、Kimi、豆包等最终形态。
三、Transfomer架构（可选）
有兴趣和能力的同学可观看下面的视频，进一步了解 Transfomer 架构。