大语言模型核心认知与基础概念 (LLM Fundamentals)¶

近年来，以 ChatGPT、Claude、Llama、Qwen、DeepSeek 为代表的大语言模型（Large Language Models，简称 LLM）掀起了人工智能的工业革命。

对于很多初学者来说，大模型蒙着一层神秘的面纱：“它能写诗、能写代码、甚至能通过医学和律师考试，难道它真的拥有人类一样的意识和思考能力吗？”

本文旨在为初学者剥离所有神化与黑话，用最通俗直观的生活常识，彻底拆解大语言模型的底层工作原理与核心概念。

1. 初学者视角：大模型本质到底是什么？¶

用一句话总结大语言模型的物理本质：

大语言模型本质上是一个极其庞大、超级聪明的“文字接龙（Next-Token Prediction）概率机”！

graph LR
    Input["输入前文: '床前明月光，疑是地上'"] --> LLM["大语言模型 (拥有数千亿参数的概率计算器)"]
    LLM --> P1["候选词 '霜': 概率 98.5%"]
    LLM --> P2["候选词 '金': 概率 0.8%"]
    LLM --> P3["候选词 '水': 概率 0.4%"]
    P1 --> Output["输出下一个字: '霜'"]

当你向大模型提问：“请帮我写一段冒泡排序代码”时： - 大模型并不是在脑袋里像人类程序员那样冥想逻辑； - 它是根据你给出的这句话，结合它在预训练阶段通读的全人类海量文本库，通过复杂的数学计算，预测出：在你的问题之后，最有可能紧接着出现的第一个词是什么？ - 选出第一个词后，把你的问题与这个新词拼在一起，再去预测第二个词、第三个词……直到输出特定的“结束标记”（End of Sequence），整个回答便生成完毕。

为什么简单的“文字接龙”能表现出惊人的智慧？¶

这就是物理学和计算机中常说的涌现能力（Emergence）： - 当模型参数只有几百万时，文字接龙只能拼写简单的语法词汇； - 当参数规模扩大到数百亿、数千亿（如 70B, 405B，B 代表 Billion，十亿），且训练语料达到上万亿词时，模型为了把接龙接得无比精准，被迫在神经网络内部学会了抽象、逻辑推理、常识联想与多语言翻译！

2. 核心基础设施与概念拆解¶

在阅读大模型技术文档或调用 API 时，你会频繁遇到几个核心名词：

2.1 Token 与分词器 (Tokenizer)¶

大模型底层是数学矩阵，计算机无法直接理解人类的字符，必须先把文字切碎并编号，这些切碎的基本单位就叫做 Token（词元）。

原始英文: "Learning algorithm is fun!"
切分结果: ["Learn", "ing", " algorithm", " is", " fun", "!"]
对应数字: [14205,    278,    10234,      318,    1257,  0]

分词规则（BPE 算法）：现代大模型常用 BPE（Byte-Pair Encoding，字节对编码）分词算法，高频词作为一个整体，低频词拆成词根；
经验法则：
英文中：1 个 Token \(\approx 0.75\) 个英文单词（即 100 个词约等于 130 个 Token）；
中文中：因分词器词表设计不同，通常 1 个汉字 \(\approx 1\sim 2\) 个 Token；
成本关联：所有大模型厂商（OpenAI、Anthropic、DeepSeek）的 API 计费都是严格按每 100 万 Token（/1M Tokens）消耗收费的。

2.2 词向量嵌入 (Embedding)¶

Token 只是离散的数字 ID，数字本身毫无数学语义（例如 102 代表“猫”，103 代表“狗”，计算机并不知道它们都是四条腿的宠物）。

向量嵌入（Embedding）的作用是：将每个词映射到一个高维向量空间中的坐标点（例如 4096 维浮点数数组）。

graph TD
    A["'国王' [0.82, 0.45, 0.91...]"]
    B["'王后' [0.81, 0.44, 0.22...]"]
    C["'男人' [0.40, 0.12, 0.89...]"]
    D["'女人' [0.39, 0.11, 0.21...]"]

    Note["神奇的语义空间几何运算:<br>向量('国王') - 向量('男人') + 向量('女人') ≈ 向量('王后')<br>空间距离越近的点, 语义相似度越高!"]

两个词或两句话在语义上越相似，它们在多维空间中的夹角余弦相似度（Cosine Similarity）就越接近 1。这是后续构建 RAG 知识库与智能搜索的数学基石。

2.3 上下文窗口 (Context Window)¶

上下文窗口是指大模型单次对话所能接收和记忆的文本最大长度上限（包含你发送给它的所有历史聊天记录以及它即将生成的文本）。

早期 GPT-3 只有 2K（2048）Token；
现代大模型（如 Claude 3.5, Gemini 1.5 Pro, Qwen-2.5）已经扩展到了 128K 乃至 1M ~ 2M Token（相当于一次性阅读整套《哈利波特》全集）；
为什么上下文窗口不能无限大？ Transformer 的注意力计算复杂度通常与文本长度的平方（\(\mathcal{O}(L^2)\)）成正比，上下文翻倍，显存消耗与计算延迟会急剧膨胀。

2.4 控制大模型“脾气”的生成超参数 (Hyperparameters)¶

当你调用 API 时，可以通过几个参数调节大模型的输出风格：

参数	取值范围	调控效果	适用场景推荐
Temperature (采样温度)	\(0.0 \sim 2.0\)	控制输出的随机性与创造力。温度趋近 0 时，模型永远挑选概率最高的那个词（极度理性严谨）；温度越高，低概率的冷门词越容易被选中（天马行空但易胡言乱语）。	写代码/数学计算：设为 `0.0 ~ 0.2`；写小说/头脑风暴：设为 `0.7 ~ 1.0`。
Top-P (核采样 / Nucleus)	\(0.0 \sim 1.0\)	动态截断候选词集合。若设为 `0.9`，模型会将所有候选词按概率从大到小排序，只在累积概率达到 90% 的头部候选词中进行抽样，把尾部 10% 的荒谬词汇彻底剔除。	通常保持默认 `0.8 ~ 0.95`；一般建议 Temperature 与 Top-P 只调节其中一个即可。
Top-K	整数 (如 40, 50)	静态候选词数量上限。强制只在概率最高的前 \(K\) 个词中抽样。	辅助参数，防止生成极度离谱的生僻字符。

3. 大模型诞生三部曲：它是如何被训练出来的？¶

大语言模型从零到具备高情商对话能力，必须经历三个循序渐进的阶段：

graph TD
    A["阶段 1: 预训练 (Pre-training)<br>通读全网几万亿 Token 的无标注文本"] -->|花费数月, 耗资数千万元, 消耗几千张显卡| B["基础模型 (Base Model)<br>如 Llama-3-Base: 擅长文字接龙, 但不会对话"]

    B --> C["阶段 2: 监督微调 (SFT - Supervised Fine-Tuning)<br>喂入几十万条高质量人工编写的 '问答对'"] -->|教会模型理解 '提问' 并以 '回答' 形式接龙| D["指令微调模型 (Instruct / Chat Model)<br>学会听懂指令并分点作答"]

    D --> E["阶段 3: 人类价值观对齐 (Alignment - RLHF / DPO)<br>基于人类反馈的强化学习"] -->|让模型学会安全合规, 拒绝有害要求, 减少幻觉| F["最终可用的商业大模型<br>如 ChatGPT, Claude 生产端模型"]

1. 预训练阶段 (Pre-training - 占 95% 以上成本)¶

目标：灌输全人类的语言模式与基础事实知识；
训练方式（自监督学习）：将维基百科、开源代码、学术论文、书籍全网爬取的数万亿文字切碎，遮盖住下一个词，让模型猜下一个词。猜错了就通过反向传播微调神经网络的权重；
产物：基础模型（Base Model）。它极其擅长“续写文章”，但并不懂什么是“你问我答”（你问它“北京的首都在哪？”，它可能会给你续写一堆“上海的首都在哪？广州的首都在哪？”的填空题）。

2. 监督微调阶段 (Supervised Fine-Tuning - SFT)¶

目标：教会模型“如何作为一个助手进行礼貌、条理清晰的问答”；
训练方式：使用数十万条高质量的 {"prompt": "如何用 Python 读取文件?", "response": "你可以使用 open() 函数..."} 样本继续训练；
产物：指令模型（Instruct Model）。模型开始能遵从人类的指令行动。

3. 人类价值观对齐阶段 (Alignment - RLHF / DPO)¶

目标：让模型变得有帮助（Helpful）、诚实（Honest）、无害（Harmless）；
解决核心问题：如果用户问“如何制造炸弹？”，预训练模型由于看过化学资料，会诚实回答；对齐阶段通过强化学习重奖模型拒绝回答此类违法违规内容，引导其成为一个符合人类伦理规范的优秀助手。