我见过太多人学大模型，一上来就扎进论文、Beam Search、LoRA这些概念里，啃了半个月，连"大模型到底比普通深度学习模型大在哪"都说不清。也有人反过来，只把大模型当个黑盒聊天机器人，考试问到底层原理就露馅。这篇考纲精讲，就是要避开这两种极端，把这门课里最核心、最常考、也是零基础最需要抢救的知识点，用讲人话的方式拆开揉碎。
这篇内容适合三类人：一是准备期末考或资格考的在读学生，二是想转行AI应用但没系统学过理论的从业者，三是已经在用各类AI工具、想补上底层认知的爱好者。你不需要会推公式，但学完之后，你能搞清楚Transformer的注意力机制到底在干嘛、预训练和微调是什么关系、RAG为什么能"外挂知识库"、Prompt调优和传统调参哪里不一样，以及拿到一篇模型论文时怎么快速抓住要点。
先声明我的立场：考点的核心不是让你复述某个模型的参数量，而是考察你是否理解"大模型为什么这样设计"以及"这个技术解决了什么实际问题"。所以下面的每一章，我都会先讲它解决什么问题，再讲原理，最后搭配备考时的记忆锚点和常见出题方向。
1. 大模型到底是什么：先搭一个不会塌的认知框架
1.1 消除神秘感：大模型和普通神经网络是"同一种生物"
很多零基础的同学一听到"大模型"三个字，脑海里浮现的是科幻片里的超级智能。实际上，大模型在数学本质上就是一个参数数量极其巨大的神经网络，它的学习方式和你在机器学习课上学过的线性回归、逻辑回归、小型卷积网络没有代际差异。它依然是"输入一堆数值，经过加权求和、非线性变换，输出另一堆数值"。
区别在三个维度：
- 参数规模：普通模型可能只有几十万到几百万参数，大模型动辄几十亿、上百亿甚至更多。参数量大了之后，模型的"记忆容量"和"模式识别能力"会质变，但它依然是靠梯度下降训练出来的。
- 训练数据：大模型用的训练语料是互联网级别的大规模文本，覆盖几乎所有领域和语言，而不是某一个小数据集。
- 任务方式：传统模型往往是"训练一个模型、做一件特定的事"，大模型则是"先学通通用知识，再适配到各种具体任务"，也就是后面要讲的预训练加微调范式。
考试里如果出判断题"大模型采用了全新的机器学习范式，与传统深度学习完全不同"，答案是错的。它的底层优化算法、反向传播机制、损失函数设计，和传统深度学习一脉相承。理解这一点，你才不会把大模型当成一门"玄学"。
1.2 用"输入-输出"视角消除概念混乱
零基础考生最容易晕的一个点，是模型、架构、训练方法、应用框架这些词堆在一起。我建议你把整门课的内容全部装进"输入-输出"这个盒子里：
| 层次 | 输入是什么 | 输出是什么 | 考点关键词 |
|---|---|---|---|
| 数据层 | 原始文本、图像、语音 | 向量化的Token序列 | Token、词嵌入、位置编码 |
| 模型层 | 向量序列 | 预测的下一Token概率分布 | Transformer、注意力机制 |
| 训练层 | 海量无标注文本 | 训练好的通用模型权重 | 预训练、自监督学习、损失函数 |
| 适配层 | 少量带标注数据或任务描述 | 能完成具体任务的模型 | 微调、提示工程、上下文学习 |
| 应用层 | 用户问题 + 外部知识 | 回答、摘要、代码、决策 | RAG、Agent、输出结构化 |
你只要在做题时先问一句：这道题考的是哪个层次？是考模型的内部结构，还是考训练策略，还是考应用方法？就能快速定位到对应的知识模块。
我在备考时的一个实际体会是，不要一开始就试图"从零推到大模型"，而是先记住这张层次表，然后一层一层往里填细节。就像学开车，先分清油门、刹车、方向盘各自的功能，再学怎么配合，而不是先研究发动机原理。
2. Transformer架构：考点中的绝对主角，注意力机制要听懂
2.1 为什么必须从Transformer讲起
如果你翻过几份往年试卷，你会发现Transformer相关的题目出现频率高得吓人——简答、选择、名词解释都会涉及。原因很简单，几乎所有主流大模型的骨架都是Transformer，甚至可以说，这门课的大半壁江山都建立在"注意力机制"这四个字上。
Transformer在2017年被提出时，解决的核心问题是：处理序列数据时，如何同时兼顾并行计算效率和长距离依赖捕捉。当时的主流序列模型是循环神经网络和长短期记忆网络，这类模型只能一个词一个词地往后处理，前面的信息要经过很多步才能传到后面，长距离信息容易衰减，而且没法并行训练。
Transformer的解法是：不按顺序扫描，而是让序列中每个词同时和所有其他词做信息交互，通过计算"谁和谁相关"来动态决定关注的权重。这就是注意力机制的雏形。
2.2 自注意力机制：用"省考面试"的类比一次听懂
我给学生讲自注意力机制时，最喜欢用的类比是"小组讨论选代表发言"。
假设有一个讨论组，组员是句子里的每个词。每个词都要发言，但发言前要参考别人的观点。怎么参考呢？每个词会准备三样东西：一个是"我是谁"（Query，查询向量），一个是"我能提供什么"（Key，键向量），一个是"我真正想说的内容"（Value，值向量）。
发言流程是这样的：每个词先拿着自己的Query去和其他所有词的Key做匹配，算出一个相似度分数，这个分数经过归一化变成权重，表示"我觉得谁的发言对我更重要"。然后用这些权重去加权汇总所有词的Value，得到自己这一轮发言的信息融合结果。所有词同时做这个过程，每个词的输出都包含了全句的信息，而且重要信息权重更高。
这个设计的精妙之处在于，它不关心词在句子里的距离远近。只要语义相关，哪怕隔着二十个词，注意力权重照样可以很高。这直接解决了长距离依赖问题，也是注意力机制名字的由来：你不是按位置顺序读，而是按"相关性"选择性地注意。
具体信息量来自Token嵌入向量和位置编码。Token嵌入把词变成高维向量，让语义相近的词在向量空间里距离更近；位置编码则给每个Token带上"它在句子第几位"的信息，因为注意力计算本身是不区分先后顺序的。
2.3 多头注意力与残差结构：三个必须记住的模块
考试不会只考一个注意力公式，它还喜欢问Transformer的完整结构。一个标准的Transformer编码器层包含以下部分：
- 多头注意力（Multi-Head Attention）：不只用一组Q、K、V做一次注意力，而是把特征空间切分成多个子空间，各自做注意力计算，最后拼接。好处是每个"头"可以关注不同的关系模式，比如一个头关注语法结构，另一个头关注指代关系。
- 前馈神经网络层（Feed-Forward Network）：注意力层负责收集信息，前馈网络负责逐位置的加工变换，类似"先讨论再独立做功课"。
- 残差连接与层归一化（Add & Norm）：残差连接把输入直接加到输出上，解决深层网络梯度消失问题；层归一化是稳定数值、加速训练。
考试中一个高频辨析题是：注意力层本身能不能直接进行分类、生成等任务输出？答案是通常不可以。注意力层负责信息交互，真正的决策和输出变换主要靠后续的前馈网络和输出层。理解"注意力管关联、FFN管加工"，整个Transformer的工作逻辑就通了。
备考时我建议你亲手画一遍编码器层的模块图：从输入向量开始，经过多头注意力、残差连接与层归一化、前馈网络、再残差连接与层归一化，最后输出。不需要画得多细致，但每一步的输入输出要能讲明白。
3. 预训练与微调：那条"两次训练"的线，别再理不清
3.1 为什么大模型要先预训练再微调，而不是直接训练
这是零基础考生最容易产生误解的地方。他们会想：既然大模型最终要做某个任务，为什么不直接用任务数据训练一个模型？
理由很实际：高质量的任务标注数据太少了，而模型参数太多，直接用少量数据训练，模型根本学不到通用规律，只会严重过拟合。反过来，互联网上有海量的无标注文本，虽然这些文本没有标准答案，但它们本身包含了人类知识、语法、常识和推理模式的"统计规律"。
预训练阶段的核心任务，就是用几乎无限多的无标注文本，通过自监督学习方式让模型学会"接话茬"。它被设计成一个极其简单的任务：给你一段文本的前半部分，预测下一个词是什么。模型为了把这个任务做好，不得不学会词法、句法、事实知识、逻辑关系、甚至基础推理能力。这些"意外获得"的能力被压缩在模型的数亿个参数里。
预训练完成后，模型像是一个"见多识广的通才"，但它还不会具体干活。微调阶段则用特定任务的少量带标注数据，在预训练权重的基础上继续训练，让通才转型成某个领域的专才。这个阶段的学习率通常比预训练小得多，防止预训练已有的能力被破坏。
3.2 三种主流训练策略及其考点
按数据标注和训练方式的不同，大模型课程通常会考到以下三种策略，建议对比记忆：
| 策略 | 核心方法 | 适用场景 | 典型考点 |
|---|---|---|---|
| 预训练 + 全量微调 | 用任务数据更新全部模型参数 | 数据量较充足、有算力 | 微调和预训练的区别；过拟合风险 |
| 预训练 + 提示工程 | 不更新参数，靠设计输入引导模型 | 零训练数据，推理API调用 | 上下文学习、In-Context Learning |
| 预训练 + 高效微调 | 冻结大部分参数，只训练少量额外参数 | 数据少、算力有限 | LoRA、Adapter、冻结层 |
3.3 LoRA：高效微调在考卷里最常见的"性价比之王"
高效微调里，目前最常考的是LoRA（低秩适配）。它的思想很巧妙：微调时不需要更新几亿个参数，而是往原有权重旁边加一个很小的、低秩的旁路矩阵。训练时只训练这个旁路矩阵的参数，主模型权重全部冻结。
低秩是什么意思？你可以把它理解为"用两条细绳来近似描述一个大矩阵的变化"。原模型权重大到难以调整，但微调需要做的修正往往集中在少数关键方向上，信息压缩性很强，所以用一个低维空间就可以近似表达。LoRA论文里常见的秩r取值为8到64，训练参数量只占原模型的很小比例，但效果接近全量微调，显存占用和训练时间都大幅下降。
考卷里如果问你"LoRA和全量微调的本质区别是什么"，回答要抓住两点：一是可训练参数的数量级差异，二是最终模型权重的处理方式——全量微调是直接修改原权重，LoRA是冻结原权重、叠加低秩增量。两者在推理时的模型结构也不同，LoRA需要额外合并权重或加载适配器。
4. 主流模型家族不是背名字，是记"脾气"
4.1 从"模型背单词"到"模型相地图"
很多考生复习模型知识时，会陷入一种自我感动式的努力：把各大模型的参数量、层数、发布机构、发布时间整理成一个几十行的表格，背得昏天黑地。但等到做题时发现，考卷根本不问"某某模型有几层"，而是问"某某模型更适合做哪种任务""它的训练目标是什么"。
我的建议是，把每个主流模型家族当成一个"性格不同的人"来记。你需要知道的是每个人擅长干什么、不擅长干什么，而不是只会背他的身高体重。
4.2 四大模型家族的"个性档案"
GPT系列：典型的"嘴巴利索、知识面广"。核心训练目标是自回归语言建模，也就是一个一个地预测下一个Token，天然适合生成式任务。它回答问题时先看到前文所有内容，再从左到右逐词生成。今天的对话式AI、代码生成、内容创作工具，多数源于这一族的思路。考试出题方向通常是：为什么GPT系列适合文本生成？自回归生成的过程是怎样的？
BERT系列：典型的"阅读理解、填空高手"。训练目标是掩码语言建模，随机遮住文中一些词，让模型根据上下文猜被遮住的词。因为训练时它同时看了一个词的前面和后面，所以能做出很强的双向理解。它更擅长分类、命名实体识别、句子关系判断这类理解型任务，但生成能力不是它的强项。考卷上常见的对比题是：BERT和GPT在处理一个句子时信息流向有什么不同？答案核心在"双向注意力"和"单向注意力"的差异。
T5系列：属于"翻译式思维"的模型。它的核心洞见在于：把所有NLP任务都统一成"文本到文本"的格式。不管你是做翻译、摘要、分类还是问答，一律输入一串文本、输出一串文本。这种"大一统"思路的好处是方便迁移，一个模型可以通吃多个任务，很适合在考卷里考"多任务统一建模"这个概念。
多模态大模型：把文本、图像、音频等模态的数据对齐到同一个语义空间里进行训练。比如输入一张图片加一段文字问题，模型能生成针对图片内容的回答。考点集中在模态对齐、跨模态注意力这些概念上，不会太深入。
4.3 复习模型家族的高效方法
我不建议你追求把所有模型的细节一网打尽。更高效的做法是：
- 每个家族只记住一个核心训练目标和一个标志性能力；
- 记住家族之间的对比关系（生成 vs 理解、单向 vs 双向、单模态 vs 多模态）；
- 做题时先看题目问的是"哪个模型最能完成某某任务"，再根据性格匹配。
比如题目问"你有一个文本分类需求，希望模型能同时看上下文两侧的信息，最适合用什么模型"，答案方向是BERT这类双向编码器模型，而不是纯自回归生成模型。这种思维才是考点真正考你的东西。
5. 提示工程与上下文学习：零基础最容易拿分、也最容易被小看的模块
5.1 提示工程解决的是"指挥"问题，不是"训练"问题
很多零基础同学容易把提示工程和技术开发混为一谈。提示工程不需要改模型参数、不需要训练，它是在推理阶段通过设计输入来引导模型输出。核心思路是：大模型在预训练阶段已经学会了很多能力，你不需要教它新东西，你需要做的是把它已有的能力"唤醒"到恰当的方向上。
这就像你问一个知识渊博的朋友问题，他能不能给你满意的答案，往往取决于你怎么问。问得含糊，得到的就是含糊的回答；问得具体、提供边界条件、给出示例，回答质量会显著提升。提示工程就是研究"怎么问"的系统方法论。
5.2 上下文学习：为什么给几个例子就够
上下文学习是大模型的一种特殊能力，也是考试里几乎年年出现的概念。它的意思是，在推理时，不给模型额外的训练数据，只在输入文本里包含几个任务示例，模型就能照着示例的模式输出答案。比如你想让模型把一句话转成"口语风格"和"书面风格"的对比表，你不需要微调模型，只要在问题里先给一个完整的示例，模型就能模仿这个格式。
为什么一个例子就能让模型完成任务？原因是模型在预训练中见过海量"示例加延续"的文本模式，它已经内化了"当看到某种指令性输入时应该继续完成某种输出"的能力。上下文学习本质上是利用了模型强大的模式匹配和延续能力，而不是真的学会了一个新任务。
5.3 思维链提示：让模型"把过程写下来"
大模型在复杂推理任务里常常出现"答案对、过程离谱"或"结论简单但推理不行"的问题。思维链提示技术主张在提示词中明确要求模型把推理过程分步写出来，再进行作答。比如不直接问"甲乙两人相向而行，什么时候相遇"，而是说"请逐步分析：先算两人的速度之和，再计算相遇时间"。
原理上，这种显式的推理输出能够激活模型在生成路径上"逐步组合信息"的能力。对零基础考生，你要记住的关键点是：思维链不是修改模型，而是一种提示策略，它通过"引导模型外化推理步骤"来提升复杂任务的表现。考卷里的名词解释和简答题很喜欢考这个概念，一定要区分"思维链提示"和"微调"的本质差异。
5.4 提示工程的核心技巧与拿分记忆点
我在实际使用中总结的几个好用技巧，也可以直接用在备考答题里：
- 角色设定：给模型一个身份限定，"你是一位资深的算法工程师，请……"，比不带身份的提问更能约束回答风格。
- 示例驱动：要给出具体输入输出对，而不是抽象描述。模型对模仿示例的准确度高得多。
- 限定输出格式：明确要求"用JSON格式输出""不超过100字"，能极大减少无效输出。
- 任务分解：面对复杂任务，让它先列步骤再执行，不只针对思维链场景。
- 增加自检查指令：让它"生成后检查一遍是否有逻辑矛盾"，能减少明显错误。
考试里如果问你"提示工程属于模型训练还是模型使用阶段"，答案是模型使用阶段，因为整个过程中模型权重始终未被更新。
6. 检索增强生成（RAG）：让模型学会"翻书回答"
6.1 大模型的"知识短板"是RAG存在的根本原因
哪怕是最强的大模型也有一个致命短板：它的知识截止于训练数据采集那一刻，之后发生的事情它一概不知。同时，训练语料也无法覆盖企业内部文档、个人私有笔记这类非公开信息。想应对"我昨天刚更新的产品配置是什么"这种问题，纯靠模型默认知识是不可能的。
RAG的解决思路非常朴素：模型回答问题时不再只靠脑子里的记忆，而是先从一个外部知识库里检索相关资料，把检索到的内容拼进输入上下文，再让模型基于这些内容生成答案。相当于考试时被允许"翻书"，而且翻的还是指定教材。
6.2 RAG的标准流程与考点
RAG系统一般包含三个环节：检索、增强、生成。
- 检索（Retrieval）：从文档库中找到和用户问题相关的若干片段。常见做法是先把文档切成长度适中的片段，再用嵌入模型把用户问题和文档片段都转成向量，通过向量相似度比较召回最相关的Top-K个片段。
- 增强（Augmentation）：把检索到的片段和用户问题一起拼接成新的提示词模板。这一步等同于"给模型喂参考资料"。
- 生成（Generation）：把增强后的提示词交给大模型生成回答。因为参考内容已经出现在上下文里，模型不会凭空捏造细节。
考试里常考的一个点是：RAG和微调有什么区别？我给个简洁的对照表：
| 对比维度 | RAG | 传统微调 |
|---|---|---|
| 知识更新方式 | 更新外部文档库即可 | 需要重新训练模型 |
| 是否修改模型权重 | 否 | 是 |
| 知识可追溯性 | 可显示参考来源 | 难以追溯到具体文档 |
| 适合场景 | 知识密集、频繁更新 | 任务风格和格式固定 |
| 成本和速度 | 低，即时生效 | 高，训练周期长 |
6.3 RAG的常见问题：召回质量差的典型原因
如果你做过RAG相关的小项目，大概率遇到过"检索到的文档明明有答案，模型却答非所问"的情况。问题通常出在三个环节：
一是文档切割方式不合理。切得太碎，单个片段信息不完整；切得太长，又容易在向量检索时被噪声干扰。实际操作中我习惯按段落语义切割，并保留小标题信息。
二是嵌入模型选得不匹配。通用嵌入模型对专业领域术语的向量表达能力有限，可以尝试领域微调的嵌入模型，或者用更强的重排模型对检索结果做二次过滤。
三是提示词模板没有引导模型"只基于参考内容作答"。如果提示词里没有明确"请优先参考以下资料，不要自行编造"这类的约束，模型就可能依赖自身参数记忆。
7. 评估方法与"看懂论文"的速成思路
7.1 自动评估指标：BLEU、ROUGE、困惑度
考试中不会要求你手推这些指标，但一定会考它们的定义逻辑和适用场景。
**困惑度（Perplexity）**是衡量语言模型好坏的核心指标，数值越小代表模型对文本的预测概率越高，也就是"越不意外"、越接近人类真实文本。零基础视角理解：给定一段测试文本，模型如果对它很"熟悉"，给它分配的概率就高，困惑度就低。
BLEU主要用于机器翻译和生成文本的评估，它通过统计生成文本和参考文本之间的n-gram重合度来衡量相似度，有时候会出现"词汇对了但语义不对"的情况。ROUGE则常用于摘要生成，重点评估生成内容对参考摘要的召回覆盖程度。
| 指标 | 核心考察维度 | 适用场景 | 常见陷阱 |
|---|---|---|---|
| 困惑度 | 预测概率、流畅度 | 语言模型预训练评估 | 不是越低越好到极致 |
| BLEU | 精确匹配、n-gram重合 | 机器翻译 | 过分看重字面重合 |
| ROUGE | 召回覆盖、关键词命中 | 文本摘要 | 语义同义改写算漏 |
7.2 大模型特有的评估维度
除传统指标外，大模型还常用人工评价和基于模型的评测。人工评价关注有用性、真实性、无害性，这也是很多产品上线前必须过的关卡。基于模型的评测则是让一个强模型给另一个模型的回答打分，用来做快速迭代时的代理指标。考试考到"为什么需要人工评价而不完全依赖自动指标"时，你要能答出自动指标无法捕捉语义质量和安全性，容易受字面重复等因素误导。
7.3 零基础快速读懂一篇模型论文的方法
如果考卷里给你一篇论文的背景摘要，让你判断它用了什么技术路径、验证了什么假设，你可以用以下四步法：
- 先读摘要，抓"任务-方法-结果"三件套：这篇论文要解决什么问题，提出了什么方法，效果提升了多少。
- 再看图表，理解主要对比：论文里的对比表格通常会把新模型和几个基线模型放在一起，你要能看出谁分数最高、涨了几个点。
- 回到方法，找技术关键词：看它用了微调、LoRA、提示工程、RAG还是新的注意力变体，这些关键词能直接对上你学过的概念。
- 最后扫一眼实验设置：看数据规模、训练轮数、评估指标，这部分能帮你理解结果的合理性。
这个方法是很多从业者实际追踪论文时用的正常操作，不是应付考试独有的"套路"，但对备考同样有效。
8. 备考路线与避坑心得：最后两周怎么发力
8.1 从"背概念"转向"讲差异"
当复习进入最后阶段，你会发现试卷上的简答题其实很少让你孤立地解释概念，更多是让你对比、辨析、举例子。所以我建议你在背知识点时，刻意做"对比练习"：
- 自注意力 vs 循环网络的记忆机制
- 预训练 vs 微调 vs 提示工程
- 生成模型 vs 理解模型的训练目标
- RAG vs 微调 vs 直接用模型记忆回答
- BLEU vs ROUGE vs 困惑度
每次复习完一个小节，就自己写出这段话：这个技术解决了什么问题？不这么做会怎样？它和相近的技术核心差异是什么？
8.2 实操是记忆的加速器
纯看书备考大模型，你的理解深度会非常有限。哪怕没有昂贵显卡，你也能跑通很多关键实验：
- 使用开源的轻量级模型，在内存允许的设备上跑推理Demo；
- 用免费或低成本的API调用，实践提示工程和思维链；
- 用公开的向量数据库加开源大模型，动手搭一个最简单的RAG问答脚本，体会"检索增强"的完整流程；
- 下载开源小模型，用已经公开的LoRA训练脚本跑一次微调，观察训练参数数量对比和效果差异。
这些实操的价值不在于项目本身有多复杂，而在于你能把"微调更新的是哪些参数"“RAG增强的是什么内容”这种抽象概念，变成身体记忆和直觉。
8.3 我在考场和项目里踩过的坑
第一个坑是把答题重心放在参数量和模型列表上。真正做题时你会发现，考卷考察的是判断力。比如有次简答问"为什么大模型不用传统的循环网络结构部署"，你需要在答案里写出并行效率、长距离依赖、长期记忆拥塞这几个角度，而不是背模型参数。
第二个坑是混淆预训练和上下文学习。上下文学习不改变参数，只是通过输入示例来引导，预训练则是改变参数。如果没有做过实操，这两个概念特别容易在考场上糊在一起。
第三个坑是低估工程的细节问题。即使你完全理解Transformer的原理，但在实现RAG时，嵌入模型的分块粒度、检索Top-K的取值、提示词模板的措辞，都会让结果千差万别。考试时如果遇到工程场景题，务必先定位问题环节，再给出对应解法。
8.4 一份压缩到极致的考前速记清单
- Transformer = 多头注意力 + 前馈网络 + 残差连接 + 层归一化。
- 自注意力 = 每个词按相关性加权汇总全句信息，不按距离衰减。
- 预训练 = 用海量无标注文本学通用知识。微调 = 用少量任务数据做适配。
- LoRA = 冻结主权重，训练低秩旁路，降低微调成本。
- GPT擅长生成，BERT擅长理解，T5统一为文本到文本。
- 提示工程 = 不训练、靠输入设计引导模型。思维链 = 强制分步推理。
- RAG = 检索外部知识拼进上下文，解决知识时效性和私有知识问题。
- 评估指标：困惑度管生成概率，BLEU管翻译精合度，ROUGE管摘要覆盖率。
最后分享我个人的一点体会：零基础学大模型，最怕的不是基础薄弱，而是用背文科的方式去学一门实践性极强的工科内容。你不需要在刚开始就把所有论文读懂，但一定要把每个核心概念拿实际小实验验证一遍。哪怕只是让一个开源小模型生成一段文本、给你展示注意力权重的分布、用LoRA训练一个情感分类头，你对这些考点的理解深度都会完全不一样。这门课考的从来不是记忆，而是"你是否真的知道这些东西是怎么被造出来、又是怎么被用起来的"。把这条主线抓住了，考卷上的大部分问题就都跑不出你的知识框架了。
