1. 先说结论：RL和大模型面试，拼的不是刷题量
每年秋招和春招，都有大量同学在强化学习和大模型这两个方向上反复横跳。我自己的感受是，这两个方向表面上看都在考“深度学习基础”，实际上考察逻辑完全不同。强化学习更看重你能不能把一条公式链路从直觉到推导完整讲清楚，大模型更看重你有没有在真实训练任务里踩过坑。这不是刷几百道LeetCode或者背一遍八股能解决的。
我去年集中面试了十几家做算法岗位的团队，有做推荐系统的，有做机器人控制的，也有做AI基础设施的。一轮轮下来，最深的体会是：面试官早就对“简历上写了熟悉强化学习、熟悉Transformer”这种说法免疫了，他们更愿意花时间在一个具体项目上连续追问四十分钟，直到问出你底层的理解边界。所以这篇内容不打算给你列一份“必背清单”式的面经，而是想还原我实际被问到的高频问题、我当时怎么答的、以及事后复盘觉得应该怎么答。
无论你现在是在校准备秋招，还是工作几年想转过来，我建议你先想清楚一件事：你投的岗位到底更偏向强化学习算法，还是大模型训练/推理，还是两者交叉的Agent方向？因为这三个方向的准备重心差别很大。
我简单整理了一张对比表，是我自己总结的考察侧重：
| 方向 | 核心考察点 | 典型追问方式 | 准备侧重点 |
|---|---|---|---|
| 强化学习算法岗 | 策略优化原理、数学推导、环境交互 | “PPO的clip为什么有效？能改进吗？” | 公式推导 + 代码实现 + 实验分析 |
| 大模型算法/训练岗 | Transformer细节、分布式并行、RLHF | “LoRA和全量微调在梯度上有什么区别？” | 模型结构 + 训练框架 + 工程经验 |
| Agent/应用岗 | 工具调用、记忆机制、评估体系 | “如果工具返回错误格式，你的Agent怎么恢复？” | 系统设计 + 场景落地 + 鲁棒性 |
当然这只是粗粒度划分，真正面试时两者经常混着问。这篇文章我就顺着“到底怎么准备才算到位”这条线，把每个方向的硬骨头、面试现场的真实感受、以及项目经历怎么讲得让面试官愿意给你过，全部拆开来说。
2. 强化学习方向的必考图谱：从公式到代码，一条线串下来
强化学习的面试题，说来说去其实都绕不开几个核心模块：MDP框架、策略梯度、值函数方法、以及基于这些演化的现代算法。但面试官很少会让你干巴巴背诵“什么是策略梯度”，他们更常见的问法是：“你现在要训练一个机器人走到目标点，reward很稀疏，你会怎么设计算法和奖励？”
这时候你脑子里的知识必须是一条线，而不是一堆散点。
2.1 策略梯度定理要能徒手推到符号层面
第一个硬性要求：策略梯度定理的推导不能只停留在“梯度上升”四个字。面试官会从最基础的softmax策略开始，让你写出目标函数对θ的梯度，然后一步步追问：
- 为什么希望最大化期望回报，它的梯度里会有 log π 这一项？
- reward 是常数偏移的话，梯度会变吗？为什么会有 variance 问题？
- 为什么要减 baseline？减什么样的 baseline 是理论上不偏的？
我当时被问到的一个变体题目是：“如果reward本身就很大，比如都在100左右，策略梯度的方差会有什么变化？能不能直接把reward减去所有时刻的均值？”
这个问题看似简单，但很多人会直接答“减均值就行”。实际上如果你减去的是整个episode的return均值，它会引入偏差，因为对不同状态来说，期望优势并不是零。正确的做法是引入状态相关的baseline，也就是 V(s)，这正好引出了 Actor-Critic 的结构。所以这一问如果答好了，面试官会自动默认你理解了AC框架的动机。
建议准备时不要只看书，拿一张白纸，从
∇J(θ) = E[ ∇θ log π(a|s) · A(s,a) ]
开始，往左推是重要性采样得出 off-policy 修正，往右推是高维动作空间下怎么用高斯策略输出均值和方差。整条链推完，PPO、TRPO、SAC这类算法的主干其实已经覆盖了一大半。
2.2 PPO的clip机制：要能回答“它到底防的是什么”
PPO几乎是无脑必考题。面试官问PPO时，真正想听的不是“PPO是TRPO的一阶近似”，而是你对trust region这个概念看了多深。我遇到的追问链大概是这样的：
“PPO的loss里为什么要min(r_t * A, clip(r_t, 1-ε, 1+ε) * A)？它为什么要约束新旧策略的比率r_t？”
我当时的回答是分两层说的：
第一层，如果不加约束，较大的学习率会让策略一步迈太远。在策略空间里，参数变化不大不代表行为分布变化不大，尤其是某些状态下某些动作的概率可能从0.2跳到0.6。一旦更新步长太大，旧的采样数据在“新策略”下就不再准确了，训练直接崩。
第二层，min操作配合clip，实际上是给“让优势变大的方向”上了个保险：如果某条样本的优势是正的，策略提升它没问题，但当r_t涨到1+ε以上，说明这次提升幅度已经越界，就把梯度截掉。对应地，如果优势是负的，策略想快速降低这个动作的概率，低于1-ε也被截掉。这样新旧策略不会偏离太远，训练稳定。
面试官接着问：“那epsilon取0.2合理吗？有没有什么场景下需要动态调整epsilon？”
这里如果能顺口说出“在early stage一般用相对大一点的epsilon，因为策略还在快速探索；在后期精细收敛时用小epsilon，比如0.1甚至0.05，防止在局部最优附近剧烈抖动；如果在reward spiking非常剧烈时，大规模clip会让有效学习信号过少，可以考虑对advantage做normalization”这类细节，基本就过关了。
2.3 reward shaping和环境的坑：面试官最爱在这块贴脸追问
很多RL岗位的JD会写“负责强化学习算法在XX场景的落地”，所以面试官特别爱从项目的reward设计开始问。一次面试里我介绍过一个机器人控制项目，面试官立刻打断：
“你奖励函数怎么写的？为什么用distance改变量而不用绝对距离？”
真问题来了。我的做法是，在基于真机的连续控制任务里，绝对距离作为reward会随着接近目标产生很小的数值，导致梯度不敏感。所以当时用了“相对距离变化”作为稀疏辅助奖励。但这么做也会引入一个隐患——智能体可能会学会来回摆动刷距离变化量。我当时的解决方案是叠加一个动作惩罚项，同时检测step内位置变化过小直接给负激励。
这类project细节没法刷题，只能靠真实做过。如果你还在准备阶段，建议至少完整跑过一个算法在 gym 类环境上的训练全过程，并且尝试修改reward函数、观察训练曲线的变化。这些实际体感是面试时最有说服力的素材。
2.4 从DQN到SAC的演变逻辑：答“为什么会有这个算法”比背公式重要
面试官也经常问一串演进式的题：“DQN、DDPG、TD3、SAC之间是什么关系？为什么一步步变成这样？”
这个问题的本质在考你对连续控制问题的理解。DQN只能做离散动作，因为它的核心是Q值取max时需要对动作枚举；到了连续控制，没法枚举，于是有人想出用另一个网络直接输出动作，这就是DDPG。但DDPG的Q值估计往往过高，所以TD3引入双Q，取两个Q中的较小值来clipped更新。再往下，SAC不直接拟合确定性的动作，而是最大化策略熵，让智能体在最优动作附近保持随机性，这样探索更充分、收敛也更稳。
如果面试官不耐烦听你背名字，他会直接给一个场景：“你现在做股票交易，动作是连续的仓位比例，你会用什么算法？DQN能用吗？”这种应用题的答法一定是先分析状态空间、动作空间、环境是否可被模拟、采样成本高低，再去选算法。能把“为什么这个算法适配这个场景”讲清楚，就已经是合格线以上了。
3. 大模型方向聊到“深水区”：从结构、训练到RLHF，每层都有考点
大模型题目的范围实在太广，从attention到分布式训练都有人问。我总结了被问频率最高的三大块：Transformer结构细节、RLHF的完整链路、以及训练推理阶段常用的工程优化。每一块都需要你有点“真东西”来支撑，光靠八股很危险。
3.1 Transformer的每层结构，用“为什么”来串联
大模型岗位的面试，通常不会让你只回答“attention是什么”，而是让你深入解释scale之后的效应和瓶颈。比如高频问题：
“为什么Multi-Head Attention要拆头？head数越多越好吗？”
我当时是从计算角度答的：拆头本质上是把Q、K、V的维度分成多组，在低维空间做多份attention，再拼接起来。好处是，不同的head可以学到不同位置的依赖关系，比如一个head关注句法关系，另一个关注指代关系。但head数不是越多越好：每个head的可学习参数量固定时，head太多会让每个头的容量过小，学不到有效模式；同时在分布式训练里，head过多也意味着需要更多的通信和矩阵乘法次数，性能上会吃亏。
“Transformer里哪些地方有LayerNorm？”这个问题也很阴险。答案是attention之前和FFN之前各有一个，结构是Post-LN还是Pre-LN会显著影响训练的稳定性和最终效果。现在主流大模型基本上都用Pre-LN，因为它能避免深层网络梯度消失的问题。
还有一个必考变体：“RoPE为什么有效？”我建议不要把回答停留在“旋转位置编码”六个字上。至少要说出：RoPE对token的绝对位置和相对位置都提供了编码能力，它的旋转矩阵会让attention score的数值只依赖于相对位置差，这也是为什么它在长文本外推上比绝对位置编码更稳。
3.2 RLHF整条链路：SFT、RM、PPO之间的关系要能画出闭环
大模型方向的面试里，RLHF是绕不开的高频深水区。面试官的经典开场是：
“你了解RLHF吗？它和直接SFT有什么区别？”
这个问题的标准回答是：SFT阶段学习的是“对用户指令生成合理回答”，但“合理”有很强的多样性，简单的模仿学习无法让模型的回答在“有用性”“无害性”“诚实性”等维度上对齐人类偏好。于是需要引入一个reward model来近似人的偏好打分，再用强化学习算法去优化这个分数。
接下来面试官一定会追问：“RM怎么训练的？数据从哪来？排序标注还是打分标注？”
我比较推荐的回答框架是：训练RM需要成对比数据，比如同一个prompt对应的两个回答，人工标注哪个更好。RM本身就是一个序列分类模型，在最后一层接一个线性层输出标量分数。训练时用pairwise ranking loss，让模型尽可能给好的回答更高分。RM的数据质量比数据量更重要，因为排序一致性直接决定后续强化学习的方向是否正确。
“那PPO RLHF和普通PPO有什么区别？”这个问题是我见过最能筛人的。答案的核心是：标准RL里reward来自环境，RLHF里reward来自RM模型；标准RL的policy是全新初始化的，LLM里policy就是SFT之后那个模型，而我们希望它别跑偏太多，所以loss里需要加KL penalty，约束当前模型和初始SFT模型之间的分布距离。这也是为什么你会看到很多实现里KL系数会被动态调控，防止模型为了刷RM分数而崩掉。
3.3 训练稳定性与并行策略：不会写分布式，至少要知道套路
大模型面试有一类题是“拷问工程底子”的。问题不太直接，但问完你就知道面试官想要的是什么类型的人。
“给你1000张GPU，你要训练一个70B的模型，你会怎么做并行切分？”
听到这题先不要慌，哪怕你没亲自配置过集群，也要把范式讲清楚：
- Data Parallel：每张卡拿到完整模型副本，喂不同batch，梯度同步。缺点：模型太大装不下。
- Tensor Parallel：把单个Transformer层的参数按head维度或FFN维度切开，分别放在不同卡上，前向时通信矩阵乘法中间结果。
- Pipeline Parallel：把层切到不同卡上，前向反向像流水线一样一层层执行，需要处理bubble。
- ZeRO/FSDP：把优化器状态、梯度、参数分片，每张卡只存一部分，用通信换显存。
我建议至少能说出“3D并行”是指哪三维，以及ZeRO三个阶段分别offload了什么。如果再能补一句“我在项目里遇到过通信瓶颈，比如all-reduce占比过高导致GPU利用率上不去，这时候需要考虑梯度压缩或调整并行策略”，面试官对你的信任度会明显上升。
3.4 推理优化是隐藏加分项：KV Cache、投机采样、量化
大模型相关面试里，很多同学从头到尾都在讲预训练，却忘了工程岗非常喜欢问部署侧的问题。比如：“你模型上线后首token延迟太高，怎么优化？”
我的经验是准备一套完整的推理优化链：
- KV Cache：推理时每生成一个token，前面所有历史的K、V都可以缓存复用，避免重复计算。代价是显存占用随序列长度线性增长，所以衍生出了KV Cache的量化、淘汰策略。
- 投机采样：用一个小的draft model一次性猜出好几个后续token，再由大模型并行验证，这样平均每步只解码一次，延迟能有效下降。
- Weight量化：把权重压到INT8甚至INT4，以一定精度损失换取吞吐翻倍。
面试官如果反问“量化会导致下游任务效果崩吗”，你可以答“需要做perplexity和下游benchmark的对比实验，如果崩太严重，可以回退到混合精度或者对敏感层不量化”。这种答复会让人觉得你真的处理过这类问题。
4. 项目经历一定要讲出“带着问题走了一遍全流程”的感觉
无论是强化学习岗还是大模型岗，项目经历都是面试里的重头戏。但很遗憾，我见过太多同学把项目段落写成“使用了某算法，在某环境上跑了实验，accuracy达到多少”这种流水账。这样讲，面试官根本没法学到你的决策过程，也没法判断你的能力边界，最后只能随机揪一个名词往深处问——那大概率会翻车。
4.1 一个能抗住追问的项目，必须同时讲明白三件事
我自己的经验是，一段项目经历如果能回答清楚以下三件事，在面试里就会非常稳：
为什么要选这个方案：这个问题的本质是“面对多个候选方案，你是怎么权衡的”。比如你做一个文本生成工具的RLHF版本，为什么选PPO而不选更轻量的DPO？合适的回答是：团队有现成的RM推理服务，且离线批处理效率足够高，不需要过多改造框架；而DPO虽然不用RM，但它对数据质量要求高，直接在生成式任务上稳定复现偏好的难度大。这个选择的理由链能展现你的判断力。
踩过什么坑，怎么定位和解决的：比顺利的实验更值钱的是踩坑记录。比如我做某个图像生成模型的强化学习对齐时，训练初期reward暴涨，但样本质量反而变差了。排查后发现是RM对特定风格产生了“偏爱通道”，模型学到了往该风格猛冲而不是真正提升生成质量。我当时的处理是重新标注了一批覆盖更广风格的pair数据，同时在reward里加了一个像素级多样性惩罚项，这才把训练拉回正轨。这类细节面试官一听就会记住你。
结果怎么验证的：不落地的RL实验毫无意义。面试时你要能说出主观评估之外还用了哪些指标，比如生成效果的distinct-n、语义相关性；如果是连续控制任务，就要有成功率、平均回合长度、稳定性的对比曲线。
4.2 被追问时，宁可承认不知道，也不要编
这条要特别注意。面试官追问到细节时，很多人为了显得自己懂，会下意识地开始编一个听起来合理的解释。这非常危险，因为面试官在技术上通常远比候选人经验丰富，你可能随口说的一句“我当时把学习率调到0.001后效果就好了”，会被立刻追问“你有没有尝试其他学习率调整策略？0.001和0.0005的差距你体感上有多大？”如果你答不上来，前面所有项目的可信度都会被打折。
我的建议是，在准备每一个项目时，提前写下所有可能被追问的问题，并老老实实标注哪些细节确实记录过、哪些已经忘了。如果现场被问到一个忘了细节的问题，可以直接说“这块当时没单独做ablation，但从训练曲线的趋势来判断，主要影响来自……”这样反而显得真诚且有推理能力。
4.3 用“先讲框架，再填细节”的顺序来介绍
最后一个小技巧，介绍项目时千万不要从头到尾按时间线念流水账。我更习惯的讲法是：
- 先用一两句话说清楚任务和最终上线形态；
- 再给一个技术栈总览，比如“整体框架是离线训练RM + 在线PPO采样，后端用了某分布式训练框架，数据处理链路是XXX”；
- 最后挑一个最有深度的设计决策展开，讲清楚当时的候选方案、取舍理由和实验验证。
这样的结构可以让面试官快速建立对项目的整体认知，同时给他一个“我很想听这个部分”的钩子。
5. 面试现场的实况复盘：从一面到终面，每一轮在筛什么
面试过程本身也是个值得反复琢磨的事情。因为同样是考察知识，不同轮次面试官的考察方式和心态是完全不一样的。我总结下来，像样的流程大致是这样的：
5.1 技术一面：追求的是“基础不飘、细节不虚”
第一轮通常是未来与你协作的同事或组内骨干，他们除了验证简历真实性，更关心你能否在日常工作中把问题解决掉。因此一面问题会比较杂且广，从简单的代码题到某个具体算法的细节，密度很高。
我印象最深的一次一面，是面试官让我手写一个softmax稳定计算的版本，然后又追加了一问：“如果你的logits里有一个数是1000，标准softmax会怎样？”这题本身不难，但考察点在于你是否理解数值溢出为什么发生——因为e的1000次方直接超过了浮点数表达范围，所以必须先减去最大值。这类题答得好会让面试官在一面评价里写“数理/工程基础扎实”。
高频题目还有：
- 用numpy实现一个PPO的update函数，只写核心loss部分；
- 解释梯度裁剪的作用，以及它在RL里为什么比在纯监督学习里更重要；
- 给定一个prompt，在大模型生成过程中，显存占用随生成长度如何变化；
- 用伪代码描述数据并行训练的all-reduce过程。
建议在准备时，把常用伪代码、核心函数、以及几个经典公式的手写推导都当成“面试肌肉记忆”反复练。
5.2 技术二面/三面：开始考察系统判断力与方向感
到了这一轮，面试官往往是团队leader或者方向负责人，他们会故意把问题放大到系统层面。比如：
“如果现在让你负责一个新的对话模型从头训练，从数据到训练到部署，你会怎么设计整个pipeline？”
面对这种开放题，一定不能只甩几个名词。我的回答框架是：先定数据（清洗、去重、安全过滤、指令构建），再定模型基座（参数规模、上下文长度选型），然后讲预训练（数据配比、学习率调度、并行策略），接着是post-training（SFT数据质量、DPO或RLHF的对齐策略），最后是部署（推理优化、评估体系、灰度方案）。这样的全链路回答，哪怕每个环节都只有几句话，也会让面试官认为你具备拆解复杂系统的能力。
二面也可能出现让候选人“做选择题”的场景。比如：“预算有限，你是加大预训练数据量，还是把更多的资源放在SFT和RLHF上？”这种问题没有标准答案，面试官只是考察你的权衡逻辑。我会说：如果当前横评显示基座的知识能力明显薄弱，那重点补预训练；如果基座本身够强，只是听话程度差，那就把资源放到alignment上。有理有据，比站队重要。
5.3 HR面与终面：很多技术候选人容易栽在“表达方式”上
不要小看HR面和终面。技术再好，如果表达上显得过于高傲或者过于没主见，都会拿不到offer。
HR面常见问题其实离不开几类：你为什么选这个方向？你最近在关注什么技术/论文？你遇到最大的困难是什么？这些问题看似闲聊，实际在考察你的自驱力和稳定性。尤其“你最大的困难”这个问题，很多人在技术面里准备过，但在HR面就会答得特别笼统，比如“训练不收敛”。我建议把困难拆成“业务背景、技术瓶颈、解决过程、最终结果”四个维度讲一个具体例子，HR就很容易get到你在团队里扮演的角色和解决问题的能力。
终面通常由更高层级的面试官负责，他们更关注候选人的潜力、对整个团队技术方向的适配度，以及是否具备长期成长空间。这一轮注意控制语速，不要为了多讲内容而一味加速，有机会露出发自内心的好奇心和求知欲。我在终面被问过“你未来三年想成为什么样的人”，如果你能结合当前团队的方向聊出一个具体的成长路径，会比空洞地说“想成为技术专家”可信得多。
5.3 反问环节：这是你挑团队的最后机会，也是加分项
到了反问环节，几乎每个候选人都会问“团队主要做什么业务”。这个问题没错，但太普通。我建议在反问环节向面试官传递两个信息：第一，你对技术有好奇心；第二，你已经在思考如何创造价值。
可以这样问：
- “请问团队目前用的RLHF pipeline里，RM的更新频率大概是多久一次？中间如果出现reward hacking，你们是怎么快速定位的？”
- “我注意到团队在某个方向上有公开的分享，想了解在具体落地的过程中遇到的最大瓶颈是工程层面的还是算法层面的？”
- “如果我有幸加入，您希望我在前三个月里优先补足哪方面的能力？”
这些问题能让你在面试官脑海里留下“这个人是个有想法的同伴”的印象。切记，不要问过于冒犯的问题，更不要直接打探薪资以外的敏感信息。
6. 考前怎么排兵布阵：时间规划、资料选择和临场心态
最后这部分经验，其实是我最想写的。因为很多人的问题不是学得不够，而是不知道在有限的时间内该怎么安排复习重点。我根据自己的经历整理了一套保守的、稳妥的备战节奏。
6.1 三轮冲刺的时间安排
我建议把准备周期拆成三周。当然如果你时间更长，可以拉得更细，但三周一档已经能覆盖大部分面试需求。
第一周是打地基。任务是过一遍核心知识点，不要追求偏题怪题。RL方向就死磕MDP、贝尔曼方程、策略梯度、PPO、DQN变体；大模型方向就死磕Transformer结构、位置编码、layerNorm、训练并行。同时把简历里每一个project都用“挑战-方案-结果”的框架重新写一遍，自己能流畅讲出来。
第二周是刷实战题。一面范围内的细节题为主，比如手写SAM、简化版PPO的loss、注意力矩阵计算的复杂度分析。每天早上抽一个半小时做手推练习，不要看资料。过程很痛苦，但非常有效。
第三周是全真模拟。找一位同样在准备的同学或朋友，轮流当面试官，把简历里的项目从头到尾过一遍，每讲完一段就转换角色追问。模拟时重点观察自己哪些地方会卡壳、哪些问题会答跑偏。这个过程能帮你发现很多自以为懂但其实没懂的知识点。
如果时间只剩下最后三天，就不要追求学新东西了。把已经积累的笔记和项目QA快速回滚，保持手感即可。
6.2 临场发挥的几个技巧
面试前十分钟，如果很紧张，就把自己准备的“项目一句话简介”和“核心技术选择理由”默念一遍，这两块是最容易冷静下来的锚点。
面试过程中，不要急于抢答。尤其是碰到没听过的问题，完全可以说：“我先尝试用自己的话来理解一下这个问题。”这个过程不仅给了你思考时间，也能确认你和面试官是不是在说同一件事。很多时候你以为不会的问题，用第一性原理拆一拆，答案就自己出来了。
碰到真不会的问题，不要慌乱，更不要沉默。可以诚实地承认“这块我之前没接触过”，然后补一句“但如果从XXX的角度来思考，我可能会从这几个方向入手”。面试官要的不是百科全书，而是你面对未知问题时的反应模式。
6.3 我自己的两三点体感，写在这里算是送你的
这是我跑了十几场算法面试之后沉淀下来的几句大实话：
第一，RL和大模型方向的面试，越来越不满足于知识“有”，而追求“透”。与其在简历上堆砌十个项目，不如把一个项目的全部细节打磨到能抵御四十分钟追问。
第二，代码功底要一直在手边。哪怕你理论说得再漂亮，如果让你二十分钟写一个界面上有stable softmax + policy gradient loss的demo你写不出来，也会非常减分。保持每周至少三次的手写代码手感是非常必要的。
第三，技术面试到最后是拼心态。最优秀的面试候选人不一定是知识最多的，而是遇到不会的问题还能保持思路清晰、有逻辑地展开的人。这一点只能靠一次次模拟面试来磨炼。
最后再分享一个功利但实用的小技巧：每次面试结束之后，趁记忆还热着，把面试官的追问往自己的知识树上组装，标注出“薄弱分支”。坚持三轮面试后，你会发现自己进步的速度远比自己闷头复习要快得多。这是我在踩过几次坑之后，最想让你也学会的一件事。
