先分清三件事很多人把训练大模型当成一个动作其实它是一条流水线每一段解决的是完全不同的问题预训练让模型学会语言的统计规律得到一个会续写的基座模型微调把会续写变成会按要求回答问题对齐让回答更符合人的偏好——有用、无害、诚实跳过任何一段模型都不好用顺序颠倒代价会大得多。预训练把语言规律压进参数这一步做的事很朴素拿海量文本让模型不断预测下一个词。预测错了就调整参数预测对了就强化。它学到的不是知识条目而是语言的统计结构——词与词怎么搭配、句子怎么延续、某个话题通常讨论哪些方面。正因为如此基座模型很会续写却不太好用你问它一个问题它可能接着编出更多类似的问题而不是回答你。这一步最贵因为数据量和算力需求最大而且它决定了能力上限——后面两步都是在已有能力上做取舍和引导。微调从会续写到会对话预训练完成后模型只会续写。微调要做的是给它示范把大量指令 → 恰当回答的样例喂进去让它学会把问题当成任务来处理。它的本质是格式与行为的塑形模型本来就有能力微调教会它用什么姿态输出。对齐让它按人的偏好回答微调之后的模型已经会答了但答案未必是你想要的——可能太啰嗦、可能过度回避、可能说些不该说的。对齐这一步通常用比较来做给模型两个回答由人判断哪个更好模型学着去预测这个偏好。它塑造的是取舍标准而不只是格式。海量文本语料预训练学习语言统计规律基座模型会续写指令微调学习按指令作答指令模型会对话对齐学习人类偏好可上线的助手模型为什么顺序不能乱三个阶段的依赖是单向的预训练给出原始能力微调把它组织成可用行为对齐在可用行为上做偏好裁剪。如果先做对齐再做微调对齐成果会被后续微调冲掉——因为微调是在直接改行为分布并不区分哪些行为是对齐得来的。阶段解决什么问题典型做法缺失时会怎样预训练获得语言与知识的基本能力大规模文本上的下一词预测没有可用能力后续无从谈起指令微调把能力组织成按指令回答指令与回答的示范数据会续写但不会答题像在自言自语对齐让取舍符合人的偏好基于人类偏好的比较式训练答得出但啰嗦、不合用或不可靠三个常见误解误解一预训练过时了。恰恰相反它是能力上限所在。后两步只能把已有能力整理得更好很难凭空增加。误解二微调能教新知识。微调更擅长调整行为与格式。想靠它稳定注入新事实通常不如检索或提示可靠。误解三对齐会让模型变笨。对齐确实会改变输出分布取舍做得好是更合用做得差才是更保守。它是一把需要调的刀而不是必然的退化。收尾把这三步理解成造能力 → 教用法 → 定取舍很多关于大模型能力的困惑会自然消解模型答不好时先判断是能力不够预训练、不会用微调还是取舍不合你意对齐。