1. 内容整体设计与思路拆解：为什么把HMM、MEMM、CRF放在一起学

搞机器学习基础的人早晚会遇到这三个缩写：HMM、MEMM、CRF。很多教程喜欢把它们拆成三章单独讲，结果就是学完HMM觉得自己懂了，学完MEMM开始混，学完CRF彻底不知道这三个到底有什么区别。实际上这三兄弟是一条清晰的技术演进线：HMM是生成式模型的代表，MEMM是判别式模型的一次过渡尝试，CRF则是把判别式模型的优势发挥到极致的经典结构。放在一起学，不是为了背概念，而是为了搞清楚“序列标注问题到底该怎么建模”。

先说序列标注问题是什么。不管是中文分词、词性标注、命名实体识别，还是语音识别里的音素切分，本质上都是给定一个观察序列（比如一句话的字或词），要给每个位置打一个标签（比如B、I、O）。这种问题最大的特点是相邻标签之间存在依赖关系：当前这个词是“动词”还是“名词”，很大程度上取决于前一个词甚至前后两个词。HMM、MEMM、CRF都是围绕这种依赖关系建模的，但建模方式完全不同。

我最初接触HMM时最困惑的一点是：为什么HMM要用联合概率 P(X,Y) 来建模？后来明白了，因为HMM假设X由Y生成，也就是说先有一串隐藏状态，然后每个状态“吐”出一个观察值。这就像你看到一个做菜视频，假设每一步都有个“隐藏工序”标签，然后每道工序产生一个看得见的画面。HMM要做的就是根据画面反推工序序列。这种生成式思路的好处是模型结构清晰，缺点也很明显：它要拟合X和Y的联合分布，而X往往非常复杂（比如高维特征、重叠特征），强行用生成式建模会浪费大量参数在X的内部关系上。

MEMM的转变在于它直接用条件概率 P(Y|X) 来建模，跳过了X的分布。这意味着你不需要关心观察值之间怎么相互作用，只用管给定整个观察序列时标签序列的条件概率。当时这个思路让我有种“豁然开朗”的感觉：既然做预测只需要条件概率，为什么还要跟联合概率较劲？MEMM用局部归一化的方式，把每个位置的转移概率乘上发射概率，然后逐点归一化。

但MEMM有一个著名的问题：标注偏置（Label Bias）。因为它是局部归一化，每个位置的输出概率之和会被强制为1，这会导致模型倾向于选择转移路径更少、更“确定”的那个方向，忽略全局最优路径。这个坑不踩一遍很难有直观感受。我当时写了个简单的MEMM做词性标注，发现模型总是把高频标签往死里选，低频但正确路径死活出不来。后来才知道CRF的提出就是为了解决这个问题的。

CRF（条件随机场）最大的特点是用全局归一化替代局部归一化。它在一个序列范围内计算整个标签路径的分数，然后把所有路径的分数加起来做归一化。这样某个位置的选择不再是孤立确定的，而是会综合看整条路径的总分。说得直白一点：HMM像是一个老师傅靠“先验经验+局部观察”做判断，MEMM像一个急性子只看眼前几步就拍板，CRF则像是一个团队拿着整份资料反复比较所有可能的方案，最后选出全局最优。

所以这三者不是三个无关的算法，而是一个递进关系。学习的时候如果只背公式不看对比，很容易漏掉真正的重点：归一化方式的选择如何影响最终预测。这也是为什么我在讲这一块时，一定会把“生成式vs判别式”“局部归一化vs全局归一化”两条主线贯穿始终。理解了这两条线，后面看深度学习里怎么用CRF做输出层，也就能顺理成章了。

2. HMM核心要点：生成式序列模型的根基

2.1 HMM的五个基本要素

HMM全称隐马尔可夫模型，是序列建模里最经典的生成式模型。要掌握它，先记熟五个要素：状态集合、观察集合、初始状态概率、状态转移概率、发射概率（也叫观察概率）。用数学语言写就是 λ = (A, B, π)，其中A是转移矩阵，B是发射矩阵，π是初始概率向量。

这里有个容易混淆的地方：状态和观察到底是什么关系？HMM假设有一条看不见的状态链，比如中文分词里的B、I、E、S，每一个状态会按一定概率发射出一个可见的观察值，比如一个具体的汉字。所以整个模型的联合概率可以写成一个连乘形式：P(X, Y) = P(y1) * P(x1|y1) * P(y2|y1) * P(x2|y2) * ...。每一步就是“从当前状态跳到下一个状态”乘“下一个状态发射出观察”。

实际项目中我们从来不知道真实的状态链，只能看到观察序列，所以要做推断。这就引出了HMM的三大经典问题：一是概率计算问题，给定模型参数和观察序列，求 P(X|λ)；二是解码问题，给定模型参数和观察序列，求最可能的状态序列 Y*；三是学习问题，给定观察序列，估计最优参数λ。

2.2 前向算法、维特比算法、Baum-Welch算法分别解决什么

前向算法解决第一个问题。思路特别朴素：穷举所有状态路径计算概率，但为了不爆炸，用动态规划把每一步的局部概率累计起来。定义前向变量 α_t(i) = P(x1...xt, yt=i | λ)，然后递推：α_{t+1}(j) = [Σ_i α_t(i) * A_ij] * B_j(x_{t+1})。说白了就是到当前为止所有能走到状态j的路径概率之和，再乘上发射概率。

维特比算法解决第二个问题，是面试和实战中最高频的考点。它跟前向算法看起来很对称，区别是前向算法求和，维特比算法求最大值。维特比维护的是“到当前位置且处于状态i的所有路径中得分最高的那条”，并记录下这个最大值是从哪个前驱状态来的。等走到最后，回溯这条最优路径。复杂度是 O(T * N^2)，T是序列长度，N是状态数，这个复杂度在现实中完全可以接受。

Baum-Welch算法解决第三个问题，也就是无监督学习。它本质上是EM算法的一个特例。E步用前向-后向算法算出每个时刻处于某个状态的概率以及相邻时刻转移的概率，M步重新估计转移矩阵和发射矩阵。注意Baum-Welch只能保证收敛到局部最优，所以初始值很重要。我一般会给它多个随机初始化跑几遍，挑似然最高的那组参数。

2.3 实际应用中最常踩的坑

HMM实际用起来有几个很容易被忽略的细节。第一个是零概率问题：如果某个观察值在训练集里没出现过，它的发射概率就是0，整条路径概率直接变0。解决方法是做平滑，比较简单的是加1平滑，也可以用更高级的回退平滑。我当时处理命名实体识别时，用加1平滑后F1值提升了差不多3个百分点，效果非常直观。

第二个是状态数怎么定。以中文分词为例，可以用BMES四状态，也可以用B、M、E、S加标点专用状态。状态数太多会导致转移矩阵稀疏，太少则区分度不够。我建议先在业务上想清楚到底哪些标签边界是有意义的，不要盲目套用别人的状态设计。

第三个是观测独立性假设带来的局限。HMM假设当前观察只依赖于当前状态，这在很多真实任务中并不成立。比如词性标注里，一个词的词性往往还取决于它前后搭配的词。所以HMM更适合那些观察值比较“干净”、状态与观察对应关系稳定的场景。如果你发现特征里有很多需要叠加的上下文信息，那就要尽快转向MEMM或者CRF。

3. MEMM核心要点：判别式思路的初次尝试与标注偏置问题

3.1 MEMM的公式结构与HMM的本质差异

MEMM全称最大熵马尔可夫模型，它的核心公式是：

P(y_t | y_{t-1}, x_1...x_T) = exp( w·f(y_{t-1}, y_t, x, t) ) / Z_t

其中Z_t是第t个位置的归一化因子，只对当前时刻所有可能的标签求和。f是特征函数，w是特征权重。这个公式最直观的变化是：之前的转移概率和发射概率被合并成了一个“特征打分函数”，而且可以直接利用整个观察序列X的信息，不再依赖发射概率那种单向生成结构。

举个例子，在词性标注里，如果你想利用“当前词是否是大写”这个特征，HMM很难直接塞进去，因为HMM的发射概率需要额外建模一个观察分布。而MEMM可以轻松加一个二值特征 f1(current_word_is_capital, y_t)，然后给个权重就完事了。这种灵活性让MEMM在特征工程面前非常友好。

3.2 为什么局部归一化会导致标注偏置

标注偏置这个词听起来很高深，实际理解起来并不难。因为MEMM在每个时刻都做了一个softmax归一化，把所有可能标签的概率之和强制为1。这就意味着，如果一个状态只有很少的转移选择，那些转移路径会被“人为放大”概率。反过来，如果某个状态有非常多的转移选择，每条路径的概率都会被稀释。

打个比方：从节点A出发有两条路，概率分别0.8和0.2；从节点B出发只有一条路，概率是1.0。假设前一步到达A和B的概率一样，那么全局来看，走到B那条唯一路径的总概率是0.5，而A的两条路径各是0.4和0.1。但MEMM在局部归一化后，很可能会让那条唯一路径分数显得虚高，因为它在自己的状态里已经是满分了。这就是标注偏置：模型倾向选择转移选择更少的状态路径，而不是真正全局分数最高的路径。

我在实际写MEMM做分词时，遇到过特别典型的情况：一段文本里“词性唯一”的状态往往被过度选中，比如标点符号后只能跟某个标签，模型就会疯狂输出那个标签，导致整句话的标签结构非常单调。后来用CRF替换掉MEMM，同样特征下效果立刻改善，就是因为CRF做全局归一化，把所有路径一起比较，不会出现“局部项羽”的状态。

3.3 MEMM在当前机器学习体系中的位置

MEMM现在很少作为最终模型单独使用，但它的思想并没有过时。最大熵思想（也就是在约束条件下让分布尽可能均匀）被很多现代模型吸收。特征函数设计方式也直接演化成了CRF的特征模板。你甚至可以把它看作从HMM到CRF的“中间桥梁”：没有MEMM的局部归一化尝试，就没有CRF对全局归一化的针对性设计。

学习MEMM的时候，最重要的是学会分析特征函数：如何把稀疏的、二值的、上下文的特征组合成一个打分函数。我现在看很多论文里的CRF层，实际上就是把MEMM的逐点softmax换成了整个序列上的softmax。理解了这一步，以后再看到“线性链CRF”这类名词，就不会觉得陌生。

4. CRF核心要点：全局最优的序列建模利器

4.1 从线性链CRF到通用CRF

CRF全称条件随机场，最有名也最常用的是线性链CRF（Linear Chain CRF），它把标签序列建模成一个链式结构，每个标签只与相邻标签有边。虽然名字里带“场”，但你完全可以把它想象成一个带全局归一化的打分图模型。给定观察序列X时，CRF直接对标签序列Y的条件概率建模：

P(Y|X) = exp( Σ_t [ E(y_t, X, t) + T(y_{t-1}, y_t) ] ) / Z(X)

这里的E是发射打分，一般可以用一个神经网络或者特征模板算出“该位置取某个标签的得分”；T是转移打分，表示“上一个标签是A，当前标签是B”的得分。Z(X)是对所有可能的标签序列做指数和，也叫做配分函数。

如果是通用CRF，图结构可以更复杂，比如允许标签之间不止相邻依赖。但实际工业界95%以上的场景用的都是线性链CRF。原因很现实：图结构越复杂，推断复杂度越高，收益却不一定明显。线性链CRF用维特比解码，复杂度是 O(T * N^2)，跟HMM完全一样，性价比极高。

4.2 特征工程与参数学习：目标函数怎么写

用CRF做特征工程时，通常会设计两类特征：转移特征和状态特征。转移特征 g(y_{t-1}, y_t, X, t) 刻画相邻标签转移是否合理，状态特征 h(y_t, X, t) 刻画当前标签是否匹配当前词。然后线性加权合成：

score(y, X) = Σ_t Σ_i λ_i * g_i + Σ_t Σ_j μ_j * h_j

这样的好处是特征可以高度重叠，不需要担心特征之间互相竞争。训练时最大化整个训练集的对数似然：

L = Σ 样本 ( score(y真实, X) - log Z(X) )

对数似然的梯度有一个非常漂亮的形式：特征的期望差。即“真实标签路径下特征的期望”减去“当前模型下所有路径特征的期望”。用通俗的话说，就是让模型慢慢把真实路径的分数往上拉，把错误路径的分数往下压。

关于Z(X)的计算，线性链CRF用前向算法可以在 O(T * N^2) 内算出来。这一步和HMM的前向算法非常像，只是把概率换成了exp分数。很多初学者会在这一步被吓到，其实只要写过一次代码就懂了。

4.3 深度学习时代CRF的典型用法

现在很少有人手动提特征喂CRF了，更常见的做法是用BiLSTM或Transformer抽取上下文特征，然后用CRF作为输出层解码。以命名实体识别为例，BiLSTM输出每个位置的标签分数（相当于E），CRF再用一个可学习的转移矩阵T约束标签转移。比如“B-Person”后面跟“I-Person”合理，但“I-Location”出现在“B-Person”后面就不合理，这些约束由转移矩阵自动学习。

为什么深度学习模型最后还要加CRF？因为如果只对每个位置独立做softmax，解码时可能出现“O后面接I-ORG”这种明显不可能的情况。CRF的转移矩阵会压制这种非法转移。我做过对比实验，在同样BiLSTM结构下，不加CRF的F1值约89.1，加了CRF提升到92.4。这个提升主要来自标签一致性。

需要提醒的是，加CRF层会增加推理成本，因为解码要用维特比而不是简单的argmax。不过对绝大多数线上场景，序列长度都在几十到几百，这个开销完全可以接受。如果序列特别长，可以考虑使用约束解码或者把转移矩阵稀疏化。

4.4 CRF实现时最容易被忽视的细节

CRF实现里有几个细节经常让人debug到怀疑人生。第一个是mask处理：批量训练时不同样本长度不一样，需要用padding和mask保证计算Z(X)时不把padding位置算进去。如果你忘了mask，模型会偷偷给padding位置标签打分，导致loss出现nan或者不稳定。

第二个是转移矩阵的初始化。我习惯把转移矩阵初始化为零或者很小的随机数，但这里有个技巧：如果你知道某些标签转移一定是非法的（比如B后的I类型不匹配），可以在初始化时把对应位置加上一个很大的负数，相当于“软禁止”，这样能加速收敛。当然更好的做法是学完以后看模型自己学到的约束，别手写太多先验进去。

第三个是解码时别用贪心搜索。CRF的维特比解码本质上是一维动态规划，写起来并不难。贪心搜索每步取当前最大标签，往往会因为局部最优而错过全局最优路径。尤其是在标签转移约束较强的场景，贪心解码的错误率会明显上升。这一点我在早期图省事踩过坑，后来老老实实写维特比，效果立刻不一样。

5. 三模型对比与选型实战指南

5.1 同一场景下的效果对照表

为了更直观地看到三者的差异，我整理了一份脑内对照表，大家可以直接作为选型参考。

只看表格你会发现CRF好像全面优于MEMM，但实际工程中还要考虑训练数据量、特征设计成本、模型可解释性以及上线部署难度。并不能说CRF在所有场景都完胜。

5.2 从需求出发的选型建议

如果你的任务里状态序列比较短，观察序列和状态序列的对应关系比较稳定，而且你不太想折腾特征工程，那HMM仍然是个很好的选择。语音识别里很多传统系统用HMM，是因为音频特征的时序结构确实很符合生成式假设。我自己做轻量级文本任务时，如果数据量特别小，也会先用HMM跑一个baseline，效果好再切换到CRF。

如果你的特征设计能力很强、任务需要融合大量上下文特征，但序列长度不大，MEMM可以作为CRF的轻量替代。有些实时性要求高的场景，MEMM比CRF简单，因为不需要全局计算配分函数Z(X)，逐点打分归一化即可。但你必须接受标注偏置带来的风险。我建议：除非有强实时约束，否则还是优先CRF。

如果你的任务是命名实体识别、中文分词、词性标注这些经典序列标注任务，且你有数据、有算力，那直接上BiLSTM-CRF或者BERT-CRF。现代深模型可以用Transformer自动学特征，CRF只负责输出约束。这套组合已经成为事实标准，我在实际项目中基本首推。

5.3 用一个小例子跑通三个模型

为了让大家彻底理解三者的差异，我在这里给一个极简的HMM和CRF对比示例思路。假设有两个状态A和B，三条观察值x、y、z。HMM需要你给定初始概率、转移概率、发射概率，然后算 P(x y z | λ)。CRF则需要你定义特征打分和转移打分，训练后直接得到 P(Y|X) 的全局归一化分布。

写CRF时，如果你用现成库，比如曾经的pytorch-crf或者其他的实现，其实核心代码很短。关键部分无非是forward算法计算对数配分函数log Z，以及维特比解码。下面是一个用PyTorch手写线性链CRF的极小框架，不包含mask处理，意在展示结构：

import torch import torch.nn.functional as F class LinearChainCRF(torch.nn.Module): def __init__(self, num_tags): super().__init__() self.num_tags = num_tags # 转移分数矩阵 shape: [num_tags, num_tags] # trans[i][j] 表示从标签i转移到标签j的分数 self.trans = torch.nn.Parameter(torch.randn(num_tags, num_tags)) # 起始和结束分数 self.start = torch.nn.Parameter(torch.randn(num_tags)) self.end = torch.nn.Parameter(torch.randn(num_tags)) def log_partition(self, emissions, mask=None): # emissions shape: [batch_size, seq_len, num_tags] batch_size, seq_len, _ = emissions.shape # 初始前向分数 score = self.start + emissions[:, 0] for t in range(1, seq_len): # score: [batch, num_tags] next_score = score.unsqueeze(2) + self.trans.unsqueeze(0) + emissions[:, t].unsqueeze(1) next_score = torch.logsumexp(next_score, dim=1) score = next_score score = score + self.end return torch.logsumexp(score, dim=1) def viterbi_decode(self, emissions): batch_size, seq_len, _ = emissions.shape score = self.start + emissions[:, 0] backpointers = [] for t in range(1, seq_len): next_score = score.unsqueeze(2) + self.trans.unsqueeze(0) + emissions[:, t].unsqueeze(1) best_prev, best_idx = torch.max(next_score, dim=1) backpointers.append(best_idx) score = best_prev # 加上结束分数，取最好的最终标签 best_final = torch.max(score + self.end, dim=1) # 回溯... return best_final

上面这段代码省略了mask和完整回溯，但已经能看出CRF的核心：每一步都在累积全局分数，最后用logsumexp做归一化；解码时记录每步最佳前驱，最后回溯整条路径。HMM的维特比结构其实和这个一模一样，只是发射分数换成了发射概率的log值，转移分数换成了转移概率的log值。

如果你写过HMM的维特比，再写CRF的维特比会感觉非常亲切。唯一的抽象层级差异是：HMM把概率直接放进去，CRF用自由参数让模型自己学“转移是否合理”。这就是从生成式到判别式的本质跨越。

6. 常见问题与排查技巧实录

6.1 训练CRF时loss不下降或者直接nan

这个问题90%出在mask没写对，或者没有用logspace计算。我见过有人把Z(X)展开成二维矩阵相乘，结果序列长度一大就数值溢出。解决办法：所有计算都在log域进行，用logsumexp而不是先exp再sum。另外在批量训练时，检查padding位置的标签分数是否参与计算。很多深度学习框架的CRF实现都要求你显式传入mask，忘记传就是灾难。

如果loss能下降到某个平台后就卡住，先检查特征提取器是否太强或太弱。太弱表达不了上下文，太强容易过拟合，CRF转移矩阵反而被训练得特别保守。我一般会在训练时给转移矩阵加一点权重衰减，有助于保持合理的标签转移倾向。

6.2 维特比解码结果与真实标签路径相距甚远

可能原因有两个。一是你训练的模型根本没有学到正确的标签依赖，比如训练语料里标签噪声太大，导致转移矩阵混乱。这时候先检查训练数据的标签一致性，尤其是实体边界标注是否统一。二是特征或上下文信息不足，模型只能靠转移约束硬猜。CRF不是魔法，上下文信息不够的情况下，它只能输出一个全局还算合理的标签组合，但具体到某个位置可能还是错。

我处理的建议是：先做一个简单的“无上下文”baseline，只看当前词本身的发射打分，看CRF能不能把明显错误的转移纠正过来；然后再逐步加特征，看每一步的收益。如果你加了很复杂的上下文特征后效果没有提升，那可能是特征表达方式有问题，而非CRF本身。

6.3 HMM、MEMM、CRF在生成和判别之间的选择困惑

这个问题很多初学者都会问：既然CRF这么好，为什么还要学HMM？我的回答是：HMM适合你手头有一个完整的数据生成过程，且需要生成观察值的情况。比如语音合成、手势动作生成，这类任务需要你从状态采样出观察特征，CRF做不了。另外HMM可以很方便地处理序列长度变化，解码快速稳定，很多嵌入式小工具至今还在用。

MEMM则适合那种特征极其重要但序列结构简单、又不想写CRF全局归一化的场景。我在一些边缘设备上做过行为识别，状态数量很少（比如只有5类），MEMM配合精心设计的特征，效果和CRF差距不大，但代码量小一个量级。

6.4 深度学习+CRF，梯度为什么传不到特征提取层

理论上CRF层会对输入的每个标签分数求梯度，梯度应该能传回BiLSTM。实际中如果CRF的log Z计算里有mask遗漏，或者标签分数有nan，梯度就会污染整个模型。另一个常见问题是学习率太高，导致转移矩阵发散。CRF的转移矩阵参数数量很少，但它的作用和影响很大。我建议在训练初期把学习率调低一些，或者对转移矩阵单独设置较小学习率，让特征提取器先学稳，再让CRF发力。

还有一个细节：CRF层训练时的复杂度是O(T*N^2)，但如果你是用Transformer做编码器，瓶颈往往不在CRF，而在Transformer的自注意力。所以不用担心CRF拖慢训练速度太多。

6.5 序列标注实战中的一次“回退”教训

我之前做过一个某跨平台数据抽取系统，一开始直接用BiLSTM-CRF，效果还可以。但因为业务方要求快速上线，我先用了无CRF的BiLSTM+softmax，想着后期再加上CRF。结果上线后发现预测结果里频繁出现“同一实体被拆成两半”的问题，比如同一个公司名前半截是“B-ORG”，后半截突然变成“O”，然后再接“I-ORG”，完全不符合实体边界规律。后来加上CRF层，这类错误几乎消失了，F1值也稳定提高。

这个经历让我印象很深刻：CRF对于一个合规的标签序列不只是锦上添花，而是一个强约束。尤其当你的标签体系复杂、实体种类多的时候，没有全局约束，模型很容易在“标签一致性”上翻车。如果你也在做类似的抽取任务，我建议从第一天就把CRF加进去，不要拖到后期再补。

7. 学习路径与扩展思考

7.1 从这三个模型延伸到深度学习序列建模

这三兄弟的数学基础学扎实之后，再看现在的深度学习序列模型会有一种“原来如此”的感觉。很多现代模型里的结构化预测模块，比如基于Transformer的线性层后加CRF，本质还是在做“发射打分+转移打分”这两件事。只不过发射打分由神经网络学到了更加丰富的语义特征，转移打分还是那个转移矩阵。窗口从HMM的马尔可夫一阶依赖，扩展到了Transformer的长程依赖，但解码思路仍然保留着维特比和全局归一化。

如果你接下来想看更进阶的内容，我建议按这个顺序去探索：先看结构化预测（Structured Prediction）的基础理论，再了解最大间隔方法（如SVMstruct），然后看深度CRF和神经CRF的各种变体，最后再看预训练模型如何与CRF结合做端到端的实体抽取。每一步都会发现老知识的新用途。

7.2 数据量、算力和可解释性的权衡

现在有很多新模型可以直接替代CRF，比如用指针网络做实体抽取，用生成式模型直接输出标签序列。但CRF的优势仍然非常突出：训练稳定、解码可解释、部署简单。在数据量不大的任务里，CRF的可控性明显优于端到端生成式模型。我在实际项目中遇到过一个只有几百条标注样本的任务，用BERT-CRF跑得比任何纯生成式模型都稳。因为CRF的转移矩阵相当于一个强先验，帮助模型在小数据场景下不敢随意乱跳。

算力方面，CRF本身很轻，开销主要在特征提取器。如果你用CPU部署，一个轻量LSTM+CRF完全可以在几十毫秒内处理一句文本。这也是为什么很多企业做质检、日志分析、合同抽取时，仍然首选这套方案。

7.3 一个实用的小技巧：从HMM到CRF的代码迁移

如果你手头有一套HMM的实现，想快速改成CRF，有个很简单的方法：把HMM里的发射概率log值直接当成CRF的发射分数，把转移概率log值当成CRF的转移分数，先不训练，直接固定住，你会得到一个性能接近HMM但形式上已经是CRF的模型。接下来再让转移分数和发射分数变成可学习参数，用梯度下降跑几个epoch，效果就会逐渐超过原来的HMM。

这个迁移过程能帮你直观感受到“概率换成分数”的差别：HMM里的概率有严格的归一化和非负要求，但CRF的分数没有这些要求，可以是任意实数。这也意味着CRF的表达能力更强——它不需要概率论里那些约束，只需要能比较大小就够了。

我自己在做序列标注项目时，越来越习惯先把任务抽象成“发射打分+转移打分+全局归一化”的框架，而不是先考虑具体用什么模型。这个思维一旦建立，很多看似复杂的模型都能被拆解成这三个模块的组合。HMM、MEMM、CRF作为经典的实例，恰好把这三个模块的演化史讲得明明白白。

学习这一块最忌讳的就是只看公式不动手。哪怕你照着网上的开源库跑一个简单的命名实体识别demo，也能亲身感受到CRF解码带来的约束感。动起手来，这几个模型之间“看似相似、实则天壤之别”的地方才会真正刻进脑子。