1. 从“判对判错”到“判得多错”：感知机如何定义学习目标

感知机系列走到第二篇，上一篇我们把模型结构说清楚了：输入向量经过加权求和，再过一个符号函数，输出正类或负类。模型长什么样不是问题，真正的问题是——怎么让它通过数据学会正确的权重？这就是学习策略要解决的事情：你得先定义什么叫“学得好”，才能把“学”这个行为变成可以计算、可以优化、可以收敛的过程。

我见过不少初学者在这块栽跟头。他们潜意识里会觉得，感知机的目标就是把训练样本全部分类正确，那损失函数数一下分错的样本个数不就行了？听起来顺理成章，但你要是真拿这个当优化目标去推梯度，马上就会发现一个尴尬的事实：分错样本的个数是个阶梯函数，它不平滑、不可导、梯度到处是零，根本没法用梯度下降去优化。你连“往哪个方向调权重”这个最基本的问题都回答不了。

所以感知机的学习策略需要换一个视角：不要盯在“分类对不对”上，要盯在“分错的离谱程度”上。换句话说，误分类样本离正确边界有多远，这才是值得优化的量。离得越远，说明当前模型在这个样本上错得越厉害，需要调整的幅度也越大；离得近，说明快对了，稍微动一动就行。把“错的程度”量化出来，得到一个连续可导的目标函数，梯度就有了明确的几何意义，优化也就有了方向。

这就是感知机学习策略的核心思想：基于误分类点到超平面的总距离来构造损失函数。这篇文章我会把这个策略从直观到数学一步步拆开讲清楚，包括为什么要用距离而不是用错误个数、损失函数的每一项是怎么来的、梯度下降怎么在这个损失上落地，以及收敛性背后的前提条件。最后附上我在实际调试中积累的一些经验，尤其是特征缩放和初始化这两个容易踩坑的地方。

2. 损失函数为什么是“距离的总和”：从几何直觉到数学表达

2.1 超平面和点到平面的距离

先把几何基础打牢。感知机的模型是：

y = sign(w · x + b)

这里的 w · x + b = 0 定义了一个超平面，它把特征空间切成两半。对任意一个样本点 x，w · x + b 的绝对值大小反映了这个点离超平面的远近，符号则反映了它在哪一侧。严格来说，点到超平面的距离是：

distance = |w · x₀ + b| / ||w||

其中 ||w|| 是权重向量的 L2 范数，也就是欧几里得长度。这个分母很关键，它把“带权距离”归一化成了“几何距离”。想象一下：如果 w 整体放大 10 倍，w · x + b 的值也放大 10 倍，但超平面本身没动，样本点到平面的真实几何距离也没变。不带分母的话，你会误以为所有样本都突然离平面远了很多，这显然不合理。

打个比方：你在北京问路，人家告诉你“往东走 3000 米”，这是有单位的真实距离。但如果他告诉你“往东走 300 个单位”，你肯定要追问“一个单位是多长？”——w · x + b 就是那个“单位数”，||w|| 才是“单位长度”，两者一除，才是真实的米数。

2.2 误分类样本的几何特征

理解了距离公式，接下来看误分类样本长什么样。对于训练样本 (xᵢ, yᵢ)，其中 yᵢ 是 +1 或 -1。如果分类正确，意味着 sign(w · xᵢ + b) 和 yᵢ 同号，也就是 yᵢ(w · xᵢ + b) > 0。

反过来，误分类的条件就是：

yᵢ(w · xᵢ + b) < 0

这里 yᵢ(w · xᵢ + b) 负得越厉害，说明样本被分错的程度越严重——要么是它明明在正侧，却被模型判定到离边界很远的地方，要么是反过来的情况。更重要的是，误分类时 yᵢ(w · xᵢ + b) 的负值大小恰好等于一个“带符号距离”的相反数。它虽然带着 ||w|| 这个尺度因子，但几何方向和相对大小都是对的。

误分类点到超平面的几何距离，就可以写成：

distance = -yᵢ(w · xᵢ + b) / ||w||

前面加负号是因为误分类时 yᵢ(w · xᵢ + b) 是负数，取负之后得到正值。这个式子就是感知机损失函数的核心构件。

2.3 忽略 ||w|| 的深层理由

感知机损失函数最终写成：

L(w, b) = -Σ yᵢ(w · xᵢ + b)

求和范围只包括被误分类的样本，也就是所有满足 yᵢ(w · xᵢ + b) < 0 的那些 i。注意这里没有除以 ||w||。

为什么不除？我见过很多资料对此一笔带过，但它其实值得停下来想一想。直接的答案是：感知机用的是随机梯度下降，每次只拿一个误分类样本来更新，除以 ||w|| 会让梯度形式变得极其复杂，而且本质上没有必要。如果保留分母，损失变成 L = 总距离，那么对 w 求梯度时，分母 ||w|| 也是 w 的函数，梯度里会多出几项牵涉到全局样本的项，每更新一步都得重新算一遍所有误分类点的信息，计算量上去了，优化行为反而变得难以控制。

更重要的是，从优化目标的角度看，除以不除以 ||w||，误分类样本之间的相对关系并没有本质变化。我们优化的目的不是让损失函数的绝对值降到某个标准，而是让梯度指引权重走向一个能让所有样本正确分类的地方。去掉 ||w|| 得到的损失函数仍然是误分类样本的连续可导函数，梯度方向依然指向“减小误分类程度”的方向，这就够了。

注意：不除以 ||w|| 的损失函数确实不具备“几何距离”的不变性，权重缩放会导致损失值变化。但在感知机的迭代框架里这完全不影响收敛性，因为每次更新后权重本来就在变，模型关心的是超平面的位置，而不是损失尺度的稳定。

2.4 合页损失的视角：换个门类看同一个函数

如果把感知机损失展开来看，对单个样本的贡献其实是：

max(0, -yᵢ(w · xᵢ + b))

也就是当 yᵢ(w · xᵢ + b) > 0 时贡献为 0，当它小于 0 时贡献为其负值。这个形式和 SVM 里大名鼎鼎的合页损失（hinge loss）一模一样。区别在于 SVM 会在这个损失后面加上一个正则项，追求“最大间隔”，而经典感知机没有正则项，它只求把误分类样本拉回正确的一侧。

有意思的是，合页损失这个“门类”的选择本身就体现了感知机学习策略的性格：它对已经正确分类的样本完全不在乎，无论你离边界多远，损失都是 0。这意味着感知机训练出来的超平面往往不是“最优间隔”的那个，它只是在“把所有样本分对”这件事上停下来了——具体的停止位置取决于初始权重和样本顺序。这是感知机和 SVM 的本质区别，也是理解感知机局限性的关键。

3. 学习策略的优化落地：从损失函数到参数更新规则

3.1 梯度推导：为什么更新规则长这样

有了损失函数 L(w, b) = -Σ yᵢ(w · xᵢ + b)，下一步就是用梯度下降来优化它。严格来说，整个误分类样本集合上的损失是一个求和，若用批量梯度下降，需要对每个误分类样本求梯度再累加。但感知机的标准做法是随机梯度下降：每次随机挑一个误分类样本，只根据它的梯度做一次更新。

先求单个误分类样本 (xᵢ, yᵢ) 对损失贡献部分的梯度。由于：

∂Lᵢ/∂w = -yᵢ xᵢ ∂Lᵢ/∂b = -yᵢ

梯度下降的更新方向是梯度下降方向，也就是梯度的负方向，所以：

w ← w + η yᵢ xᵢ b ← b + η yᵢ

其中 η 是学习率。这就是感知机更新规则的完整推导。它的几何含义非常直观：如果样本 xᵢ 被误分类了，就把权重往 yᵢ xᵢ 的方向拉。比如 yᵢ = +1 的样本被分到了负侧，说明 w 在 xᵢ 方向上的投影不够大，那就给 w 叠加上 xᵢ 方向的分量，让下一次判断时这个样本更容易落在正侧。

需要注意的是，学习率 η 的选择对收敛速度有一定影响。但感知机有个特殊性质：如果 η 只影响步长的大小而不影响方向，那么它对收敛结果的影响是有限的，因为每次更新只关心符号方向。这也是为什么很多教材里直接取 η = 1，推导时省略它也不影响逻辑完整性。

3.2 更新规则的直观解读与一个小实验

为了让你对更新规则有肌肉记忆，我建议你在纸上跑一个最简单的二维例子。假设初始 w = (0, 0)，b = 0。样本 A 是 (1, 1)，标签 +1；样本 B 是 (-1, -1)，标签 -1。学习率 η = 1。

• 遇到 A 时，w · A + b = 0，刚好等于 0，感知机认为这是误分类边缘，按规则更新：w 加上 (1, 1)，b 加上 1，变成 w = (1, 1)，b = 1。
• 再遇到 A，w · A + b = 3，大于 0，分类正确，不更新。
• 遇到 B 时，w · B + b = -1，小于 0，误分类，更新：w 减去 (-1, -1)，变成 (2, 2)，b 变成 0。
• 再遇到 B，w · B + b = -4，还是误分类，继续更新：w 变成 (3, 3)，b 变成 -1。
• 然后判断 A：w · A + b = 5，正确。判断 B：w · B + b = -7，错误，继续更新。

你会发现 w 的模长在不断增大，超平面在反复摆动中逐渐往“能同时分对 A 和 B”的位置靠。这就是感知机训练的真实过程：在来回纠错中逼近可行解，而不是像逻辑回归那样平滑地逼近最优解。

3.3 对偶形式：提前算好样本内积的学习策略变体

感知机学习策略还有一个重要的变体——对偶形式。它的思路是：既然每次更新都是 w ← w + η yᵢ xᵢ，那么训练结束后，w 和 b 必然可以写成训练样本的线性组合：

w = Σ αᵢ yᵢ xᵢ b = Σ αᵢ yᵢ

其中 αᵢ 是样本 xᵢ 在训练过程中被更新时累积的次数（乘以学习率后）。如果 η = 1，αᵢ 就是 xᵢ 被误分类而触发的更新次数。

对偶形式的核心是把 w 的显式表示替换成 αᵢ 的迭代。在判断样本 xⱼ 是否误分类时，需要计算：

w · xⱼ + b = Σ αᵢ yᵢ xᵢ · xⱼ + Σ αᵢ yᵢ

这就涉及样本之间的内积 xᵢ · xⱼ。如果预先算出 Gram 矩阵（所有样本两两内积的矩阵），后续迭代只需要查表和做加法，不需要每个样本都跟当前 w 做一次完整的内积运算。在高维特征空间里，这个技巧能把单次判断的计算复杂度从 O(d) 降成 O(n)，n 是样本数，d 是特征维数。当 d 远大于 n 时，收益非常明显。

也正是这条对偶形式的路子，后来启发了核感知机：把内积换成核函数，就能在隐式的高维空间里做分类，而无需显式定义特征映射。这是感知机学习策略思想最具生命力的分支之一，后面有机会我再单独展开。

4. 收敛性分析：Novikoff定理的直观逻辑与前提

4.1 为什么要谈收敛：感知机不一定总能学好

感知机最让人心里没底的一点是：你永远不知道它训练到什么时候是个头，也不知道它到底能不能收敛。如果在训练集上始终存在误分类样本，程序就永远停不下来。这就引出了收敛性问题：什么条件下，感知机算法能在有限步内把所有训练样本正确分类？

Novikoff定理回答了这个问题。它的核心结论是：如果训练数据集是线性可分的（存在某个超平面能把正负样本完全分开），那么感知机的随机梯度下降算法一定能在有限次迭代内收敛；如果数据本身线性不可分，感知机算法就会在训练集上震荡，永远达不到零误分类。

4.2 定理的几何证明思路

Novikoff定理的证明并不复杂，但它体现的思想值得咀嚼。为了让叙述更清晰，我们把偏置 b 吸收进权重向量，把样本 x 扩充成 (x, 1)，这样模型就简化成 w · x > 0 判为正类，w · x < 0 判为负类，超平面过原点。

假设存在一个理想的权重向量 w_opt，它能把所有样本正确分类。不妨假设 ||w_opt|| = 1，并且存在一个正数 γ > 0，使得对所有训练样本都有：

yᵢ(w_opt · xᵢ) ≥ γ

这个 γ 就是所有样本到最优分离超平面的几何间隔的最小值，它是衡量数据“好分程度”的关键参数。每个样本至少离最优边界有 γ 的距离，这保证了数据不是无限贴近边界的病态情形。

接着设算法初始权重 w₀ = 0，第 k 次更新后的权重记为 w_k。证明分两条线走：

第一条线：下界。每次因为误分类样本 (xᵢ, yᵢ) 而更新时，w_k = w_{k-1} + yᵢ xᵢ，把它和 w_opt 做内积：

w_opt · w_k = w_opt · w_{k-1} + yᵢ(w_opt · xᵢ) ≥ w_opt · w_{k-1} + γ

递推下去就能得到：

w_opt · w_k ≥ kγ

也就是说，随着更新次数增加，当前权重在最优方向上的投影至少以 γ 的速度线性增长。

第二条线：上界。因为 w_k 是逐步叠加误分类样本得到的，且每个被误分类的样本都满足 yᵢ(w_{k-1} · xᵢ) < 0，可以推出 ||w_k||² 的增长速度是有界的：

||w_k||² = ||w_{k-1} + yᵢ xᵢ||² = ||w_{k-1}||² + 2yᵢ(w_{k-1} · xᵢ) + ||xᵢ||² ≤ ||w_{k-1}||² + ||xᵢ||²

设所有样本的模长最大值为 R，即 ||xᵢ|| ≤ R，则：

||w_k||² ≤ kR²

把两条线合起来。由内积的性质，w_opt · w_k ≤ ||w_opt|| · ||w_k|| = ||w_k||，联立两个不等式：

kγ ≤ ||w_k|| ≤ √k R

平方后得到：

k²γ² ≤ kR²

所以：

k ≤ (R/γ)²

这意味着更新次数 k 不可能无限增长，它被 R/γ 的平方封顶。换句话说，如果数据线性可分，感知机算法在最坏情况下也会在有限步内停止误分类。

4.3 定理告诉我们的三件事

这个定理的证明过程本身就透露了三个重要的实用信息：

第一，收敛速度和数据本身的“可分离程度”强相关。γ 是样本到最优超平面的最小间隔，γ 越小，意味着数据越接近线性不可分的边缘，收敛需要的迭代次数上界越大。这解释了为什么有时感知机训练半天不收敛，不是因为算法错了，而是数据本身的边界太模糊了。

第二，样本模长 R 会影响收敛上界。R 越大，说明特征的尺度越大，相同的数据分布下需要的迭代次数越多。这直接指导我们在实践里做特征缩放——把每个特征的数值范围压到相近的水平，能实实在在地加速收敛。

第三，算法的收敛性不依赖学习率的具体取值，只依赖符号方向。这意味着学习率只要取正数，收敛性的保证就不变。但学习率会影响权重更新的具体路径，在数值实现中过大可能引发数值不稳定，过小则迭代慢，实际调试中还是需要斟酌。

注意：如果数据线性不可分，感知机不会停机。实践中不能用“是否停机”来判断训练是否完成，必须自己设定最大迭代次数或误分类率阈值作为停止条件。

5. 学习策略相关的实操关键：从理论到可复现的代码

5.1 最简实现：30行代码说清楚策略的全部

理论讲再多，不如一段能跑的代码。这里给一个最小实现，只依赖 NumPy，不做任何封装，把学习策略的每个环节裸露出来。

import numpy as np class Perceptron: def __init__(self, learning_rate=1.0, max_epochs=100): self.lr = learning_rate self.max_epochs = max_epochs self.w = None self.b = 0 def fit(self, X, y): n_samples, n_features = X.shape self.w = np.zeros(n_features) self.b = 0 for epoch in range(self.max_epochs): misclassified = 0 for i in range(n_samples): # 误分类条件：y_i * (w · x_i + b) <= 0 if y[i] * (np.dot(self.w, X[i]) + self.b) <= 0: self.w += self.lr * y[i] * X[i] self.b += self.lr * y[i] misclassified += 1 if misclassified == 0: print(f"第 {epoch + 1} 轮收敛，误分类样本数: 0") break return self def predict(self, X): return np.where(np.dot(X, self.w) + self.b >= 0, 1, -1)

注意误分类条件我写的是<= 0而不是< 0。这是工程实现里一个很隐蔽的细节：当 w · x + b 恰好等于 0 时，样本落在超平面上，感知机无法给它分类。不同教材对这个边界情况处理不同，有些归为误分类，有些忽略不计。从实践角度，<=更稳妥——它保证算法会把边界上的样本也推走，避免出现权重卡在某个不动点的假收敛。

5.2 实验：看学习策略在可分数和不可分数上的不同表现

光有代码不够，我给你两组模拟实验的预期结果，方便你验证自己的实现是否正确。

第一组，线性可分的二维数据。生成两类点，正类均值在 (2, 2) 附近，负类在 (-2, -2) 附近。运行上述代码，你会观察到：前几轮迭代误分类数量快速下降，通常几十次更新后就收敛到零，权重向量的方向大致指向正类样本的中心减去负类样本的中心的方向，b 则会偏移到能让分界面位于两类中点附近的位置。

第二组，线性不可分的数据。把两类点混合，或者用环形分布。你会发现代码跑满 max_epochs 也不会收敛，误分类数量在某个区间震荡。这是感知机学习策略的天然局限，不是代码 bug。如果你需要处理这种数据，要么升级成多层感知机，要么引入核技巧，要么换用逻辑回归这类软间隔模型。

5.3 特征缩放的实战经验：影响远超你的预期

我在前面反复提到 R 和 γ 对收敛上界的影响，这里给出一个具体的实践建议：训练感知机之前，一定要对特征做标准化或归一化。这不是可选项，而是决定算法能否在合理时间内收敛的关键步骤。

设想一个特征 A 的取值范围是 0 到 1，特征 B 的取值范围是 0 到 10000。那么权重 w 中对应 B 的分量只要稍微一动，整个 w · x 的值就会剧烈变化，超平面会被这个特征牵着鼻子走。训练过程会表现为：权重在 B 方向上反复大幅度振荡，而 A 方向几乎没有有效学习。用 StandardScaler 把每个特征缩放到均值 0、方差 1，或者用 MinMaxScaler 缩放到 [0, 1]，都能让不同维度对更新步长的贡献处于同一量级。

我之前帮一位开发者排查过感知机训练发散的问题，他的数据里年龄特征是个位数，收入特征是六位数，学习率设为 0.01，结果权重直接溢出变成 NaN。标准化之后，同样的学习率跑得非常平稳。这个例子很好地说明了问题不一定出在算法上，而往往出在数据尺度上。

5.4 学习率和初始化的调试心得

学习率在感知机里的角色比在梯度下降类模型里要微妙。由于每次更新只关心方向，过大的学习率不会导致“发散爆炸”，但它会让权重在超平面附近大幅摆动，收敛路径更曲折；过小的学习率则让权重更新缓慢，需要更多轮次。实际我常用的组合是：先把学习率设为 1.0，特征标准化之后跑一轮，观察误分类数的下降曲线；如果曲线下降太慢，调大到 1.5 或 2.0；如果出现震荡加剧、收敛变慢，就调回 0.5。

关于初始化，感知机对初始权重不那么敏感，因为线性可分前提下算法保证能收敛到某个分离超平面。但不同的初始权重会影响最终停下来的位置，这可能导致同一份数据上，不同初始化得到的分界面有差异。如果你希望结果可复现，务必固定随机种子，或者像我上面的代码一样用零向量初始化。零初始化对感知机有个额外好处：第一轮所有样本都会落在超平面上（都算误分类），更新会更充分。

6. 常见问题与排查技巧

6.1 训练不收敛：先别骂算法，检查数据

感知机在训练集上不收敛，九成原因是数据线性不可分。怎么判断？一个简单的办法是看误分类数量随迭代的变化曲线：如果它下降到一个平台后开始震荡，而震荡幅度并不缩小，基本就可以判定数据不是线性可分的。此时不要盲目调学习率或者加大迭代轮数，那是在错误方向上浪费时间。正确的思路是：检查数据是否有多余的噪声样本、是否有标签错误、是否可以用特征工程让类别更可分。如果这些都做完了还是不行，那就换模型，感知机不适合这个任务。

6.2 边界条件：w · x + b 恰好等于 0 怎么办

前面提到，感知机的决策函数是 sign(w · x + b)，在等于 0 的点上没有定义。不同的实现对这个边界处理不一。有些库把它判为正类，有些判为负类，有些当成误分类。从学习策略的角度，把等于 0 当作误分类处理是最安全的选择，因为它会让算法主动把落在超平面上的样本推开，尽量避免决策边界穿过训练样本。实际测试集上，等于 0 的情况极少出现，但如果权重恰好导致某个测试样本落在边界上，建议代码里统一用一个非常小的阈值做判断，或者干脆保持和训练一致的边界判定逻辑。

6.3 数值溢出：权重变成 NaN 的排查思路

感知机权重更新公式极简单，按理说不容易数值溢出。但如果出现 NaN，第一步检查数据是不是含 NaN 或无穷值，第二步检查特征尺度差异是否过大，第三步检查学习率是不是设成了天文数字。在我遇到的实际案例中，一半以上是特征尺度问题，标准化能解决绝大部分。如果标准后仍然溢出，再加一层保险：在更新后对权重做一次 clip，限制每个分量的绝对值不超过一个大的阈值（比如 1e8），这样至少能定位到到底是哪一步出了问题。

6.4 感知机不收敛但模型还有用：说说 Pocket 算法

最后分享一个实用技巧。如果数据不是严格线性可分，但误分类点很少怎么办？直接放弃感知机有点可惜。一个经典的改进叫 Pocket 算法：在训练过程中，把“当前误分类数量最少的那组权重”额外保存到一个口袋里，训练结束后把口袋里最好的权重拿出来作为最终模型。这个思路实现起来非常简单，只需要在原有算法基础上加两行：每次迭代后统计误分类数，如果比历史最好值小，就保存当前权重。它不改变感知机的学习策略本身，只是增加了“记忆最优状态”的机制。很多生产环境里的感知机实现都默认带这个功能，因为真实数据几乎不可能完美线性可分，口袋机制让模型有了兜底能力。

7. 从学习策略到算法家族：感知机留下的遗产

感知机的学习策略看上去简单，但它奠定了整个线性分类模型家族的方法论基础：先定义一个连续可导的损失函数，再用梯度下降优化它，最后用收敛性理论保证算法行为可控。这套框架放到今天的深度学习里依然是核心范式，只是损失函数从合页损失换成了交叉熵，优化器从随机梯度下降换成了 Adam，收敛性分析从 Novikoff 定理换成了各种经验风险最小化理论。

我个人在实际项目中最常回想到的一个场景是：某个基线模型的性能一直上不去，我把训练日志打出来一看，发现它在某几个特定样本上反复纠错，权重不断震荡。那时我意识到，模型是在“努力解决一个它本质上解决不了的问题”——数据分布决定了它没有足够的表达能力。感知机的学习策略教给我的不仅仅是那几条公式，更是一种诊断思维：先搞清楚问题的数学结构，再决定用哪一层模型去拟合它。这个习惯，帮我绕开了不少盲目调参的弯路。

如果你正在啃感知机的教材，我建议你亲自动手把第 5 节的代码跑一遍，加上特征缩放，打印每一轮权重的变化，再把学习率调大调小对比一下。代码看得再多，也不如自己观察一次权重在迭代中的轨迹来得直观。把感知机的学习策略真正吃进脑子里，后面学 SVM、逻辑回归、神经网络，都会轻松很多。