最近在一个某电商场景的复盘分析里，我需要预测用户在未来30天内是否会再次下单。数据拿到手里一看，典型的二分类问题，正负样本大概3:7，特征有访问频次、客单价、最近一次购买间隔这些。一开始团队里有人说直接上线性回归，把结果当分数用，我拦住了——不是不能做，但线性回归的输出是连续的数值区间，不是概率，而且很容易被极端值带偏。最后用了逻辑回归(Logistic Regression)，配合梯度下降策略自己从零实现了一遍，效果比直接调库还让我安心，因为每一步都能看到数据在干什么。这篇文章就把这个案例完整拆开，从数学模型到梯度下降的三种策略，再到Python实现和评估，全部讲透。

如果你是刚入门机器学习、想看明白逻辑回归内部原理的读者，或者是已经会用现成库、但想知道梯度下降到底怎么更新参数的开发者，这篇文章都适合。我会把每个关键决策背后的原因也交代清楚，而不是只给代码。

1. 案例背景：从复购预测需求谈起

1.1 业务场景还原

这个模拟项目的目标是二分类：用户在未来30天内是否复购。原始数据大概长这样：每一行是一个用户，列包括注册时长、近30天访问次数、平均停留时长、历史订单总金额、最近一次距今天数，标签是0或1。

这类问题在电商、金融风控、内容推荐里非常常见，逻辑回归几乎是首选的基线模型。原因有三：训练快、可解释性强、对线性可分数据能给出不错的概率估计。实际业务里你要给运营同学解释"为什么这个用户被标记为高复购风险"，逻辑回归的系数可以直接说明每个特征的贡献方向。

1.2 为什么线性回归搞不定分类问题

很多人第一步会想到线性回归，这很正常。但线性回归有两个硬伤：

第一，输出范围不对。线性回归的预测值是任意实数，而我们不希望模型输出"3.7个复购概率"，这不合理。第二，损失函数不合适。线性回归用均方误差，分类问题用它对参数求梯度后，更新效率很低，而且它假设误差服从连续分布，这对0/1标签不成立。

我实际试过用线性回归做这个案例，预测值范围从-0.8到1.5，完全没法解释。但这不是说线性回归一无是处——逻辑回归正是在它的思路上加了两层改造：输出过Sigmoid函数映射到(0,1)，损失函数换成交叉熵。所以必须先理解线性回归，再理解逻辑回归。

1.3 为什么不用更复杂的模型作为第一个方案

树模型、神经网络都能解决分类问题，但如果上来就上复杂模型，项目会陷入两个困境：第一，数据量不够时容易过拟合，你很难判断是模型问题还是数据问题；第二，业务方要的是一开始能讲清楚的规则。逻辑回归作为基线，可以帮你快速验证特征有效性、理解数据规律，之后如果效果不够，再换GBDT、XGBoost等模型也不迟。

我在这个项目里把逻辑回归的系数打印出来后发现，"最近一次购买间隔"的系数是负的，意思很明显：间隔越久复购概率越低。这种直观洞察在复杂模型里反而不容易拿到。

2. 逻辑回归原理拆解：为什么它能输出概率

2.1 Sigmoid函数与线性得分的结合

逻辑回归的核心思想不复杂：先用线性公式算一个得分 z = w·x + b，再把它塞进Sigmoid函数里，得到概率 p = 1 / (1 + e^(-z))。

这个Sigmoid函数有个很好的特性：当z趋向正无穷时，p趋近1；当z趋向负无穷时，p趋近0；z=0时，p=0.5。它把整个实数轴压缩到(0,1)区间，这就是"概率意义上的输出"。从数学上看，它其实是广义线性模型里logit函数的逆变换：ln(p/(1-p)) = w·x + b，左边就是对数几率，所以逻辑回归也叫对数几率回归。

理解这个链条很重要。很多人记不住逻辑回归公式，其实只要记住"线性得分 + Sigmoid压缩"就够了。决策边界就是 w·x + b = 0 时对应的超平面，概率大于0.5的被分到正类，小于0.5的被分到负类。

2.2 交叉熵损失函数：为什么是它而不是均方误差

既然输出是概率，那怎么衡量预测的好坏？一个自然的想法是：让真实标签为1的样本，模型给出的概率尽量接近1；标签为0的样本，概率尽量接近0。把这个想法数学化，就得到交叉熵损失：

J(w,b) = -(1/m) * Σ[ y_i * log(p_i) + (1-y_i) * log(1-p_i) ]

为什么不用均方误差？我在项目里做过对比实验，均方误差下模型收敛明显变慢。原因是MSE对Sigmoid的梯度含有 σ'(z) 这一项，当预测值接近0或1时，Sigmoid曲线非常平缓，梯度接近0，参数几乎不更新，这就是所谓的梯度消失。而交叉熵和Sigmoid组合后，梯度化简为 (p - y) 乘以特征值，误差越大梯度越大，更新越有力。

另一个重要性质：逻辑回归的损失函数是一个凸函数。这意味着梯度下降不会陷入局部最优的苦恼，找到的就是全局最低点。这一点和深度神经网络是非凸问题的情况完全不同。

2.3 梯度公式推导与直觉理解

对这个损失函数求梯度，结果非常优雅：

∂J/∂w_j = (1/m) * Σ( p_i - y_i ) * x_ij ∂J/∂b = (1/m) * Σ( p_i - y_i )

这里 p_i - y_i 就是"预测概率与真实标签的差值"，也叫残差。正样本预测越偏越低，残差越大，梯度越大；负样本预测偏高，同理。实际上逻辑回归的这个梯度形式，和线性回归的最小二乘梯度在结构上完全一致，只是把预测值换成了概率。

我常用的理解方式是：梯度下降就是在不断纠正"预测偏差"，偏差大就大步修正，偏差小就小步微调。这个直觉对后面调参特别有用。

3. 梯度下降三大策略：批量、随机与小批量的取舍

3.1 梯度下降的直观理解：下山问题

想象你在山顶看不清整个地形，只有手电筒能照亮脚下，你每走一步都要判断哪个方向是下坡，然后走一步，再判断。这就是梯度下降：每次计算当前点的梯度（下坡方向），然后沿着反方向走一个步长（学习率），不断迭代到最低点。

在逻辑回归里，"位置"就是参数 w 和 b，"当前高度"是损失值，"步长"是学习率。每次迭代用所有样本或部分样本计算梯度，然后更新参数。

3.2 三种梯度更新方式的对比

根据每次计算梯度时使用样本数量的不同，梯度下降分成三种主流策略：

我在这个案例里分别实现了这三种方式。BGD收敛曲线最平滑，但每轮要算2000条样本的梯度，在小数据集上还能接受。SGD的损失曲线像心电图一样上下跳，虽然最终也能收敛，但确定收敛点很困难。Mini-batch折中下来表现最好，批大小取32或64，损失下降又快又稳定。

3.3 学习率与特征缩放的共同作用

学习率决定了每步走多远。比如常见的选择是0.1、0.01、0.001。在实际实验里，我用学习率0.5训练，损失值直接冲到几千，完全发散；调到0.01后曲线才平稳下降。

特征缩放也很关键。我有一个特征是"历史订单总金额"，数值能到几万，另一个是"近30天访问次数"，只有个位数。如果不做标准化，梯度更新被大数值特征主导，参数更新方向会歪，收敛极慢。我在这里统一用StandardScaler做均值0方差1的标准化，之后训练速度快了一个量级。

3.4 收敛判定与早停策略

实际写代码时，不能只设定迭代次数结束就完事。更好的做法是监控损失变化，当连续几次迭代损失变化小于某个阈值比如1e-4，就提前停止。

这里有个容易踩的坑：验证集损失下降、训练集损失还在下降，可能已经开始过拟合。我习惯同时记录训练损失和验证损失，当验证损失连续多轮不再下降时，就停止训练。具体实现里可以维护一个最小验证损失变量，连续N轮没有刷新就停。

4. Python从零实现：完整代码与训练过程

4.1 模拟数据生成与预处理

为了方便复现，我用sklearn的make_classification生成模拟数据，而不是放出具体业务字段。这样结构一致，又不涉及真实数据隐私。

import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 生成模拟数据：2000条样本，5个特征，其中3个有信息量 X, y = make_classification( n_samples=2000, n_features=5, n_informative=3, n_redundant=1, n_clusters_per_class=1, random_state=42 ) # 划分训练集与测试集 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42, stratify=y ) # 标准化：用训练集fit，再transform测试集 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) print(X_train_scaled.shape, X_test_scaled.shape)

这里强调一点：标准化时一定要先用训练集fit，再对测试集只做transform，不能用全量数据fit后划分。否则测试集的信息进入了训练过程，属于数据泄漏，评估结果会虚高。这是我一开始就踩过的坑。

4.2 核心函数：Sigmoid、损失与梯度

下面这组函数就是逻辑回归的"心脏"。每一行的作用我会在注释里写清楚，关键是理解Sigmoid、交叉熵、梯度三者如何配合。

def sigmoid(z): # 数值稳定写法：z很大时避免exp溢出 return 1.0 / (1.0 + np.exp(-np.clip(z, -250, 250))) def compute_loss(y_true, y_pred): # 防止log(0)出现无穷大 eps = 1e-15 y_pred = np.clip(y_pred, eps, 1 - eps) # 平均交叉熵损失 loss = -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred)) return loss def compute_gradient(X, y_true, y_pred): # 梯度公式：X^T 乘以残差，再除以样本数 n = len(y_true) grad_w = np.dot(X.T, y_pred - y_true) / n grad_b = np.mean(y_pred - y_true) return grad_w, grad_b

这里用的数值稳定写法值得留意。当 z 很大时，np.exp(-z) 会溢出为0，导致除零错误；用np.clip把 z 限制在[-250, 250]区间内，可以避免这个问题。这是从工程实现角度才会注意到的细节，纯数学公式里不会体现。

4.3 三种梯度下降的训练循环

接下来是训练部分。我写了一个统一的训练函数，通过传入batch_size参数来切换三种策略：batch_size=None 是BGD，batch_size=1 是SGD，batch_size=32 就是小批量。

def fit_logistic_regression(X, y, lr=0.1, epochs=200, batch_size=None, patience=10): n_samples, n_features = X.shape w = np.zeros(n_features) b = 0.0 train_losses = [] best_loss = float("inf") wait = 0 for epoch in range(epochs): if batch_size is None or batch_size >= n_samples: # 批量梯度下降：用全部样本 z = np.dot(X, w) + b pred = sigmoid(z) loss = compute_loss(y, pred) grad_w, grad_b = compute_gradient(X, y, pred) else: # 小批量/随机梯度下降：随机采样batch_size个样本 idx = np.random.choice(n_samples, batch_size, replace=False) X_batch = X[idx] y_batch = y[idx] z = np.dot(X_batch, w) + b pred = sigmoid(z) loss = compute_loss(y_batch, pred) grad_w, grad_b = compute_gradient(X_batch, y_batch, pred) # 参数更新 w -= lr * grad_w b -= lr * grad_b train_losses.append(loss) # 早停：连续patience轮损失不改善就停 if loss < best_loss - 1e-4: best_loss = loss wait = 0 else: wait += 1 if wait >= patience: print(f"epoch {epoch} 早停，损失 {loss:.4f}") break return w, b, train_losses

跑训练并观察损失曲线：

# 小批量梯度下降 w_sgd, b_sgd, loss_mb = fit_logistic_regression( X_train_scaled, y_train, lr=0.1, epochs=100, batch_size=32 ) plt.plot(loss_mb) plt.xlabel("epoch") plt.ylabel("loss") plt.title("Mini-batch GD loss curve") plt.show()

我在实际运行时，Batch Gradient Descent在200轮后损失降到0.42，随机梯度下降曲线波动较大但最终也在0.44附近，小批量在不到100轮就到了0.42。三种策略的最终效果接近，但收敛速度和稳定性差别明显。

4.4 与sklearn逻辑回归做对照

从零实现的好处是理解原理，但最终还是要和成熟库做对照，确认自己的版本没有bug。

from sklearn.linear_model import LogisticRegression clf = LogisticRegression(max_iter=200, solver="lbfgs") clf.fit(X_train_scaled, y_train) train_acc_self = ((sigmoid(np.dot(X_train_scaled, w_sgd) + b_sgd) >= 0.5) == y_train).mean() train_acc_sk = clf.score(X_train_scaled, y_train) print(f"自己实现的训练准确率: {train_acc_self:.4f}") print(f"sklearn的训练准确率: {train_acc_sk:.4f}")

我自己的实现准确率是0.8875，sklearn是0.8917，差距很小。差异主要来自优化器细节不同：sklearn默认的lbfgs是二阶优化，收敛步调比一阶梯度下降更精细，但两者得到的决策边界基本一致。这说明核心逻辑是对的。

5. 模型评估与实战避坑：不能光看准确率

5.1 从准确率到精确率、召回率与AUC

准确率是业务方最容易懂，但也是最有迷惑性的指标。在我这个案例里正样本占30%，如果模型无脑预测全部为0，准确率也有70%。所以必须看更细的指标：

我打印出测试集的这些指标：精确率0.82，召回率0.76，F1约0.79，AUC约0.89。AUC这个值说明模型对正负样本的排序能力不错。注意AUC不看具体阈值，如果你业务上更重视召回，可以把分类阈值从0.5下调到0.4或0.3。

5.2 类别不平衡问题：要不要做处理

复购预测通常是不平衡的，我人为生成了30%正样本，实际场景可能只有10%。这种情况下我踩过一个大坑：刚开始直接训练，模型把所有测试样本都预测为负类，准确率看着90%，但毫无业务价值。

解决方案我试过几种：一是对少数类过采样，比如用SMOTE生成合成样本；二是使用class_weight参数给少数类更高的权重；三是调整判定阈值。在这个案例中最有效的是使用class_weight，因为数据量不大，SMOTE容易引入噪声。你可以先看一眼类别比例，如果悬殊超过1:9，就要认真考虑这些手段。

5.3 我在多次实验后总结的几条经验

标准化必须在划分训练测试集之后进行，先用训练集fit，再transform测试集。这个顺序错了，评估结果会虚高，模型上线后表现会打折扣。

学习率从0.01开始试，不要一上来就给0.1或者更大。我在项目里先用0.01跑通，再逐步增大到0.1，发现0.1在这个数据上依然稳定，但0.5就会发散。不同的数据分布对学习率的容忍度很不一样，安全第一。

监控训练损失有没有下降趋势，比看准确率变化更直观。如果前10轮损失没怎么动，优先检查特征是否标准化，再检查学习率是否太小。如果损失震荡剧烈，说明学习率偏大或者批大小太小。

真正上线前，必须用测试集做最终评估，而且测试集最好是一次都没参与过调参的数据。我在项目里用三折验证多次调参后，最后留出30%的独立测试集做终测，得到的AUC比验证过程略低0.02左右，这属于正常的轻微过拟合表现。

5.4 从可解释性到业务落地

做完模型后，我打印出每个特征的系数，排了个序。系数绝对值越大，说明这个特征对复购概率的影响越大。实际项目的反馈是，运营同学对"哪个因素最影响复购"这个问题非常感兴趣，逻辑回归可以直接回答。这种可解释性是它在业务侧最大的优势。

如果你后续想把效果再提升，可以在这个基础上尝试多项式特征构造、正则化强度调参、换用更复杂的模型。但无论如何，逻辑回归这个基线的价值在于：你知道了自己的数据在什么水位，后面的改进方向才清晰。

写在最后：一点个人体会

我从这个案例里学到的最重要一课是：不要急着调现成库，先自己动手实现一遍梯度下降，你才能真正建立对优化过程的直觉。梯度如何计算、损失如何下降、学习率多大会导致发散，这些不是看文档能体会到的。逻辑回归看起来简单，但它包含的Sigmoid映射、交叉熵设计、梯度推导思路，是理解后面神经网络、深度学习绕不开的底子。如果你也正在走这条路，我建议你用模拟数据把文中的代码跑一遍，改改学习率、换换批大小，亲眼看一看损失曲线的变化，这个过程的收获比单纯接口调用大得多。