简介：这份《机器学习期末复习题.pdf》面向高校学生及备考机器学习课程的读者，用于系统梳理课程重点、检验知识掌握程度。内容围绕监督学习与无监督学习、概率分布、朴素贝叶斯、决策函数、线性分类、支持向量机、集成学习、决策树及过拟合等核心考点展开，以单选题形式覆盖贝叶斯分类器、K-Means、层次聚类、Beta与Dirichlet共轭分布、核函数与软间隔参数C、Bagging与Boosting、信息增益与基尼指数等具体知识点，并附有部分题目解析与思路提示。资源包共1个PDF文件，大小约4.83MB，结构紧凑，便于打印或移动端随时翻阅。目前已有13523人学习下载，适合在期末阶段快速刷题、查漏补缺，也可作为课堂复习的辅助材料，帮助读者在有限时间内把握高频考点与易错概念。

1. 一份复习题PDF背后，藏着机器学习期末通关的完整路径

期末周前两周，某高校实验室的A同学把一份《机器学习期末复习题.pdf》丢进群里，配文“救命”。我打开一看，六十多页，从偏差方差到EM算法，从SVM对偶到卷积反向传播，题目按章节堆叠，答案时有时无。这不是个例——每年这个时间点，类似标题的文档在各类学习社区里流转，下载量动辄上千。但真正的问题不是“有没有题”，而是“拿到这份PDF之后怎么用”。多数人的做法是从第一页翻到最后一页，勾画重点，然后合上文档大脑空白。机器学习期末复习题的价值不在题目本身，而在于它是一张知识地图的索引：每一道题背后对应一个必须能独立推导或实现的知识点。这篇文章面向正在准备机器学习期末考核的本科生和低年级研究生，也适合需要快速梳理ML知识框架的从业者。我会把“刷复习题”这件事拆成可执行的流程——从PDF内容的结构化提取，到按题型分类的复习策略，再到用代码验证关键算法的手动实现，最后给出考场上的时间分配和踩坑记录。不聊虚的，每一步都有可复现的操作。

2. 把PDF拆成可检索的知识点清单：工具链与结构化方法

2.1 为什么不能直接从头翻到尾

一份典型的机器学习期末复习题PDF，结构往往是混乱的：有的章节只有题目没有答案，有的答案嵌在题目下方用小字标注，公式以图片形式存在导致无法搜索。直接线性阅读的问题在于，你无法判断哪些知识点是高频考点，哪些只是出题人凑数。更致命的是，PDF里的公式如果以图片嵌入，你连复制出来搜索都做不到。我一般会先把PDF转成可编辑的文本和结构化数据，再按知识点聚类。这一步的核心目标不是“读完”，而是“建立索引”——让每一道题都能被关键词、章节、题型三个维度检索到。

2.2 用Python把PDF转成结构化题目列表

常见做法是用pdfplumber提取文本，用正则匹配题号和章节标题。下面这段代码是我处理这类文档时反复用的模板，核心逻辑是：按行读取，识别“第X章”或“一、”这类章节标记，识别“1.”“（1）”这类题号，把每道题和它后面的文本块绑定。

import pdfplumber import re import json def extract_questions(pdf_path): questions = [] current_chapter = "未分类" current_q = None # 章节匹配：第X章、一、二、三、等 chapter_pattern = re.compile(r'^(第[一二三四五六七八九十]+章|[一二三四五六七八九十]+、)') # 题号匹配：1. 2. (1) 等 q_pattern = re.compile(r'^(\d+[\.、]|\(\d+\))') with pdfplumber.open(pdf_path) as pdf: for page in pdf.pages: text = page.extract_text() if not text: continue for line in text.split('\n'): line = line.strip() if not line: continue # 检测章节 if chapter_pattern.match(line): current_chapter = line continue # 检测新题目 if q_pattern.match(line): if current_q: questions.append(current_q) current_q = { "chapter": current_chapter, "question": line, "answer": "" } elif current_q: # 追加到当前题目的答案或题干 current_q["answer"] += line + "\n" if current_q: questions.append(current_q) return questions # 使用示例 # qs = extract_questions("机器学习期末复习题.pdf") # with open("questions.json", "w", encoding="utf-8") as f: # json.dump(qs, f, ensure_ascii=False, indent=2)

这段代码的关键参数在正则表达式。chapter_pattern决定了章节识别的粒度，如果你的PDF用的是“Chapter 1”英文标记，需要改成^Chapter\s+\d+。q_pattern里的\d+[\.、]匹配“1.”和“1、”两种常见格式，如果你的文档用“1）”则需要补充。提取结果存成JSON后，你可以用pandas做进一步分析，比如统计每章题目数量，快速定位重点章节。

2.3 按题型和知识点打标签

提取出题目列表后，下一步是分类。机器学习期末题的题型通常集中在：概念辨析（如“解释偏差与方差的区别”）、公式推导（如“推导SVM的对偶形式”）、计算题（如“给定数据计算信息增益”）、算法实现（如“写出K-means的伪代码”）。我一般会用一个简单的关键词映射表来自动打标签，再人工修正。

打标签之后，你会发现复习题PDF里真正需要动手推导的题目可能只占30%，但这30%往往是拉开分数的关键。概念题可以靠短期记忆，推导和计算题必须动手。

2.4 用Anki或简单脚本做间隔重复

分类完成后，把概念题和易错点做成问答卡片。如果不想装Anki，用Python生成一个简单的CSV，导入任何背题软件都行。核心是：每张卡片只问一个点，答案不超过三行。比如“偏差-方差分解中，偏差衡量什么？”答案是“模型预测的期望与真实值之间的差异，反映模型的拟合能力”。不要在一张卡片里塞多个概念，否则复习时会产生“好像会了”的错觉。

3. 高频考点的手动推导与代码验证：从公式到可运行实现

3.1 偏差方差分解：为什么正则化能同时影响两者

偏差方差分解是期末必考，但很多人只背了结论。实际推导一遍，你会理解为什么增加正则化项会增大偏差、减小方差。给定真实函数$f(x)$和噪声$\epsilon$，观测标签$y = f(x) + \epsilon$，模型预测$\hat{f}(x)$的期望误差可以分解为：

$$\mathbb{E}[(y - \hat{f}(x))^2] = \text{Bias}^2 + \text{Variance} + \sigma^2$$

其中$\text{Bias} = \mathbb{E}[\hat{f}(x)] - f(x)$，$\text{Variance} = \mathbb{E}[(\hat{f}(x) - \mathbb{E}[\hat{f}(x)])^2]$。用代码验证这个分解，比背十遍公式都管用。

import numpy as np np.random.seed(42) n_samples = 200 n_experiments = 100 x = np.linspace(0, 1, n_samples) f_true = np.sin(2 * np.pi * x) # 真实函数 noise_std = 0.3 predictions = [] for _ in range(n_experiments): y = f_true + np.random.normal(0, noise_std, n_samples) # 用高次多项式拟合，模拟高方差模型 coeffs = np.polyfit(x, y, deg=15) y_pred = np.polyval(coeffs, x) predictions.append(y_pred) predictions = np.array(predictions) mean_pred = predictions.mean(axis=0) bias_sq = np.mean((mean_pred - f_true) ** 2) variance = np.mean(predictions.var(axis=0)) total_error = np.mean((predictions - f_true) ** 2) print(f"Bias^2: {bias_sq:.4f}") print(f"Variance: {variance:.4f}") print(f"Bias^2 + Variance: {bias_sq + variance:.4f}") print(f"Total Error (不含噪声): {total_error:.4f}")

运行这段代码，你会看到Bias^2 + Variance和Total Error非常接近（差异来自噪声项的采样波动）。把deg=15改成deg=3，观察偏差和方差的变化——低次多项式偏差大、方差小，高次多项式相反。这个实验做一遍，考场上遇到“解释正则化如何影响偏差方差”的题，你脑子里有具体数字支撑。

3.2 SVM对偶推导：从拉格朗日乘子到核函数

SVM的对偶形式是推导题的重灾区。核心步骤是：原始问题最小化$\frac{1}{2}||w||^2$，约束$y_i(w^Tx_i + b) \geq 1$。引入拉格朗日乘子$\alpha_i \geq 0$，构造拉格朗日函数，对$w$和$b$求偏导并令其为零，得到$w = \sum \alpha_i y_i x_i$和$\sum \alpha_i y_i = 0$。代回原式得到对偶问题：

$$\max_\alpha \sum_i \alpha_i - \frac{1}{2}\sum_{i,j} \alpha_i \alpha_j y_i y_j x_i^T x_j$$

约束$\alpha_i \geq 0$且$\sum \alpha_i y_i = 0$。这里的关键洞察是：对偶问题中只出现$x_i^T x_j$，这为核函数替换提供了入口。用代码实现一个简化版SVM对偶求解，能帮你记住KKT条件。

import numpy as np from scipy.optimize import minimize # 生成线性可分数据 np.random.seed(0) X_pos = np.random.randn(20, 2) + [2, 2] X_neg = np.random.randn(20, 2) + [-2, -2] X = np.vstack([X_pos, X_neg]) y = np.hstack([np.ones(20), -np.ones(20)]) def dual_objective(alpha): # 对偶目标：最大化 sum(alpha) - 0.5 * alpha^T Q alpha # 等价于最小化负值 Q = np.outer(y, y) * (X @ X.T) return -np.sum(alpha) + 0.5 * alpha @ Q @ alpha def eq_constraint(alpha): return np.dot(alpha, y) # 约束 sum(alpha_i * y_i) = 0 bounds = [(0, None) for _ in range(len(y))] constraints = {'type': 'eq', 'fun': eq_constraint} alpha0 = np.zeros(len(y)) res = minimize(dual_objective, alpha0, bounds=bounds, constraints=constraints) alpha = res.x # 计算w和b w = np.sum((alpha * y)[:, None] * X, axis=0) sv_idx = alpha > 1e-5 b = np.mean(y[sv_idx] - X[sv_idx] @ w) print(f"支持向量数量: {sv_idx.sum()}") print(f"w = {w}") print(f"b = {b:.4f}")

这段代码用scipy.optimize.minimize求解对偶问题。注意bounds设置$\alpha_i \geq 0$，constraints设置等式约束。运行后你会看到只有少数样本的$\alpha_i > 0$，这些就是支持向量。把X @ X.T替换成核矩阵K，就得到了核SVM。考场上如果要求写出对偶形式并解释核技巧，你手推一遍再跑一遍代码，记忆深度完全不同。

3.3 决策树信息增益：手算一遍比背公式强

信息增益的计算题几乎每年都考。给定数据集$D$，特征$A$的信息增益为：

$$g(D, A) = H(D) - \sum_{v} \frac{|D^v|}{|D|} H(D^v)$$

其中$H(D) = -\sum_k p_k \log_2 p_k$。很多人栽在计算细节上：忘记除以$|D|$，或者对数底数用错。用代码算一遍，再手算一遍对照，能彻底避免这类错误。

import numpy as np from collections import Counter def entropy(labels): counts = Counter(labels) total = len(labels) probs = [c / total for c in counts.values()] return -sum(p * np.log2(p) for p in probs if p > 0) def info_gain(data, labels, feature_idx): base_entropy = entropy(labels) values = set(row[feature_idx] for row in data) weighted_entropy = 0 for v in values: subset_labels = [labels[i] for i in range(len(data)) if data[i][feature_idx] == v] weighted_entropy += (len(subset_labels) / len(labels)) * entropy(subset_labels) return base_entropy - weighted_entropy # 示例数据：天气、温度、湿度 -> 是否打球 data = [ ['晴', '高', '弱'], ['晴', '高', '强'], ['阴', '高', '弱'], ['雨', '中', '弱'], ['雨', '低', '强'], ['阴', '低', '强'], ] labels = ['否', '否', '是', '是', '是', '否'] for i, name in enumerate(['天气', '温度', '湿度']): print(f"{name}的信息增益: {info_gain(data, labels, i):.4f}")

运行结果会告诉你哪个特征的信息增益最大。手算时注意：entropy函数里p > 0的判断是为了避免$\log_2(0)$。考试中如果遇到连续值特征，需要先离散化，常见做法是取相邻值中点作为划分点，计算每个划分点的信息增益，取最大者。

3.4 反向传播：用NumPy手写一个两层网络

反向传播的推导题通常要求写出链式法则的每一步。与其死记，不如用NumPy实现一个最小网络，把梯度算出来和数值梯度对比。

import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) def sigmoid_grad(x): s = sigmoid(x) return s * (1 - s) # 数据：XOR问题 X = np.array([[0,0], [0,1], [1,0], [1,1]]) y = np.array([[0], [1], [1], [0]]) np.random.seed(1) W1 = np.random.randn(2, 4) * 0.5 b1 = np.zeros((1, 4)) W2 = np.random.randn(4, 1) * 0.5 b2 = np.zeros((1, 1)) lr = 0.5 for epoch in range(10000): # 前向 z1 = X @ W1 + b1 a1 = sigmoid(z1) z2 = a1 @ W2 + b2 a2 = sigmoid(z2) # 损失（MSE） loss = np.mean((a2 - y) ** 2) # 反向 dz2 = (a2 - y) * sigmoid_grad(z2) dW2 = a1.T @ dz2 db2 = np.sum(dz2, axis=0, keepdims=True) dz1 = (dz2 @ W2.T) * sigmoid_grad(z1) dW1 = X.T @ dz1 db1 = np.sum(dz1, axis=0, keepdims=True) # 更新 W2 -= lr * dW2 b2 -= lr * db2 W1 -= lr * dW1 b1 -= lr * db1 print("最终预测:") print(a2)

这段代码的关键在dz2和dz1的计算。dz2 = (a2 - y) * sigmoid_grad(z2)是输出层误差项，dz1 = (dz2 @ W2.T) * sigmoid_grad(z1)是隐藏层误差项。考试中如果要求推导，就从损失函数对$z_2$的偏导开始，逐步应用链式法则。跑通这个代码，XOR问题的预测值会接近[0, 1, 1, 0]。

4. 复习题里那些“看起来会了”的坑：避坑与排查

4.1 公式符号混淆：$w^Tx$和$x^Tw$到底哪个是内积

现象：推导SVM或线性回归时，写出的梯度公式和标准答案差一个转置。原因：不同教材对向量方向的约定不同，有的把样本视为列向量，有的视为行向量。解决：在复习题PDF的空白处统一标注你的约定，比如“本文所有$x_i$为列向量，$X$为$m \times n$矩阵，每行一个样本”。推导时每一步都检查维度是否匹配，维度对了，转置就不会错。

4.2 信息增益计算出错：忘记加权平均

现象：手算信息增益时，子集熵直接相加，没有乘以子集占比。原因：对公式$H(D) - \sum \frac{|D^v|}{|D|}H(D^v)$中的权重项记忆模糊。解决：记住一个极端例子——如果某个特征把数据分成一个样本和其余所有样本，那个单样本子集的熵为0，但它的权重很小，不能忽略。每次计算时先写出权重分数，再代入。

4.3 反向传播梯度消失：sigmoid导数的最大值是0.25

现象：手写反向传播时，梯度逐层变小，最终权重几乎不更新。原因：sigmoid导数$s(1-s)$的最大值只有0.25，多层相乘后指数衰减。解决：在复习题中如果要求分析梯度消失，从数学上指出$0.25^n$的衰减速度，并提到ReLU的导数在正区间为1，能缓解这个问题。考试中如果要求设计改进方案，答“使用ReLU激活函数”或“批归一化”都是得分点。

4.4 EM算法推导：E步和M步的边界模糊

现象：写出EM算法的E步时，把M步的参数更新也写进去了。原因：对$Q(\theta, \theta^{(t)}) = \mathbb{E}{Z|X, \theta^{(t)}}[\log P(X, Z|\theta)]$的理解不到位。解决：E步只计算后验概率$P(Z|X, \theta^{(t)})$，M步才最大化$Q$函数更新$\theta$。用高斯混合模型做例子，E步算每个样本属于每个簇的责任度$\gamma{ik}$，M步用$\gamma_{ik}$更新均值、协方差和权重。把这两步分开写在纸上，用不同颜色标注。

4.5 计算题单位不一致：对数底数决定信息量的单位

现象：计算熵时用自然对数，但题目要求以比特为单位。原因：$\log_2$对应比特，$\ln$对应纳特，两者差一个常数因子。解决：读题时圈出“比特”“纳特”或“bit”“nat”字样。如果题目没指定，默认用$\log_2$。在代码里np.log2和np.log要分清，考试中写公式时下标要标清楚。

5. 从复习题到考场：时间分配与一个验证技巧

期末考场上，机器学习试卷的典型结构是：概念题占30%，推导题占30%，计算题占25%，综合题占15%。拿到试卷后，先用5分钟通览全卷，把题目按“秒答”“需要想”“需要推”三类标记。秒答题直接写，需要想的先跳过，需要推的留到最后集中精力。我一般会把推导题放在计算题之前做，因为推导题一旦思路通了，写起来快且不容易算错；计算题如果卡住，容易焦虑影响后续。

一个具体的验证技巧：对于任何你推导出的公式，用极端值代入检验。比如推导出信息增益公式后，假设某个特征只有一个取值，那么$H(D^v) = H(D)$，信息增益应该为0。如果算出来不是0，说明公式记错了。对于SVM对偶形式，假设所有$\alpha_i$相等，检查约束$\sum \alpha_i y_i = 0$是否满足。这个习惯能帮你在考场上快速发现错误，比重新推一遍省时间。

最后说一个我自己的教训：曾经在考场上花20分钟推导一个EM算法的M步更新公式，结果发现题目只要求写出E步和M步的伪代码，不要求推导。从那以后，我拿到题先看分值——5分的题不值得花15分钟。复习题PDF里的题目也一样，先看答案占多少篇幅，再决定投入多少时间。希望帮到你。

本文还有配套的精品资源，点击获取