简介：面向具备 C++ 基础、希望入门计算机视觉的开发者，这份示例围绕 OpenCV 实现手掌检测与手指计数，串起视频流捕获、灰度化与高斯模糊预处理、Canny 边缘检测、轮廓提取、按面积筛选手部区域，以及沿手部边缘做垂直投影定位指尖、统计手指数量等关键环节，可作为智能家居控制、游戏交互等手势交互场景的原型起点。压缩包内仅有 1 个 cpp 源文件，整体约 2KB，体积轻巧，便于直接编译运行与逐步改造；单文件结构把图像预处理、轮廓分析和形状识别串成一条可读的流程，适合作为二次开发的骨架。该资源已有 2258 人学习下载，读者可据此掌握手势识别的完整处理链路，理解 Canny 阈值、模糊核大小、投影峰值判定等参数对识别结果的影响，并进一步扩展更复杂的手势分类与机器学习方案。

1. 手势识别的难点不在"识别"：手指计数其实是凸包缺陷的几何题

用 C++ 和 OpenCV 做手势识别，网上的代码最后大多会落到同一行：int fingers = defects.size() + 1;。有人把这段跑通，就以为手指计数已经解决。真正接过摄像头的人才知道，这行代码前面藏着整条流水线：肤色分割、形态学、轮廓筛选、凸包计算，任何一步出偏差，后面的几何关系全废。手势识别真正的难点一直在“把手从背景里干净地抠出来”，而不在“识别”。搞懂这条流水线，你才能解释为什么手伸进阴影就少一根、比个“耶”却数出三根。下面把分割、轮廓、凸缺陷、径向扫描逐层拆开，最后落到几何法和关键点回归的取舍。

2. 肤色分割：为什么 YCrCb 比 RGB 更扛光照

肤色分割是整条流水线的地基。地基歪一厘米，后面的凸包缺陷就会歪出三根手指的误差。这一章要回答的是：同一个手掌，为什么在不同光照、不同摄像头下，RGB 阈值会崩，而 YCrCb 相对稳，以及这种“稳”到底稳在哪一层。

2.1 RGB 阈值法的结构性缺陷

直接把 BGR 三个通道拿去inRange，本质是在三维色彩立方体里套一个长方体，把所有“看起来像肤色”的点框进去。问题在于 RGB 三通道高度相关：亮度一变，R、G、B 同时按比例漂移，长方体要么框不住暗处的肤色，要么把暖色背景一起框进来。更麻烦的是设备差异，同一个手掌在 A 摄像头偏黄、在 B 摄像头偏红，白平衡一动，昨天调好的阈值今天就失效。这就是为什么很多 demo 在开发者自己的桌面上完美，换台机器就成片误检。三通道存的是同一份信息的三份拷贝，阈值空间的冗余让它对光照毫无鲁棒性可言。

2.2 YCrCb 的亮度-色度解耦

YCrCb 把亮度 Y 和色度 Cr、Cb 拆开。肤色主要由黑色素和血红蛋白决定，这两个东西主要影响色度分量，所以 Cr、Cb 在光照变化下相对稳定，Y 则承担了绝大部分明暗波动。工程上常用的经验区间是 Cr∈[133,173]、Cb∈[77,127]，Y 给一个宽范围就行。

// 输入 BGR 帧，输出肤色二值掩膜 cv::Mat detectSkinYCrCb(const cv::Mat& bgr) { cv::Mat ycrcb, mask; // OpenCV 的 YCrCb 通道顺序是 Y、Cr、Cb，别写反 cv::cvtColor(bgr, ycrcb, cv::COLOR_BGR2YCrCb); // Y 给宽区间，Cr/Cb 卡紧，这是整套方法的核心 cv::inRange(ycrcb, cv::Scalar(0, 133, 77), cv::Scalar(255, 173, 127), mask); return mask; }

这段代码里三个Scalar分量的顺序必须和COLOR_BGR2YCrCb的输出一致，写成 BGR 顺序是最常见的低级错误，症状是掩膜几乎全黑或全白。区间上界下界不是绝对真理：深肤色、暖色台灯、摄像头白平衡偏移，都可能让真实肤色落在区间外。所以这套阈值只能当起点，不能当终点。

2.3 HSV 什么时候更好用，什么时候是玄学

HSV 也是常见选择，H 分量把色调单独拎出来，OpenCV 里 H 的取值范围是 0 到 180。肤色通常落在 H∈[0,25]、S∈[30,255]、V∈[60,255] 这一带。它的优势是直觉清晰，调参时能直观地想“我要偏红的色调”。

但 HSV 有个隐藏陷阱：H 在低饱和度时会剧烈跳变。灰白色物体 S 接近 0，此时 H 是一个没有意义的随机值，稍微一点噪声就能让它从 0 跳到 170，于是大片背景被误判成肤色。实际项目里如果背景有白墙、灰桌面，HSV 方案经常翻车，而 YCrCb 因为 Cr、Cb 在低饱和区域仍然收敛，表现会稳一些。我一般的判断是：背景干净、光照可控用 HSV 调起来快；背景复杂、有大量低饱和物体，优先 YCrCb。

2.4 从静态阈值到直方图反向投影

静态inRange最大的问题是它假设“所有人的肤色都落在这个盒子里”。更工程化的做法是先用一批手部样本统计 Cr-Cb 二维直方图，再对每一帧做反向投影，得到一张“像肤色的概率图”，最后卡阈值。

// 用手部样本建立 Cr-Cb 二维直方图（只需离线做一次） cv::Mat ycrcbSample; cv::cvtColor(sampleBgr, ycrcbSample, cv::COLOR_BGR2YCrCb); int histSize[] = {32, 32}; float crRange[] = {120, 180}; float cbRange[] = {70, 140}; const float* ranges[] = {crRange, cbRange}; int channels[] = {1, 2}; // 只取 Cr、Cb 两维 cv::Mat hist; cv::calcHist(&ycrcbSample, 1, channels, cv::Mat(), hist, 2, histSize, ranges, true, false); cv::normalize(hist, hist, 0, 255, cv::NORM_MINMAX); // 在线阶段：反向投影得到概率图 cv::Mat prob; cv::calcBackProject(&ycrcbFrame, 1, channels, hist, prob, ranges, 255); cv::threshold(prob, prob, 60, 255, cv::THRESH_BINARY);

channels[] = {1, 2}对应 Cr 和 Cb，跳过 Y 就等于主动丢弃亮度信息，这正是我们想要的效果。histSize取 32×32 是精度和速度的折中，再细就会稀疏、反向投影出现空洞；再粗就退化成静态阈值。normalize到 0 到 255 是为了让后面的threshold阈值有直观含义，比如 60 大致对应“前 40% 概率区间”。这套做法的代价是需要一批标注样本，好处是能适配特定肤色和特定摄像头，比拍脑袋的固定区间稳得多。

3. 从二值图到可计数轮廓：形态学与凸包

拿到肤色掩膜只是第一步。真实摄像头输出的掩膜上永远有噪点、掌纹空洞、手臂连带区域，直接丢给findContours会得到几十个碎轮廓。这一章讲怎么把这张粗糙的二值图，收敛成一个“只有手掌”的干净轮廓。

3.1 开运算和闭运算的先后顺序

形态学操作的顺序不是随便排的。开运算是先腐蚀后膨胀，作用是去掉孤立小噪点；闭运算是先膨胀后腐蚀，作用是填补区域内部的小空洞。肤色掩膜最典型的两个缺陷正好对应这两件事：背景里零星的肤色噪点（比如木桌纹理），以及手掌内部因为掌纹、阴影造成的空洞。

// ksize 必须取奇数，且和图像分辨率挂钩 cv::Mat cleanMask(const cv::Mat& raw, int ksize) { cv::Mat kernel = cv::getStructuringElement( cv::MORPH_ELLIPSE, cv::Size(ksize, ksize)); cv::Mat out; // 先开：干掉背景里零散的肤色噪点 cv::morphologyEx(raw, out, cv::MORPH_OPEN, kernel); // 后闭：填掉掌纹、指缝阴影造成的内部空洞 cv::morphologyEx(out, out, cv::MORPH_CLOSE, kernel); return out; }

顺序反过来的后果很具体：先闭运算会把背景噪点也膨胀成一块，再开运算只能削掉一部分，剩下的顽固污渍跟着轮廓一路传下去。ksize的选择有个血泪经验——它应该和手掌宽度挂钩，大致取手掌像素宽度的十分之一到八分之一。太小去不干净，太大直接把细手指抹掉，计数自然崩。工程上常见做法是先用固定ksize跑一遍，拿到手掌外接框宽度，再按比例重跑一次形态学。

3.2 连通域统计与候选轮廓筛选

掩膜清理完，下一步是把最大那块连通的区域挑出来。用connectedComponentsWithStats比逐个findContours再算面积更直接，它一次返回每个连通域的外接框和像素计数。

cv::Mat labels, stats, centroids; int n = cv::connectedComponentsWithStats(mask, labels, stats, centroids); int bestLabel = 0, bestArea = 0; for (int i = 1; i < n; ++i) { // 0 是背景，跳过 int area = stats.at<int>(i, cv::CC_STAT_AREA); if (area > bestArea) { bestArea = area; bestLabel = i; } } // 只保留最大的连通域 cv::Mat handMask = (labels == bestLabel);

stats每行五个值：左上角 x、y、宽、高、面积。只保留最大连通域是个强假设，它要求画面里只有一只手、且手是面积最大的肤色块。如果袖子和手臂连在一起，手臂会被一起框进来，后面对凸包缺陷的干扰非常大——所以很多实现会在手腕处做切割，或者在预处理阶段就裁掉画面下半部分。

3.3 凸包：把不规则手掌包成凸多边形

凸包（convex hull）是整条流水线里最关键的一步。手掌轮廓本身是凹的，手指之间的缝隙就是“凹进去”的部分；凸包把所有轮廓点用最外层的凸多边形包起来，那些包不进去的凹陷，就变成了凸缺陷（convexity defect）。

std::vector<std::vector<cv::Point>> contours; cv::findContours(handMask, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE); if (contours.empty()) return -1; // 取面积最大的轮廓 auto it = std::max_element(contours.begin(), contours.end(), [](const auto& a, const auto& b) { return cv::contourArea(a) < cv::contourArea(b); }); // 返回点形式的凸包，用于可视化 std::vector<cv::Point> hullPoints; cv::convexHull(*it, hullPoints, false); // 返回索引形式的凸包，凸缺陷计算需要这个 std::vector<int> hullIdx; cv::convexHull(*it, hullIdx, false);

RETR_EXTERNAL只取最外层轮廓，这正好匹配“画面里只有一个手掌”的假设；如果背景里还有别的肤色块，CHAIN_APPROX_SIMPLE会把它们一并带进来，所以前面的连通域筛选不能省。convexHull的第三个参数clockwise=false表示按逆时针返回，方向本身不影响缺陷计算，但可视化时方向反了会让绘制的多边形看起来乱序。索引形式的凸包是convexityDefects的必需输入，这一点几乎每个教程都会提，但很少解释为什么——因为缺陷是描述“轮廓上哪一段被凸包跳过了”，必须用索引去原文里定位。

3.4 轮廓点数量与 approxPolyDP

convexityDefects的复杂度正比于轮廓点数，而原始轮廓动辄几百上千个点。直接算不是不行，但噪声点会让缺陷列表出现大量浅坑，后面阈值卡得再准也筛不干净。approxPolyDP用 Douglas-Peucker 算法做多边形逼近，把曲线放直，只保留拐点。

std::vector<cv::Point> approx; // epsilon 取周长的 1% 到 2% double eps = 0.015 * cv::arcLength(*it, true); cv::approxPolyDP(*it, approx, eps, true);

epsilon越大点越少，但太大会把指缝之间的细节压平，缺陷深度直接归零。经验值是周长的 1% 到 2%，具体要看分辨率。这一步相当于给后面的几何判断做降噪，很多计数不稳的问题其实是轮廓太毛糙，而不是阈值没调好。

4. 凸缺陷与径向扫描：两种手指计数的实现

到这一步，手上有一个干净的手掌轮廓、一个凸包、一组索引。接下来才是真正“数手指”的部分。这一章给两套实现：基于凸缺陷的经典解，和基于距离变换的径向扫描解，顺带解释为什么前者在某些姿态下必然翻车。

4.1 convexityDefects 的四元组与定点深度

convexityDefects返回std::vector<cv::Vec4i>，每个元素描述一个凹陷：

第四项是最容易被忽略的坑：depth是定点数，真实像素深度要除以 256。直接拿d[3]当像素值和阈值比较，阈值会被放大 256 倍，症状是永远筛不出任何缺陷。

std::vector<cv::Vec4i> defects; if (hullIdx.size() >= 3) { cv::convexityDefects(*it, hullIdx, defects); } else { return 0; // 轮廓点太少，退化情况直接返回 } for (const auto& d : defects) { double depthPx = d[3] / 256.0; // 定点转浮点 cv::Point start = (*it)[d[0]]; cv::Point end = (*it)[d[1]]; cv::Point far = (*it)[d[2]]; // 后面用 start/end/far 三个点做角度过滤 }

hullIdx.size() < 3的退化检查必须有：当手掌被画面边缘截断，或者掩膜质量太差，凸包可能退化成一条线甚至一个点，此时convexityDefects行为未定义或者直接抛异常。

4.2 深度与角度双阈值：直接数缺陷为什么会翻车

“缺陷数 + 1 = 手指数”这个结论成立需要一串前提：手掌竖直朝上、五指张开、指缝清晰、没有侧向倾斜、没有手臂干扰。少一个条件就会翻车。典型的翻车场景是比“耶”——食指和中指之间的缺陷很深，但大拇指和食指之间可能因为拇指弯曲而出现第二个深缺陷，于是数出三根。

过滤的核心是两道闸：深度和角度。深度筛掉掌纹级别的浅坑；角度筛掉“不是指缝”的深坑——真正的指缝，两条边在指尖方向张开，最深点处的夹角是锐角；而手腕处的凹陷、拇指根部的褶皱，夹角往往接近钝角。

int fingers = 0; for (const auto& d : defects) { double depthPx = d[3] / 256.0; if (depthPx < minDepthPx) continue; // 第一道闸：深度 cv::Point start = (*it)[d[0]]; cv::Point end = (*it)[d[1]]; cv::Point far = (*it)[d[2]]; // 余弦定理求 far 点处的夹角 double a = cv::norm(end - far); double b = cv::norm(start - far); double c = cv::norm(end - start); if (a < 1e-6 || b < 1e-6) continue; double cosv = (a*a + b*b - c*c) / (2*a*b); cosv = std::max(-1.0, std::min(1.0, cosv)); // 防域外 double angleDeg = std::acos(cosv) * 180.0 / CV_PI; if (angleDeg > maxAngleDeg) continue; // 第二道闸：角度 fingers++; } // 张开的手：有效缺陷数 + 1 return fingers > 0 ? fingers + 1 : 0;

minDepthPx一般取手掌宽度的 5% 到 10%，maxAngleDeg取 90 度左右。cosv的截断不能省，浮点误差会让它跑出 [-1,1] 让acos返回 NaN，NaN 参与比较时恒为 false，缺陷会被静默吃掉。这套逻辑的极限也就到这里——它能覆盖五指张开、手掌竖直的常见姿态，一旦手背对镜头、手指并拢，几何关系本身就不成立了，加多少阈值都救不回来。

4.3 距离变换 + 径向轮廓扫描

另一套思路不数凹陷，改数“凸起”。核心工具是距离变换：对二值掩膜里每个前景像素，算它到最近背景像素的距离。手掌内部越靠中心距离越大，指尖和指缝则是距离曲线上的局部极大和极小。

cv::Mat dist; // DIST_L2 + maskSize=5，精度比 3 好，代价是慢一些 cv::distanceTransform(handMask, dist, cv::DIST_L2, 5); double maxVal; cv::Point palm; cv::minMaxLoc(dist, nullptr, &maxVal, nullptr, &palm); // 掌心半径 ≈ maxVal；手指判定阈值取 1.3 倍 double fingerThresh = maxVal * 1.3; int count = 0; bool inFinger = false; // 沿轮廓按顺序扫描，统计“连续超出半径”的段数 for (size_t i = 0; i < it->size(); ++i) { double r = cv::norm((*it)[i] - palm); if (r > fingerThresh) { if (!inFinger) { ++count; inFinger = true; } } else { inFinger = false; } }

maxVal是掌心最大内切圆半径，1.3这个系数决定了手指从哪个位置开始算“伸出去”。系数太大，短拇指会被忽略；系数太小，掌心边缘的起伏会被当手指。inFinger这个状态机是必要的：轮廓是首尾相接的，手指跨过起点被切成两段的边界情况必须处理，否则会多算一根。这套方法对“手指并拢”比凸缺陷更鲁棒，因为并拢的两指在距离曲线上仍然各自是一个峰；但它对掌心定位的精度依赖很强，一旦minMaxLoc被手臂的鼓包带偏，整条径向判断全错。

4.4 掌心定位与旋转归一化

两套方法都隐含一个假设：手掌的大致朝向已知。如果手是横放的，凸缺陷的“深度”方向、径向扫描的“远端”方向都会跟着转，阈值全部失效。工程上的处理是先算主方向再做旋转对齐。

用轮廓点的协方差矩阵做主成分分析，最大特征向量就是手的伸展方向；或者更粗暴一点，用掌心到轮廓最远点的方向当参考轴，把“最远点方向”归一化到正上方 90 度，再在这个坐标系里做缺陷和径向判断。这一步本身不难，难的是在图像噪声下稳定地找到掌心——常见做法是取距离变换的最大响应点，配合连续多帧的时间平滑，单帧抖动靠帧间平均压下去。

5. 常见问题排查：光照、肤色、遮挡与计数漂移

5.1 手伸进阴影，手指数少一根

现象：手在灯光下计数正常，一移到阴影里就少一根，或者干脆整个掩膜消失。

原因：Y 通道虽然被inRange放宽了，但阴影同时压低了 Cr、Cb 的绝对值，肤色点整体向区间外偏移。这是亮度-色度解耦的固有代价，解耦不是完全解耦，强阴影下色度也会漂。

解决：在cvtColor之前对 Y 通道做 CLAHE 均衡，把局部对比度拉回来；或者把inRange的下界整体下移 10 到 15 个单位，代价是误检率上升，配合连通域面积筛选把误检消化掉。比较稳妥的做法是双阈值：严格区间出种子，宽松区间做区域生长。

5.2 背景里木桌纹理被误判成手

现象：画面稳定出现第二个连通域，面积还不小，偶尔比手掌还大。

原因：木色、橙色家具的 Cr、Cb 落在肤色区间附近，这是 YCrCb 方法最典型的误检源。静态阈值对这类“近肤色背景”几乎没有抵抗力。

解决：上直方图反向投影，把背景色从概率模型里排掉；或者引入运动信息，用MOG2背景减除取前景，和肤色掩膜做“与”运算，静止背景直接消失。代价是手停下来不动时会从前景里消失，需要配合帧间保持逻辑。

5.3 计数在 4 和 5 之间反复跳

现象：手保持不动，输出在相邻两个数字之间高频抖动。

原因：轮廓在临界姿态下不稳定，approxPolyDP的 eps 或者形态学核尺寸让某个缺陷时而成立时而不成立。深度阈值恰好卡在真实深度的边缘。

解决：加时间维度的平滑。最简单的做法是维护一个长度为 5 的滑动窗口，取众数输出；更稳的做法是对每个缺陷的深度做指数移动平均，再判断是否过阈值。纯靠调阈值解决抖动是徒劳的，因为抖动来自二值化的量子化效应，必须引入时间信息。

5.4 手掌被画面边缘截断，程序崩溃或输出乱数

现象：手靠近画面边缘时，convexityDefects抛异常，或者返回一堆毫无意义的数字。

原因：轮廓被截断成开放曲线，凸包退化成一条线段甚至一个点，hullIdx.size() < 3时convexityDefects的前置条件不满足。

解决：在调用前强制检查hullIdx.size() >= 3和contourArea > 某个最小面积，不满足就返回上一帧的结果或者 -1；同时在 ROI 上做内缩，手指靠近边缘时直接提示用户把手移回中间，比强行算一个错误答案更诚实。

5.5 不同肤色下同一套阈值表现差异巨大

现象：demo 在浅肤色上完美，换一个测试者就大面积漏检。

原因：Cr、Cb 的分布本身和肤色深浅相关，深肤色的 Cr 偏高、Cb 偏低，静态区间覆盖不全。

解决：放弃全局静态阈值，改直方图反向投影，样本按测试者采集；或者用自适应阈值，先对画面做一次 k-means 聚类，取最大的肤色簇动态生成区间。这已经超出“调参”的范畴，属于模型层面的迁移问题。

6. 几何法与关键点回归的取舍

两套方法走到这里，边界已经很清楚了。凸缺陷法依赖“五指张开、手掌竖直”这个姿态先验，实现成本低、可解释性强，但一旦偏离先验就成片失效。径向扫描法对并拢手指更宽容，代价是对掌心定位敏感，手臂一进来就被带偏。它们共同的软肋是同一件事：所有判断都建立在二值掩膜的质量上，而掩膜质量受光照、肤色、背景三重夹击。

近几年的主流做法是把“分割”这一步整个换掉，用关键点回归模型直接输出 21 个手部关节点，手指计数退化成“统计指尖点在掌心点上方且伸展的个数”。分割难题被绕过去了，模型在训练分布内对光照和肤色都不敏感。代价也很实在：需要模型文件、需要推理框架、低端设备上帧率会掉，而且一旦手部被严重遮挡，回归模型给出的点会漂移，反而不如几何法给出的“明显不对但至少稳定”的结果。

我一般的判断标准是：如果目标场景是演示、教学、固定光照下的交互原型，几何法完全够用，几十行 C++ 加 OpenCV 就能跑，调参过程本身就是理解图像处理的好素材；如果产品要面对真实用户、各种肤色和光照，别在阈值上死磕，直接换关键点模型，把工程精力放在后处理和时序平滑上。两者的分界线，在于你是否能接受“姿态先验”这个前提。

有个细节值得单独记一下：几何法的所有参数都该和手掌尺度挂钩，而不是写死像素值。手掌宽度在不同距离下能差三倍，写死的minDepthPx在近处会筛掉所有缺陷，在远处又会把掌纹全放进来。我后来养成的习惯是，任何阈值都以“掌心内切圆半径”为单位做归一化，换摄像头、换距离都不用重调。

提示：调试这套流水线时，把每一阶段的中间图都存下来，包括肤色掩膜、形态学后的掩膜、凸包叠加图、缺陷标注图。肉眼扫一遍，比在代码里打十个断点都快。

从那以后我每接手一个手势相关的活，都强制先跑一遍“中间图全存”的流程，再动任何一行阈值。因为绝大多数计数错误，根源都藏在前面的某张掩膜里，而不是在数手指那几行。希望帮到你。

本文还有配套的精品资源，点击获取