简介面向图像处理与计算机视觉研究者的红外视频瞳孔检测算法资料聚焦Hough变换与轮廓匹配的融合方案解决传统方法在瞳孔直径测量中精度不足、易受眨眼干扰等问题。资料对算法流程做了系统梳理图像灰度化与滤波去噪、改进Hough梯度法初检、基于轮廓匹配的中心与直径精确定位并给出排除闭眼帧的处理思路。实验数据表明该方案在低端设备上可实时处理320×240视频在高端设备上支持640×480实时检测精确匹配率约99.8%。整套资料为PDF格式共1个文件压缩包大小1.04MB适合需要开展红外视频瞳孔检测、心理研究或医疗诊断相关课题的研发人员参考。目前已有169人学习内容包含英文摘要、方法细节与参数调节要点可作为算法复现和论文写作的参考资料。1. 红外视频里的瞳孔精确检测Hough轮廓匹配为什么站得住红外视频里的瞳孔精确检测和我们平时在可见光照片里找眼球完全不是一回事。红外光源下瞳孔和虹膜之间会形成稳定的灰度差这是好事但红外成像同时也把眼睑、睫毛、镜片反光一起强化了单纯靠阈值分割拿到的区域往往是一团碎片。我早期试过只用Hough变换检测圆形结果红外视频里瞳孔经常被眼睑切掉半边圆检测直接失手。后来把轮廓匹配加进来做二次精修检测成功率才从六成出头拉到九成以上。接下来就把这套“先Hough粗检、再轮廓精修”的流程拆开讲原理是什么、参数怎么设、哪儿最容易翻车最后给你能直接跑的复现路径。2. Hough变换与轮廓匹配的原理拆解选型依据在哪里2.1 Hough变换检测圆形的数学原理投票机制与参数空间Hough变换做圆检测核心思路是把图像空间里的边缘点映射到参数空间去投票。一个圆有三个参数圆心坐标(a, b)和半径r所以参数空间是三维的。图像上每个边缘点(x, y)都对应参数空间里的一个圆锥面多个边缘点的圆锥面相交最多的位置就是最可能的圆参数。这条思路对不完整轮廓尤其友好哪怕圆只有一半的弧线可见剩余边缘点的投票仍然能在参数空间里聚出一个峰值。OpenCV里的HoughCircles实现没有直接做三维投票它用了一个工程化的两步近似先在边缘点上用Sobel算子估计梯度方向让每个边缘点只沿着梯度方向投一条线把三维投票降到二维再对半径做直方图统计确定半径值。这个近似让计算量大幅下降实时性才谈得上。代价是它对梯度方向的噪声比较敏感红外图像里的高反差噪点很容易给投票结果掺沙子。实际用HoughCircles参数的含义比函数名难懂得多。dp是累加器分辨率与图像分辨率的比值dp1表示同等分辨率dp2表示累加器只有图像一半大速度更快但精度降低minDist是检测到的圆之间允许的最小距离直接挡掉重叠圆param1是传给Canny边缘检测的高阈值param2是累加器投票阈值它才是“检出多少圆”的真正开关。后面第3章我会给出这些参数在瞳孔场景下的初始值和调试顺序。2.2 轮廓匹配的精修动机Hough粗检之后为什么还要二次确认HoughCircles输出的圆本质上是一个“最像圆”的参数估计它并不保证这个圆正好贴合瞳孔的真实边缘。红外视频里瞳孔经常和眼睑粘连Hough拿到的是一个被切掉一段的弧线投票结果圆心位置可能偏向虹膜一侧。这时候如果直接把圆心坐标交给下游的凝视估计误差会直接反映到注视点上而且这种误差不是随机的是系统性的偏移。轮廓匹配做的事情是用图像分割拿到的真实边缘去重新估计瞳孔的参数。先用阈值和形态学把瞳孔区域从背景里摘出来再用findContours提取边界最后用fitEllipse或者矩计算中心。这个过程用的是像素级的边缘信息不依赖“圆”这个强假设所以对椭圆形的瞳孔、被眼睑遮挡的瞳孔都能给出更稳健的拟合结果。这套“粗检精修”的组合本质上是把两个不同性质的算法串成流水线Hough负责在全局范围快速锁定候选位置轮廓拟合负责在局部用高精度边缘重新计算参数。前者牺牲精度换召回率后者牺牲计算量换精度。两者结合比任何一个单独用都稳。我在实际项目里试过单独用轮廓拟合做全图搜索结果就是背景里的圆形噪点频繁冒充瞳孔单独用Hough的话一旦瞳孔被遮挡超过三分之一结果就开始飘。组合起来之后两边的问题都被对方压住了。2.3 红外视频的成像特性瞳孔在红外光下的形态表现红外视频里瞳孔的形态取决于光源布置方式。暗瞳方案里红外光源离轴放置瞳孔吸收大部分近红外光在画面上是一个接近黑色的圆形区域虹膜因为反射红外光显得更亮这个灰度反差是检测的基础。亮瞳方案里光源沿光轴照射眼底反射红外光瞳孔变成一个亮斑。两种方案各有使用场景但检测流程在预处理方向上是相反的暗瞳要做的是找暗区域亮瞳要找亮区域。不管是哪种方案红外视频都有几个绕不开的成像特点第一帧间噪声比可见光相机更明显尤其是传感器增益调高之后第二眼睑和睫毛在红外下的对比度会被放大变成一堆细碎的高反差边缘第三角膜表面的镜面反射会产生一个很小的亮斑位置在瞳孔边缘或内部这个光斑对阈值分割和Hough投票都是强干扰源。这些成像特点直接决定了算法选型预处理阶段必须先做降噪和反光点抑制Hough粗检阶段要限制半径范围避免把眼睑弧线当成瞳孔圆轮廓匹配阶段要把角膜反光造成的异常轮廓段剔除掉。理解了红外图的这些脾气后面调参数时才不会一上来就怀疑是HoughCircles函数有问题。2.4 快速验证选型的小实验三种方案在一段视频上的表现如果你还在犹豫这个组合是否划算可以先花半小时做一个对比实验。取一段带人工标注的红外瞳孔视频分别跑三种流程只做HoughCircles直接输出圆心、只做阈值加轮廓拟合直接输出椭圆中心、Hough粗检加轮廓精修组合输出。统计三者的平均误差和漏检率结果通常很直观只做Hough的漏检率最低但平均误差最大只做轮廓的误差在清晰帧上最优但误检率失控组合方案则是两项指标都能压住。这个实验的代码量很小把第3章的代码复制三份、分别截断在不同位置就能跑。我要提醒的是一定用包含眼睑遮挡和反光点的整段视频去比不要只用光选出来的清晰帧。很多开发者在单帧效果好的时候就认为算法够了结果一到遮挡场景就现出原形。选型这件事靠的是边界场景的表现不是平均场景的表现。3. 用OpenCV实现瞳孔检测红外视频帧到瞳孔中心的完整流程3.1 预处理去噪、阈值分割与ROI裁剪预处理决定后面所有步骤的上限。红外视频的噪声形态和普通摄像头不一样传感器增益一高就会出现颗粒状的椒盐噪声高斯模糊对这种噪声的抑制效果一般中值滤波反而更对症。二值化方向则要看你的红外光源方案暗瞳和亮瞳正好相反。import cv2 import numpy as np def preprocess_frame(frame_gray): # 中值滤波去噪红外传感器增益高时噪声颗粒感明显 blurred cv2.medianBlur(frame_gray, 5) # 暗瞳方案瞳孔比虹膜暗用 INV 把暗区域翻成前景白色 _, binary cv2.threshold(blurred, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) # 开运算去掉睫毛和细小高反光点 kernel np.ones((5, 5), np.uint8) opened cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) return blurred, opened逻辑说明中值滤波对红外椒盐状噪声效果好比高斯模糊更能保留边缘位置Otsu阈值自适应避免手动调阈值在不同受试者脸上反复试。开运算会把小于核大小的亮斑和细长结构滤掉睫毛产生的高光条纹大部分在这个环节被清除。参数说明medianBlur的核大小选5太小压不住噪点选7以上会开始模糊瞳孔边缘使轮廓位置偏移开运算核同样用5×5眼睑遮挡严重时可以换3×3。亮度均匀的场景可以跳过中值滤波直接二值化能省下约三成预处理耗时。注意暗瞳方案用THRESH_BINARY_INV亮瞳方案应该用THRESH_BINARY。这个方向搞反了后面所有步骤都会白做我第一次就是在亮瞳数据上硬套暗瞳逻辑HoughCircles什么都找不到。3.2 HoughCircles粗检测dp、minDist、param1、param2怎么调def hough_detect_circles(blurred, roiNone): # 限制在ROI内搜索避免全图背景干扰 if roi is not None: x, y, w, h roi search_img blurred[y:yh, x:xw] else: search_img blurred # minRadius/maxRadius 根据红外图里瞳孔的实际像素直径设定 circles cv2.HoughCircles( search_img, cv2.HOUGH_GRADIENT, dp1.2, minDist50, param1100, param230, minRadius15, maxRadius60 ) if circles is not None: circles np.round(circles[0]).astype(int) # 如果有ROI把坐标映射回原图坐标系 if roi is not None: for c in circles: c[0] x c[1] y return circles逻辑说明param1和param2是这套流程里最需要调的两个参数。param1控制Canny高阈值红外图噪声大时param1太低会产生大量边缘点投票结果被噪声淹没太高会切断瞳孔边缘导致漏检。param2控制累加器投票阈值它直接决定返回多少个圆建议从低往高调。参数说明minDist设50是防止同一个瞳孔被拆成多个相邻圆实际值根据两个瞳孔之间的像素距离估计一般取瞳孔直径的1.5到2倍。调试顺序有讲究先把param2降到15确认能出结果再逐步提高直到误检消失param1从100开始边缘碎就降到70噪声圆多就升到140。minRadius和maxRadius不要给太宽每宽一倍误检率会成倍上升最好依据上一帧瞳孔直径动态收缩范围。参数初始值调参方向dp1.2需要更高精度取1.0需要提速取1.5minDist50双瞳间距的1.52倍防止重圆param1100边缘碎就降噪声圆多就升param230漏检就降误检就升minRadius15按瞳孔直径下限收紧maxRadius60按瞳孔直径上限收紧3.3 轮廓匹配精修从候选圆到瞳孔圆心的精确计算Hough返回的候选圆已经够在ROI内圈出瞳孔但直接拿圆心当结果抖动大且系统性偏。这里用轮廓拟合精修核心是把二值图里的真实边缘信息重新用起来。def refine_with_contour(binary, circle, margin20): x, y, r circle # 以粗检圆心为中心裁剪局部区域 x0 max(0, x - r - margin) y0 max(0, y - r - margin) x1 min(binary.shape[1], x r margin) y1 min(binary.shape[0], y r margin) patch binary[y0:y1, x0:x1] contours, _ cv2.findContours( patch, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE ) best None best_score -1.0 for cnt in contours: area cv2.contourArea(cnt) est_area np.pi * r * r # 面积筛选真实瞳孔的填充面积应占粗检圆面积的40%-120% if area est_area * 0.4 or area est_area * 1.2: continue # 圆度筛选越接近1越像圆眼睑碎片通常低于0.3 perimeter cv2.arcLength(cnt, True) circularity 4 * np.pi * area / (perimeter * perimeter) if circularity 0.3: continue score circularity * (area / est_area) if score best_score: best_score score best cnt if best is None: return x, y, r, 0.0 # 用椭圆拟合重新估计中心和半径对遮挡残缺轮廓也有效 ellipse cv2.fitEllipse(best) (cx, cy), (major, minor), angle ellipse cx x0 cy y0 avg_r (major minor) / 4.0 return int(cx), int(cy), int(avg_r), best_score逻辑说明findContours在局部小图上跑比全图快得多也避开背景轮廓。RETR_EXTERNAL只取外层轮廓瞳孔内部反光点造成的孔洞会被忽略。面积筛选区间设在40%到120%用来挡住眼睑和睫毛组成的碎片轮廓。圆度公式是经典算法眼睑遮挡产生的轮廓圆度往往在0.2以下这里设0.3是宽松值因为真实瞳孔被遮挡时圆度本身也会下降设太严会误杀。参数说明fitEllipse对不完整椭圆依然能拟合参数正好应对瞳孔被眼睑切掉一部分的情况。注意fitEllipse至少需要5个点轮廓点太少会报错实际项目里要在调用前检查len(cnt) 5。margin取20像素瞳孔边缘因为有模糊过渡带留出余量能让拟合更稳。返回的avg_r会作为下一帧的半径参考这个值比Hough给出的半径更贴近真实尺寸。3.4 帧间平滑抑制瞳孔中心抖动的低成本方案即使经过精修单帧检测到的瞳孔中心仍会有一两个像素的抖动直接输出到凝视估计里就表现为高频噪声。最小可行方案是带限幅的指数移动平均。class PupilSmoother: def __init__(self, alpha0.5, max_jump20): self.alpha alpha self.max_jump max_jump self.pos None self.valid False def update(self, cx, cy): if not self.valid: self.pos (float(cx), float(cy)) self.valid True return self.pos px, py self.pos dx, dy cx - px, cy - py dist (dx*dx dy*dy) ** 0.5 # 跳变超过阈值时信任新检测可能是真实快速扫视 if dist self.max_jump: self.pos (float(cx), float(cy)) else: # 正常情况用指数平滑压低抖动 self.pos ( self.alpha*cx (1-self.alpha)*px, self.alpha*cy (1-self.alpha)*py ) return self.pos逻辑说明alpha取0.5意味着新的平滑结果里旧位置和新检测各占一半对15fps到60fps的红外视频都够用帧率更高时可以降到0.3。max_jump设20像素用于区分“真实快速扫视”和“误检跳变”瞳孔快速运动时一帧内可能移动几十像素此时应信任新位置而不是平滑否则会出现拖影。参数说明如果输出仍然偏抖优先调alpha而不是max_jump因为max_jump设太小会把快速眼动误判为噪声。卡尔曼滤波是这个方案的上位替代但需要调过程噪声和测量噪声两个矩阵调不好比指数平滑更飘。我的建议是先跑一版指数平滑确认数据趋势正常后再换卡尔曼。4. 瞳孔检测避坑指南5个高频问题的现象、原因与解决这一章把高频翻车现场按现象、原因、解决三个步骤拆开每一条都是我在红外瞳孔项目里真实踩过的坑读者对照排查比自己试错快得多。4.1 瞳孔直接漏检HoughCircles返回空数组现象代码跑到circles is not None这个判断时整个函数返回空没有任何候选圆后续的轮廓匹配根本无从执行。这个坑在换测试对象的时候最容易出现刚调到能跑的结果换个人就原形毕露。原因最常见的原因有三个。一是二值化方向反了暗瞳方案该用THRESH_BINARY_INV却用了THRESH_BINARY二是param2设太高正确的投票峰值也被过滤掉三是minRadius和maxRadius范围没覆盖瞳孔实际尺寸瞳孔在图像里只有十几个像素时minRadius15自然一个结果都出不来。解决先做一个快速自检把预处理后的二值图直接imshow看一眼确认瞳孔区域是白色块且轮廓完整。预处理没问题就把param2降到15如果降下来能检出说明是阈值卡太严了再逐步回调。minRadius建议从8起maxRadius给到正常直径两倍确认能检出后再收紧范围。4.2 眼睑遮挡导致轮廓残缺圆心偏移现象受试者半闭眼或往下看时瞳孔被上下眼睑切掉一部分findContours拿到的轮廓是残缺的月牙形圆度评分把它过滤后系统直接漏检。这个坑在疲劳场景的高频眨眼段特别明显。原因瞳孔被遮挡时真实轮廓的圆度会掉到0.2甚至更低圆度筛选的0.3阈值把正样本和负样本一起挡掉了。HoughCircles在这种情况下还能勉强出结果但圆心会偏向未遮挡侧。解决把圆度阈值从0.3降到0.15同时用面积下限弥补圆度放松后引入的噪声。对拟合出的椭圆检查长短轴比瞳孔椭圆的长短轴比一般不超过1.5超过这个值的轮廓多是眼睑碎片。这个双条件过滤比单看圆度可靠得多我在遮挡严重的疲劳视频上把漏检率从7%压到了1.5%。4.3 角膜反光点干扰二值化现象红外光源在角膜上形成小的亮斑位置落在瞳孔边缘或内部。暗瞳方案里这个亮斑把二值化后的瞳孔区域切开口子轮廓提取得到破碎的两段面积和圆度都不对。原因角膜反光是镜面反射强度远高于瞳孔区域的漫反射在二值图里表现为高亮的白色小圆斑。它对Hough投票的影响是打乱局部梯度方向对轮廓提取的影响是切断连通域。解决轮廓提取前先做形态学闭运算kernel用5×5把反光点造成的小裂口弥合回去。反光点比较大时闭运算会改变瞳孔轮廓的真实形状这种情况改用亮度分布做局部插值检测到瞳孔区域内存在高亮斑时翻转该区域的二值结果再做一次连通域合并。代码上多十几行但效果比单纯加大闭运算核稳健。4.4 左右眼参数打架单一阈值处理不了两只眼现象同一帧红外图里左眼检测正常右眼隔三差五漏检或者左右眼瞳孔半径估计明显不一致。把阈值调好左眼右眼又出新问题。原因红外光源通常在摄像头一侧两只眼受光照强度不同灰度分布有差异。全局Otsu阈值是整帧统计出来的对亮眼的瞳孔可能偏高对暗眼的瞳孔可能偏低。解决把全帧切成左右两个独立ROI分别做Otsu阈值和参数估计。先用面部检测或简单对称先验把左右眼区域分出来每侧独立跑完整的预处理和检测流程。计算量看起来翻倍但ROI缩小后单次处理更快整体帧率基本不损失。4.5 红外图分辨率太高处理帧率掉到个位数现象红外摄像头给到1080p甚至更高分辨率HoughCircles全图跑一次耗时超过80毫秒帧率掉到10fps以下实时性无保证。原因HoughCircles的耗时与图像尺寸和半径搜索范围强相关。全图搜索时每个边缘点都参与投票分辨率翻倍边缘点数量翻两倍以上投票计算量直接爆掉。解决分两级。第一级把图像降到640×480或更低用大半径范围快速定位瞳孔大致位置第二级以该坐标为中心裁剪200×200左右ROI在ROI内用精确参数重跑。把全图高精度替换为“低分辨率全图高分辨率局部”帧率通常回到30fps以上。还嫌慢就把中值滤波核从5降到3dp从1.2调到1.5。5. 参数调优与量化验证让算法从“能跑”到“精确”5.1 瞳孔中心误差怎么量化标注标准与评估指标先把话说透瞳孔检测算法的精度不靠肉眼感觉靠标注比对。我常用的流程是取一段30到60秒的红外视频逐帧人工标注瞳孔中心坐标然后让算法跑一遍逐帧计算检测中心与标注中心的欧氏距离最后统计平均误差、最大误差和标准差。平均误差反映算法的系统性偏差标准差反映抖动的程度最大误差暴露偶发性的漏检和误检。具体评价指标我看三个数指标计算方法合格线平均误差逐帧检测中心与标注中心的欧氏距离均值≤2像素标准差误差序列的标准差≤1像素漏检率无结果的帧数 / 总帧数≤1%标注是个体力活注意要把角膜反光点挡住的那一帧也标注别因为难标注就跳过否则评估结果会偏乐观。与其反复标注十段视频不如把时间花在标注一段包含了睁眼、闭眼、左右扫视、抬头低头、佩戴眼镜五种场景的视频上这样的评估更能暴露算法短板。5.2 帧率与精度的平衡降采样、ROI与计算量分配精度和帧率在红外瞳孔检测里不是天生对立的多数情况下是没把计算量花在刀刃上。全图高分辨率下的真空搜和边缘提取大部分计算量其实浪费在背景区域上。合理的分配方式是全图用低分辨率做粗定位局部ROI用原始分辨率做精修这条思路在第3章已经实现这里说一下更进一步的量化分配。粗定位阶段的分辨率可以压到320×240只要瞳孔在这个尺度下还有8到15个像素的直径HoughCircles就能给出大致位置。精修ROI的尺寸取瞳孔直径的4到5倍一个直径50像素的瞳孔ROI设成220×220就足够再大只是增加计算量不增加精度。这个方案跑下来我在1080p的红外视频流上做到过45fps而同一帧不裁剪直接全图跑只有8fps差距非常明显。如果精修还有富余的计算预算优先级是这样的先加反光点检测排除角膜反光再加轮廓断点修复提升遮挡场景的鲁棒性最后才考虑上卡尔曼滤波做平滑。很多开发者一上来就给算法加追踪器其实前面的检测不稳追踪器只是在给错误结果做平滑数据出来一样不能用。5.3 自适应参数的简单策略让阈值和半径范围跟着走固定参数在实验室的单一视频上表现不错换一个受试者或换一个光源角度就开始翻车。最实用的自适应策略是跟着上一帧的检测结果走瞳孔中心用于确定下一帧的ROI中心瞳孔半径用于动态设置HoughCircles的minRadius和maxRadius亮度统计用于动态校准阈值。def adaptive_params(prev_center, prev_r, frame_gray): cx, cy prev_center r prev_r # 半径范围跟随上一帧正负40%的余量 r_min max(8, int(r * 0.6)) r_max int(r * 1.4) # ROI中心跟随瞳孔尺寸随半径缩放 roi_size int(r * 4.5) x0 max(0, cx - roi_size // 2) y0 max(0, cy - roi_size // 2) x1 min(frame_gray.shape[1], cx roi_size // 2) y1 min(frame_gray.shape[0], cy roi_size // 2) roi (x0, y0, x1 - x0, y1 - y0) # 亮度基线用ROI内灰度均值判断当前曝光条件 roi_gray frame_gray[y0:y1, x0:x1] mean_val roi_gray.mean() return roi, r_min, r_max, mean_val逻辑说明半径范围收窄到上一帧的60%到140%配合ROI的4.5倍半径裁剪能把搜索空间压缩到只剩十分之一。亮度基线用ROI内灰度均值来衡量当前曝光条件如果均值突然大幅变化说明可能发生了遮挡或光源变化这时候宁可把半径范围放回默认值重新全图搜索也别死守上一帧的窄范围。参数说明第一帧没有上一帧结果先做一次全图粗搜拿到初始瞳孔位置再开启自适应。r_min设了下限8像素是防止半径收缩到异常小值后HoughCircles把角膜反光点之类的小圆当瞳孔输出。6. 把检测升级成跟踪一个可复用的瞳孔追踪模块6.1 从检测到跟踪的最小闭环把前面这些代码串起来就是一个能用的模块。我习惯把它组织成四个方法preprocess负责降噪和二值化coarse_search负责ROI内的Hough粗检refine负责轮廓精修smooth负责输出平滑。主循环每帧只做三件事调用coarse_search在自适应ROI里找候选圆没有候选就扩大搜索范围再试一次拿到候选后调用refine精修用smooth输出平滑后的中心坐标。这样一个模块可以塞进实时眼动分析流程也能后处理离线红外视频。加卡尔曼滤波是这个阶段最值得投入的升级。眼球的运动模型很简单匀速或匀加速模型都能覆盖大部分扫视和注视行为。卡尔曼滤波的好处是当某一帧漏检时它能用运动模型预测出一个位置让输出不中断代价是需要调过程噪声和测量噪声两个矩阵调不好会比指数平滑更飘。先跑一段时间指数平滑版本的模块确认数据趋势正常后再替换成卡尔曼滤波不要一上来就上重武器。6.2 算法的边界与值得投入的方向这套Hough加轮廓匹配的方案在瞳孔清晰、光源稳定、遮挡不严重的红外视频上表现很好但边界也很清楚全闭眼时轮廓完全消失没救镜片反光面积太大时二值化会把瞳孔和反光混成一团需要专门的反射去除算法极度高速的眼动在低帧率红外视频里会产生运动模糊Hough投票结果会明显偏移。这些场景靠调参是解决不了的得换思路。真正值得投入的方向按我的经验排序是第一把轮廓精修从椭圆拟合升级成主动轮廓模型在遮挡场景下的精度能再上一个台阶第二为左右眼分别维护独立的自适应状态避免两只眼互相干扰第三记录瞳孔半径随时间的变化序列这个东西本身就能用来做疲劳检测和注视深度估计。每次我回看这套方案最有价值的反而是它逼着我把预处理和参数边界吃透了红外成像的脾气就那些摸清楚之后换什么检测算法都顺不要把它当黑匣子用。希望帮到你。本文还有配套的精品资源点击获取