简介面向RGBD视觉计数研究者和PyTorch开发者这是在CVPR 2019论文《用于RGB-D人群计数和定位的密度图回归引导检测网络》基础上实现的开源代码利用RGB图与深度图完成人群计数与位置定位覆盖数据预处理、特征提取、密度图回归及检测输出等主要环节。资源按目标检测工具箱mmdetection风格组织适合理工科背景、已有PyTorch和检测基础并希望复现或改进RGBD计数算法的开发者。压缩包共594个文件、约12.38MB其中Python源码275个、pyc缓存232个、Markdown文档24个另包含cpp、cu、so等编译扩展文件以及sh、xml、txt等训练配置与说明文件整体代码量紧凑、目录模块划分清晰。包内针对ShanghaiTechRGBD数据集给出目录结构和预处理说明区分训练集与测试集并分别排列图像、深度图与标注文件便于直接替换数据路径开展实验同时保留PyTorch1.1环境运行所需的C/CUDA扩展源码可减少环境配置与数据读取阶段的排查时间。目前已有764人浏览学习适合作为RGBD人群计数方向从论文复现到进一步实验的参考。 RGBD人群计数这个方向我前后做了快一年从数据采集到模型落地都趟过一遍。如果你也在调研这个方案可能最想问的是RGB图像做人群计数已经有好几年积累了为什么还要额外加一路深度信息这篇内容我打算从一个实际做过项目的人的角度把这套管线里最核心的东西拆开讲清楚——深度信息到底解决了什么问题、数据怎么处理、模型怎么设计、训练和部署有哪些坑。1. 为什么是RGBD而不是单靠RGB1.1 单目RGB人群计数的两个根本困境人群计数crowd counting本质上是给定一张图估计图中的人数。学术界这几年主流做法已经收敛到密度图回归模型输出一张密度图每个像素表示该位置的人头分布密度对整张密度图求和就是人数。这个方法在公开数据集上确实把MAE越做越低但一旦拿到真实场景里纯RGB方案有两个绕不开的痛点。第一个是尺度歧义。同一颗人头站在距离相机1米和8米的位置投影到图像上的大小差别巨大。虽然可以用多尺度网络、列式架构、上下文感知模块去缓解但这些方法本质上是让模型从大量训练样本里隐式学习尺度—大小的对应关系。一旦部署场景的相机高度、俯仰角、视场角跟训练集分布不一样这套隐式学到的先验就会失灵。第二个是遮挡和光照问题。人流密集区域人头重叠严重纯RGB图像里人挨着人边界非常模糊再加上逆光、夜间、强反光等光照变化彩色图像这一路信息天然不可靠。换句话说单目RGB计数模型存在一个由信息瓶颈决定的上界这个上界不是靠堆更多数据就能轻松突破的。1.2 深度信息到底带给我们什么深度图直接编码了场景的几何距离它给计数模型带来的价值可以归纳为三点。尺度先验。深度值已知、传感器内参已知就能估算出某个目标在三维空间的实际大小。这意味着模型不再需要完全依赖RGB图像上像素大小的隐式线索来猜测这个人离相机多远而是可以直接从深度通道读取几何信息尺度模糊问题被显著缓解。前景和背景分离。人群计数最容易出错的地方是复杂背景被误判为人头。有了深度图之后可以通过深度分布天然地把站立行人和后景墙面、货架、门窗分离开。一个很简单的例子室内扶梯口的监控后景是静止的玻璃幕墙深度图上这些区域和人群的深度范围完全不同模型只需要学一个深度范围筛选就能避免大量背景误检。光照鲁棒性。深度传感器不依赖可见光纹理在弱光、逆光、彩色相机过曝的场景下深度信息依然可用。这对7x24小时连续运行的监控系统来说尤其重要夜间纯RGB方案精度断崖式下跌但RGBD方案至少还保留了一路可用信号。所以RGBD计数不是简单的多一个输入通道而是从信息源头补足了RGB缺失的几何维度。这也是这个方向最近重新热起来的核心原因。1.3 RGBD方案适合用在什么场景从落地的角度讲RGBD计数有它的适用边界。我自己的判断是下面这三类场景最适合室内或半封闭场景比如商场中庭、电梯口、地铁闸机、展馆。深度传感器在这个环境里工作条件最好杂散红外干扰少。固定相机位姿的监控方案。安装好之后不再频繁变动这样深度传感器跟场景的相对关系稳定标定一次可以长期使用。对夜间和逆光有要求的场景。夜晚或者强背光条件下RGB图像信息基本失效深度图仍然能提供可靠的几何信号。如果是纯户外、超长距离的露天大广场目前深度传感器性能和成本都不占优势RGBD方案并不合适老实说还是纯RGB更实在。所以做选型时别急着堆传感器先把场景边界想清楚再定方案。2. 任务定义与评价指标2.1 人群计数的标准任务定义RGBD人群计数的任务定义很明确输入一张RGB-D图像即一张彩色图和一张配准后的深度图输出该场景中的人数估计。最主流的方法是回归密度图用密度图的积分值表示人数。为什么不直接回归一个数字直接回归的问题是空间不可解释模型不知道人都在哪也很难定位预测误差的来源。密度图输出的意义在于它是一张与输入图像尺寸一致的空间映射既可以通过求和得到人数又保留了人的空间分布方便后续做定位、跟踪、区域人流量统计等下游任务。训练时的标准做法是对每个标注的人头位置打一个点然后用高斯核将点涂抹成密度图。模型要学的是从RGB-D图像到密度图的映射关系。2.2 MAE和MSE到底在衡量什么人群计数领域两个最常用的指标是MAE平均绝对误差和MSE均方误差。MAE 1/N * Σ|pred_i - gt_i|它反映的是模型预测人数的平均偏移程度。MSE sqrt(1/N * Σ(pred_i - gt_i)^2)它对大误差更敏感。实际使用中经常出现这样一种情况两个模型MAE几乎一样但MSE差很多。这说明它们的失败模式完全不同——MSE高的模型可能在某一两张极端密集的图上误差特别大。从落地角度看单帧误差大就意味着可能漏报或误报在安全监控场景里是不可接受的。所以我强烈建议选模型时不要只看MAE排名要把MAE和MSE放在一起看甚至画一下误差分布直方图观察误差尾部有多重。2.3 常用的RGBD数据集RGBD计数方向的数据集比纯RGB少一个数量级这里列几个我实际接触过的RGBD Crowd包含真实采集和合成数据两部分真实部分在购物中心场景采集接近室内监控视角人群密度跨度大。Peking RGBD使用Kinect采集包含稀疏和密集多种室内场景是早期比较常用的基准。ShanghaiTechRGBD / SJTU系列一些工作基于ShanghaiTech做了深度版本补充方便跟纯RGB方法做对比实验。需要提醒的是深度相机有效距离通常有限所以这些数据集的场景规模普遍小于纯RGB数据集。实际操作中做RGBD计数基本绕不开自己采集数据或用合成数据补充这部分后面我会细说。3. 核心技术环节拆解3.1 深度图预处理别一上来就怼网络拿到原始深度图第一件事不是直接拼到网络输入端而是先做预处理。原始深度图通常有三个问题。缺失像素。红外投射在玻璃、黑色衣物、强光源等区域会产生大量深度值0的空洞这些位置没有任何有效信息。噪声问题。深度图边缘处存在大量飞点flying pixels明明是平滑表面边缘却出现距离跳变的孤立像素。量纲不统一。深度值范围可能是0.3米到10米直接喂给网络会导致数值分布极不均匀。我常用的预处理流程是这样的将深度值转换到视差空间即取倒数1/depth再做归一化到0-1范围。这个细节很关键因为视差空间下近处物体的变化被放大更符合透视规律。对0值空洞做填充。轻量方案是用OpenCV的inpaint基于RGB图引导补全效果够用追求精度再上深度补全网络但推理开销会变大。用中值滤波或双边滤波去飞点窗口大小3x3或5x5就够太大容易把边缘磨平。预处理这一关直接决定后面模型的性能上限。我第一次做的时候图省事把原始深度图用最近邻缩放就送进网络结果训练loss一直降不下去后来检查发现很多0值空洞被当成很近的物体参与训练白白浪费了整个模型的容量。3.2 密度图的生成与透视归一化密度图标注的生成方法直接影响训练效果。最朴素的方式是对每个标注人头生成一个固定标准差的高斯核然后全部叠加。这个方法代码简单但在实际场景里有一个明显问题近处的人头在图像上很大远处的人头很小固定大小的高斯核没办法匹配这种尺度差异。纯RGB时代已经有解决方案就是几何自适应高斯核geometry-adaptive kernel根据每个人头与其最近k个邻居的平均距离动态决定该高斯核的标准差。人头越密集核越小避免密度图在拥挤区域糊成一团。而RGBD给这个环节带来了新的可能叫透视归一化。有了深度图之后可以根据像素深度反推出该人头在三维空间中的实际尺寸再通过相机内参映射回图像平面生成与真实人头大小一致的密度核。这不是依靠二维邻居距离估算而是直接用三维几何信息做尺度校正。我在实验中发现这个操作对中远距离人群的计数精度提升尤其明显。3.3 多模态融合的几种常见做法RGB和深度两个模态怎么融合是整个模型设计的核心。常见路线有三类。输入级融合early fusion把4通道RGBD直接拼接后输入网络。优点是实现最简单收敛快但缺点是深度图的噪声会直接污染底层特征提取而且RGB和深度两种模态共享一套卷积核这种方式对特征的表达能力有限。特征级融合mid fusionRGB分支和深度分支各自提取特征在中间层进行融合。这个方案的融合方式比较灵活可以做特征拼接、逐元素相加或者用注意力机制动态调制。这也是我目前最推荐的做法因为两个模态各自保留独立的特征提取路径融合的时机和方式都更可控。预测级融合late fusion两个分支各自独立预测密度图最后用加权平均合成最终输出。结构简单每个分支的任务相对独立但缺点也很明显跨模态互补信息没有被有效利用性能通常不如特征级融合。我实测下来比较实用的结构是RGB分支用ImageNet预训练的VGG16或ResNet-50作为骨干深度分支用轻量级的ResNet-18编码器融合部分在多个尺度上做注意力调制具体来说就是用深度特征生成空间注意力图再乘以RGB特征。这个设计相当于让深度信息充当关注区域指示器告诉模型哪里值得多看一眼。4. 实操过程与训练细节4.1 数据准备与增强策略RGBD数据集的规模普遍偏小数据增强策略做得好不好直接决定模型能不能泛化。先给一份我实际用过的增强清单常规几何增强随机水平翻转、随机裁剪、随机缩放这些没有争议所有模态必须用完全相同的几何变换。深度专用增强给深度图加高斯噪声、随机把小块区域置0模拟红外失效、轻微旋转深度图模拟标定误差。这组增强大大提高了模型对真实传感器的鲁棒性。光度增强对RGB图做亮度、对比度、饱和度扰动模拟不同光照条件。密度图同步变换增强过程中密度图必须和目标图像同步做几何变换否则ground truth的位置就会错位。还有一个常被忽略的点裁剪时要注意密度图边界截断问题。如果裁剪窗口切掉了一半人头重归一化后这部分密度图的积分就不是整数了。所以我在代码里会对裁剪后残余的半个人头做一次丢弃或保留的逻辑避免给模型提供错误监督。4.2 网络结构设计与loss组合网络结构方面从这两年开始已经不太需要自己从零设计复杂结构了基于预训练模型做一个合理的多模态改造效果就很稳。我常用的baseline结构大致是RGB分支VGG16或ResNet-50使用ImageNet预训练权重。深度分支ResNet-18或更小的编码器因为深度图本质是几何信息不需要太强的语义特征。融合模块在多尺度特征上做注意力融合或者用SE-block对通道重新加权。输出头上采样到原图1/8分辨率输出单通道密度图。Loss方面最常用的是密度图L2损失即预测密度图与ground truth密度图逐像素的均方误差。我的经验是光用L2不够可以加一个辅助分支把密度图按固定大小划分成patch对每个patch的人数做L1约束。这个局部一致性约束能显著抑制密度图的局部过度平滑让预测值在每个局部区域内更准确。4.3 训练与部署的实测经验训练环节有几点值得一说。第一建议分阶段训练。先把RGB分支冻结只训练深度分支和融合模块跑几个epoch之后再解冻RGB分支做联合微调。这样做的原因是深度分支是随机初始化的如果一开始就跟预训练RGB分支同时更新可能把靠ImageNet学到的良好语义特征破坏掉。我实测这个策略比直接端到端训练效果更稳。第二混合精度训练要谨慎。深度图对数值精度比较敏感尤其是视差空间下近处物体的数值变化很大半精度浮点数可能带来不可忽视的误差。我自己在好几个数据集上对比过开启AMP后MAE会往上飘一点如果飘得不多再考虑用。第三部署阶段性能瓶颈往往不在模型本身而在预处理。深度图的滤波、归一化、缩放这些操作如果用Python写跑起来很慢建议用TensorRT或CUDA kernel把预处理和网络推理串起来。最后我们是在Jetson设备上把整条链路做到实时运行的优化完测量预处理耗时从原来的十几毫秒降到了三毫秒以内。推理时还可以做多尺度测试把输入图缩放成多个尺度分别推理再平均一般能带来1-2个点的MAE提升但速度会慢不少按场景需求取舍。5. 常见问题与避坑实录5.1 深度传感器的噪声问题真实场景里深度相机返回的原始深度图质量远不如公开数据集里那些裁剪干净的深度图。最典型的坑有三个黑色衣物和玻璃面会大量返空值导致人身上出现大块深度空洞。太阳光直射时部分深度传感器会发生明显失效深度值跳变严重。超过传感器量程后深度值不稳定比如标称8米的传感器实际超过4米后数据就开始飘。应对思路有两种一种是在预处理阶段做深度补全和中值滤波这个前面提过另一种是在模型层面加深度置信度分支让网络自己学会哪些深度值可信、哪些不可信。我最初用的是强制融合方案就是把深度图硬拼进去后来改成在融合模块旁边加一个深度置信度预测头把置信度作为权重调制融合过程真实场景下的效果提升非常明显。5.2 RGB与深度对齐问题RGB和深度图像的对齐看似是基础问题实际坑特别多。传感器标定不精确RGB图中的人头和深度图中的人头对不上模型训练时就会学到错位的特征关联推理时自然出问题。我总结的经验是不要完全信任官方出厂标定参数尤其是设备运输、搬运、受热之后内外参可能已经发生变化。建议拿到设备后自己跑一遍棋盘格标定。数据采集时注意硬件同步或者软件时间戳对齐RGB和深度帧之间如果差了几十毫秒人只要一走动态边缘就会出现明显错位。训练时可以有意识地对深度图随机平移1-2像素模拟轻度的对齐误差。这个方法能明显提升模型对轻微错位的容忍度。5.3 不同视角的泛化问题RGBD计数模型在某个视角训练好了换一个相机高度或者俯仰角性能掉得让人怀疑人生。原因是深度值分布完全变了图像中头部的投影尺度也跟着变模型在训练集里学到的几何先验瞬时不适用了。这个场景迁移问题是部署中最常见的。我实际踩过坑之后总结了几条缓解措施训练阶段对深度值做随机尺度偏移和整体平移模拟不同安装高度带来的深度分布变化代码实现只需要对深度图乘以一个随机系数再加一个随机偏置效果立竿见影。用合成数据补充多种视角。我用Blender生成过不同相机高度、不同俯仰角、不同密度级别的RGBD人群场景虽然风格跟真实数据有差异但能显著提高模型对视角变化的鲁棒性。如果现场条件允许可以拿新的部署场景里几十张零标注样本来做验证如果掉点明显再考虑做小规模的few-shot微调只更新融合模块和输出头能快速把效果拉回来。这个方向如果继续往下走我觉得最值得关注的是深度大模型和3D场景表示的结合。RGBD不只是一个额外通道它本身就是通往三维理解的桥梁。比起把深度当作第四维拼接进2D网络更合理的演进方向是显式地构建场景的三维表示把人群计数放到三维空间里去解决这样的话尺度、遮挡、视角变化这些问题都会变得更容易处理。从我个人的使用感受来说RGBD计数虽然比纯RGB多了一堆预处理和标定方面的工作但这些额外成本换来的是更稳定的精度和更强的场景适应力在需要持续运行的室内监控场景里这套方案是值得投入的。本文还有配套的精品资源点击获取