工厂安全巡检的日常，说实话挺让人头疼的。我接触过好几个制造型企业的项目，安全员就那么几个人，车间动辄几万平方米，一天巡检下来光靠腿跑根本不现实。后来大家把目光放在现有的监控摄像头上，想用视觉算法替人盯着——这就是“基于YOLO26的工厂人员违规行为检测”这套方法出现的背景。这个方向说起来不算新，安全帽检测、反光衣检测都是近几年安防视觉里的老话题，但真正落地到工厂场景，能稳定跑起来、误报率压得住的方案并不多。

这篇文章不是什么学术论文，也不是厂商宣传稿，就是我个人做这类项目时沉淀下来的一套方法：从数据集怎么建、标注规范怎么定，到YOLO26这个较新版本的模型怎么调、行为判定逻辑怎么写，再到部署时精度和帧率怎么取舍。适合正在做工厂安全AI项目的人参考，也适合刚接触目标检测、想了解“检测之后还有什么”的算法工程师阅读。文章里所有观点都来自实际项目经验，不涉及具体厂商和具体厂名，方法论可以放心照搬。

1. 违规检测的边界：哪些行为能检，哪些行为是深坑

1.1 工厂违规行为检测的真实需求

工厂安全管理的核心诉求其实就一条：把人违反安全规定的瞬间找出来，在事故发生前拦住它。具体到视觉算法能做的部分，大概可以分成下面几类。

第一类是PPE（个人防护装备）佩戴检测。安全帽、反光背心、防护面罩、防割手套，这类东西特征明显、边界清晰，单帧静态图就能判断，是整套系统里最好做、也最容易出效果的部分。第二类是区域闯入检测，比如高风险设备区、危险化学品存放区、配电房，人员未经授权进入就需要告警，这类问题靠目标检测框和电子围栏做几何判断就能搞定。第三类是动作型违规，比如翻越围栏、攀爬货架、违规吸烟，这类问题牵扯到时序信息，单帧画面根本看不出“这个人是在正常走路还是准备翻越”，必须结合多帧轨迹来判定。

第四类是被动型风险，比如人员长时间倒地、在某区域停留超时，这类已经算行为分析而不是简单检测了，技术上要依赖跟踪和时序状态机。

这里我想先说一个很多人容易踩的坑：不要一开始就想着把所有违规行为都检出来。我见过好几个项目组，需求清单列了十几项，最后做出来一个都不可用。原因很简单，每一项违规行为背后都是一套独立的数据采集、标注和判定逻辑，摊子铺太大必然管不过来。我的建议是优先做PPE佩戴和区域闯入这两类高确定性违规，它们依赖单帧或短时序就能判断，误报率可控；动作型违规放第二阶段，等轨迹跟踪稳定了再上。

1.2 单帧检测与行为判定的分工逻辑

工厂人员违规检测系统里，最底层的技术单元还是目标检测——把画面里的人、安全帽、反光衣、手机这类目标框出来。但“检测”和“违规判定”是两回事。YOLO26这类检测网络输出的只是“画面里有什么、在哪个位置、置信度多少”，它本身不知道这个人是不是违规了。

违规判定是在检测结果之上叠加业务逻辑。举个例子，检测模型输出了一个人框和一个安全帽框，判断“这个人是否戴了安全帽”，需要计算两者之间的包含关系、距离关系，再结合时间序列做确认。这个逻辑链路我在第四章详细展开。

我之所以强调这个分工，是因为算法工程师很容易陷入“我要用一个模型解决所有问题”的思维定式。真实工程里最优解往往是：一个通用检测模型负责感知所有目标，业务规则模块负责判断是否违规。这样检测模型的复用度高，新增加一种违规行为时，只需要改规则模块，不需要重新训练模型。

1.3 前置条件：了解现场摄像头分布

做这个项目之前，一定要去实地走一遍，把摄像头点位、角度、焦距摸清楚。工厂摄像头里大量是俯拍广角镜头，安装在厂房顶部镀锌钢梁上，高度七八米甚至更高，画面里的人可能只有几十个像素高。这种条件下，常规的640x640输入分辨率检测小目标会吃亏。

所以项目启动前需要盘点每路摄像头的视野范围、分辨率、覆盖区域，给每路流设定独立的检测兴趣区（ROI）。这一步决定了后面数据采集怎么规划，也决定了模型输入分辨率该选多大。很多项目死在“摄像头图像质量太差导致算法无法使用”上，排查到最后发现根本不是算法问题，是选错了点位、拿低分辨率流去做高精度检测，属于前置工作没做透。

2. 数据集是第一道生死关：自建数据与标注规范

2.1 现场数据采集规划

目标检测模型的性能上限由数据决定。用公开数据集（比如通用目标检测数据集里的person类）预训练之后，必须用现场数据做微调，否则模型在你的场景下会水土不服。

现场数据采集要覆盖几个维度。第一是时间维度，白班、夜班、黄昏、阴天、雨天都要录，不同光照下安全帽和反光衣的颜色特征变化很大。第二是空间维度，同一个工位从不同摄像头角度采集，正面、侧面、背面、俯拍都要有，模型才能学到姿态不变性。第三是行为维度，违规动作发生瞬间的资料尤其珍贵，这类数据少的话，可以组织安全员配合做模拟演练采集——让工人穿戴好装备再故意摘掉帽子走一圈，这种“摆拍”数据虽然动作稍有表演痕迹，但对模型训练非常有效。

采集时长建议每路摄像头连续录制不少于一周，覆盖不同班次。采集到的视频先做分段抽帧，每3到5秒抽一帧，再把明显重复的帧去重。一套覆盖50个工位的工厂，最终沉淀下来的有效图像通常在两三万张的量级，这个规模对PPE检测类的微调来说基本够用了。

2.2 类别体系的底层设计

标注类别的设计直接决定后面所有逻辑的复杂度。我强烈建议采用以下类别体系：

这里有个设计要点：不要把“违规”本身作为标注类别。比如不要标一个“未戴帽”类别，而是标出person和helmet两个独立类别，让模型去学习“有无”关系，违规判断交给后处理逻辑去做。这么做有三个理由。

一是类别语义清晰，“未戴帽”是person存在而helmet不存在，模型学“缺失”概念非常别扭。二是数据利用率高，一张“已戴帽”的图同时可以作为“未戴帽”判定的负样本。三是灵活性好，如果后续新增了“红色安全帽专属区域”这种分级规则，不需要重新训练模型，只需要改规则。

2.3 标注规范的实操细节

标注这种密集小目标场景，至少要遵循几条硬性规范。

边界框要贴合目标轮廓，不要求像素级分割精度，但Person框要完整包含整个人体，不能把框截断到小腿或肩膀；helmet框要框住帽体本身，不要把额头和头发框进来。遮挡目标的处理原则是：可见面积超过30%就标，低于30%放弃；跨画面边缘的目标，进入画面部分超过50%才标。模糊目标单独归一类，在训练时作为“忽略”样本，不参与损失计算。

这里我提示一下：不要忽略高分辨率原图的价值。摄像头原图往往分辨率较高，直接用原图标注，训练时再随机裁剪缩放，等于免费做了数据增强，模型对小目标的鲁棒性会好很多。如果先缩放到640x640再标注，小目标基本就丢没了。

标注工具个人推荐用开源的CVAT或者LabelImg，都支持多人协作。标注完成后一定要做抽检，抽检率不低于10%，我吃过这个亏——标注员对“反光衣反光条算不算衣身一部分”理解不统一，结果同类目标框的位置偏差很大，模型训练出来边界框回归一直不稳，后来把标注规范重新明确并返工了一轮，指标立刻上来了。

2.4 数据增强策略与难例补充

YOLO26训练阶段建议开启Mosaic增强、随机透视变换、HSV色域扰动、随机水平翻转。其中Mosaic把四张图拼成一张训练，能显著提升小目标的检测效果，原因是拼接后每张子图在训练时仍然保留原始分辨率，目标相对特征图是变大而不是变小。

但要分类设置翻转选项。反光衣、安全帽这类对称目标可以开水平翻转；但是含有文字或方向性特征的目标（比如背部印字的工服）翻转后语义会变化，不建议对所有类别统一开启翻转。这类细节往往决定模型在真实场景下的泛化水平。

难例补充是拉开项目上限的关键。针对性收集三类图：一是小目标图，人离摄像头远，像素占比低于1%的图；二是遮挡图，人员交错、货架遮挡的图；三是极端光照图，逆光、夜间红外补光的图。这三类图如果占比太低，模型在真实场景里就会暴露短板。

3. 模型训练与调参：把YOLO26训到能用的关键操作

3.1 输入分辨率与推理代价的平衡

工厂小目标检测场景，输入分辨率不能只看常规的640x640，建议从以下方案里选。

我做过一个俯拍广角车间的项目，摄像头高度八米，覆盖面积约八百平米，一个站立工人的像素高度只有40到60像素。初版用640输入的时候，安全帽的召回率只有六成左右，肉眼可见地漏检。把输入分辨率提到1280之后，召回率直接跳到八成多，但推理耗时也几乎翻倍。如果GPU压力大，还有一个偏方：训练时用1280，推理时用原始的较大尺寸原图，用TTA（测试时增强）多尺度投票，精度还能再涨一点，但代价是帧率进一步下降。

最终怎么取舍，取决于现场算力和摄像头数量。多数工厂场景要跑十几路甚至几十路流，每路至少要保证5到10帧每秒，低于这个帧率，人员移动快时跟踪会断，行为判定就不靠谱了。

3.2 训练策略：从预训练到全层微调

工厂现场数据量通常不足以从头训练一个大网络，正确做法是在预训练权重基础上微调。我个人习惯分三步走。

第一步，冻结主干（Backbone），只训练检测头，学习率设低一些（比如1e-4），跑几个epoch，让检测头适应新类别的输出分布。第二步，解冻主干的后半部分，全模型一起训练，学习率降到5e-5量级。第三步，用Cosine退火策略逐步降低学习率，加入EMA（指数移动平均）平滑权重，能稳住后期训练波动。

训练轮次不必太多。基于预训练权重的微调，通常30到50个epoch就会收敛。我遇到很多新手一上来就是100个epoch，模型看起来loss低了，实际上过拟合到训练集的光照和场景上了，换一路摄像头就拉胯。判断是否过拟合，关键看验证集和训练集的loss差距，以及现场新场景的实测效果。

3.3 损失函数与类别不均衡的应对

工厂违规检测里有个天然问题：类别数量严重不平衡。person类到处都是，helmet类也不少，但phone、smk类样例很少，翻越行为更是凤毛麟角。模型天然会偏向高频类别，低频类别几乎学不到。

应对手段有三板斧。第一板斧是类别权重，给低频类别设更高的loss权重，一般把phone和smk的权重设为person的2到3倍。第二板斧是Focal Loss，让模型把注意力放在难分类的样本上，抑制那些本身容易判对的大样本地带，对密集小目标场景特别有效。第三板斧是最朴实的：尽量扩充低频类别的数据。模型看过越少的类别，权重再高也是巧妇难为无米之炊。

还有一个容易被忽略的细节：背景负样本。工厂车间里有大量反光材料、机器金属光泽、来往叉车，这些都可能被模型误判成反光衣或安全帽。解决思路是训练时做“难负样本挖掘”——专门从误报多的监控片段里抽帧，把它们作为无目标的背景图混进训练集。这一步对降低误报率的作用经常比调模型结构还明显。

3.4 训练后处理：NMS与置信度阈值

模型推理输出的原始预测框数量众多，需要非极大值抑制（NMS）去掉重叠框。YOLO26这类新版本检测头通常已经内置了NMS，但有几个参数需要根据场景单独调。

类别间重合严重的场景，比如人穿反光衣时，person框和vest框高度重叠，NMS的IoU阈值如果设太高，会把两个类别互相吞掉。建议IoU阈值设在0.5到0.65之间，同时开启class-aware的NMS模式，让不同类别之间不做抑制，只抑制同类框，这样反光衣框和安全帽框可以跟person框共存，后处理逻辑才能拿到完备的目标信息。

置信度阈值我建议分两类设置。一类是低阈值高召回，给检测阶段用，比如阈值0.25，宁可多检一点噪声，也要保证漏检少。另一类是高阈值，给告警阶段用，在时序确认逻辑里筛选，阈值可以抬到0.6甚至更高。很多人只调一个全局阈值，结果想压误报就把安全帽漏检提升了，两头难受。

4. 行为判定不只是检测：跟踪、状态机与告警逻辑

4.1 从检测框到“这个人是谁”：多目标跟踪的必要性

检测模型输出的框是独立的、没有身份信息的。要判断一个人是不是持续未戴帽、是不是翻越了围栏，必须先把不同帧里同一个人的框关联起来，这就是多目标跟踪（MOT）。

工厂场景我推荐用ByteTrack。它轻量、不需要额外训练、在密集场景下表现稳定，更重要的是它对低置信度框的处理策略——传统跟踪器把低置信度框直接扔掉，但ByteTrack会利用低分框和遮挡信息做匹配，这在人员交错频繁的车间里能大大减少ID跳变。

ID跳变是行为判定的头号杀手。一个人走到货架后面被遮挡了两秒，跟踪ID变了，系统会把它当成“新出现的人”，前面累积的“持续未戴帽计时”全部清零，违规行为就漏报了。因此跟踪器的参数调优优先级很高：匹配IoU阈值不要设太严，允许一定程度的漂移，优先保证ID稳定；宁可偶尔把两个人串成一个人，也不要频繁切换ID。

4.2 基于几何关系的PPE佩戴判定

拿到人框和安全帽框之后，怎么判定“人是否戴了安全帽”？很多人想得很复杂，其实一个几何关系就可以做第一轮判断。

先计算人框的头部区域——取人框上部15%到20%的部分作为头部参考区，然后判断安全帽框和头部区域的交并比（IoU）或中心点距离。如果安全帽框中心落在头部区域内且IoU超过阈值，判定为“戴帽”；如果头部区域内没有helmet框，判定为“未戴帽”。反光衣的判断同理，把区域换成躯干区域（人框中部30%到70%部分），与vest框做重叠判断。

这个几何判定简单粗暴，但对俯拍角度误差较大。俯拍时头盔遮挡关系复杂，帽子可能只露出帽檐，框很小且偏移大。所以更稳的做法是：检测模型直接输出“头部关键点”或“身体关键点”——比如用带姿态估计的YOLO版本，或者额外接一个轻量关键点模型，拿到头部、肩膀坐标，再判断头盔与头部中心的空间关系。工程上如果不想引入额外模型，我建议至少结合两帧的位置进行时序确认，不要单帧拍板。

4.3 区域闯入判定：点与多边形的数学

区域闯入检测本质上是一个几何查询：目标点是否落在电子围栏多边形内部。实现上不用复杂模型，射线法就够了——从目标点向右水平发一条射线，计算它与多边形各边的交点数，相交次数为奇数则点在多边形内，偶数为外。或者用凸多边形的向量叉积法，计算点与每条边的位置关系。

工程上真正的难点不是数学，而是坐标系的转换。摄像头的画面是2D像素坐标，但工厂的围栏区域定义在3D车间平面图上，直接把二维多边形画在画面上，会随摄像头角度变化而产生偏差。主流做法是：在画面上用标定工具人工绘制多边形ROI，把它对应到实际物理区域；如果摄像头是PTZ（云台变焦）摄像机，转动后坐标系就变了，需要做矫正或直接改用定焦枪机覆盖围栏区域。

4.4 行为状态机：让系统学会“再确认一次”

单帧判定直接触发告警，误报率一定高。因为单帧里存在大量偶然因素：检测框抖动、目标遮挡、光影变化。解决方案是引入状态机和持续时间确认。

我建议把每个跟踪目标设计成一个状态机，包含几个状态：观测中、确认违规、告警冷却、解除。每个违规类型有独立的确认帧数参数。比如未戴帽检测，连续5帧都判定为“未戴帽”才进入确认违规状态，防止单帧误判；翻越动作跨度大，确认帧数可以设置得高一些，等轨迹明显跨越围栏线再告警。

告警之后进入冷却期，比如同一目标触发告警后2分钟内不再重复告警，避免一个人持续不戴帽时系统疯狂弹警报。冷却期结束后如果仍处于违规状态，再次告警。这一套状态机逻辑不复杂，就是纯工程经验的累积，但它决定了系统最后给人的观感是“靠谱”还是“狼来了”。

4.5 告警信息沉淀：截图、片段与结构化记录

告警不只是弹个通知，还要把证据链留下来。我在每个告警触发时会保存三样东西：触发瞬间的高清截图、前后各5秒的视频片段、以及一帧结构化JSON数据，内容包括目标ID、违规类型、置信度、跟踪轨迹点、摄像头编号、时间戳。

这些沉淀下来的数据有几个用途。第一用于人工复核，安全员可以在管理后台快速回看告警片段，确认是否误报。第二用于数据回流，确认是真正违规的片段可以直接加入训练集，形成“以战养战”的迭代闭环；确认是误报的片段则加入难负样本集，下一轮训练专门压制它。

5. 部署落地：精度、速度与误报率的三角博弈

5.1 模型导出与推理引擎选择

训练好的PyTorch权重不能直接上生产，一般先导出成ONNX，再转成目标推理引擎的格式。工厂场景以GPU服务器和小型边缘盒子为主。Intel/AMD的CPU推理可以试OpenVINO，NVIDIA的GPU建议直接用TensorRT，比原生PyTorch推理快两三倍没问题。

转TensorRT时有几个坑。第一是算子兼容性，YOLO26如果用了不常见的自定义算子，转换可能失败或部分算子fallback到速度奇慢的实现，遇到这种情况优先调整模型实现方式或开启ONNX简化。第二是动态尺寸，建议导出时固定输入尺寸（比如1280），开启动态推理会引入性能损耗，对多数固定摄像头场景没有必要。第三是校准数据，INT8量化需要准备校准集，校准集要覆盖现场的光照分布和典型目标布局，我见过用通用数据集校准的模型部署后漏检率明显上升。

5.2 帧率、抽帧策略与多路流管理

工厂监控摄像头数量通常几十路上百路，算力永远是紧张的。不可能每路流都用最大分辨率满帧率跑模型推理，必须做资源规划。

我的经验是分层策略。对重点高风险区域（配电房、危化品区、翻越点）分配全分辨率全帧率推理；对一般生产区，优先保证分辨率，帧率可以降到每秒2到5帧——因为PPE佩戴这类状态是慢变化的，人员不会一秒内摘戴交替，低频抽帧对这类判定几乎没有影响；对停车场、通道这类弱风险区，甚至可以只在关键帧触发运动检测后才跑推理。

RTSP流拉起来有个常见坑：摄像头并发连接数有限。直接给推理程序开几十路RTSP同时拉流，经常会遇到连接被摄像头拒绝的情况。合理做法是拉流层做个代理缓冲，统一拉流推给内部队列，推流服务再把帧分发给推理引擎，减少与摄像头直接的连接数。

5.3 误报率治理的持续闭环

部署上线不是项目终点，而是误报率治理的开始。我经手的项目里，算法团队花在“上线上线之后跟误报搏斗”的时间，丝毫不比训练模型少。

最简单的治理手段是给每一类告警加“审核标签”——算法触发、人工复核结果（属实/误报）、误报原因分类（天气/反光/遮挡/设备异常）。每周拉一次周报，统计哪些误报占比最高，针对性修复。如果反光衣误报集中在逆光时段，就补充逆光数据或者在后处理里加上时段抑制规则；如果安全帽漏检集中在某个特定工位，就检查那路摄像头是不是角度太偏、需要调整位置。

这里我还想分享一个心得：别迷信模型，也别迷信规则，把模型输出和规则逻辑放在同一个可配置的引擎里。现场需求的迭代速度非常快，今天说要加一个“指定区域限高”规则，明天说要对红色安全帽单独统计，如果每次都改代码重新发版，运维会被拖垮。把规则模块做成热配置，安全员自己在界面上拖拽电子围栏、调阈值、开关行为类型，算法团队只需要维护核心模型的更新周期。

5.4 新场景迁移：快速适配的套路

工厂项目通常不是单点部署，做完一个车间，大概率要复制到另一个车间、另一个工厂。设备型号变了、车间光照变了、工人服装颜色变了，新场景下模型性能掉一截是很正常的。

快速适配有一套固定流程：先在目标厂房部署旧模型跑一周，收集全部检测结果和告警记录，人工标出误报和漏报难例；然后混入原训练集微调10到20个epoch；再灰度上线，只对重点区域生效，对比新旧模型表现；确认稳定后全量切换。整个周期通常控制在一到两周，成本很低，但能保证模型在“每个现场都是定制版”的前提下，持续演进。

6. 算力规划、运维挂图与常见问题速查

6.1 算力测算的粗模型

这里提供一个粗糙但实用的算力估算方法。单路1080P摄像头数据，若输入分辨率1280、推理帧率5fps，单路推理大约需要多少算力呢？一张中端工业显卡的实际吞吐，跑这类模型大约能支撑10到20路。边缘盒子的算力更紧张，通常只能用640输入、2到3帧每秒，适合低风险区低速抽帧。

我建议在项目预算阶段就按这个量级做评估，别被厂商“一卡支持百路”的宣传语忽悠，那些数字通常是用极低分辨率加极低帧率加空场景测出来的，实际还要留30%冗余给告警逻辑和存储。

6.2 运维人员需要知道的三件事

工厂的IT运维通常不是专业AI工程师，系统交付时一定要把运维边界画清楚。我给客户整理过一个简易运维手册，核心内容就三条：第一，摄像头角度被碰、画面被遮挡时，算法准确度会大幅下降，需要定期巡检画面；第二，告警大面积伴随画面偏色、模糊出现时，是画质问题不是算法问题，先去检查摄像头；第三，模型更新是周期性动作，不是上线后一劳永逸。

6.3 常见问题与处理路径速查表

这个表写进项目文档，能少接一半的运维求助电话。

6.4 部署验收的正确姿势

系统部署完成后验收是个技术活。我建议分三层做验收：第一层是算法指标，在留出的验证集上跑mAP和召回率，但注意验证集必须包括现场采集的难例；第二层是业务指标，连续运行一周统计每天的检测总数、告警总数、人工复核误报数，算出系统级误报率和漏报率；第三层是稳定性指标，连续运行72小时不宕机、不出现显存泄漏、不出现推理队列堆积。

以我的经验看，算法指标的漂亮程度和现场业务的可用程度经常是两回事——验证集mAP再高，也抵不住现场一路摄像头逆光、一路摄像头被喷雾遮挡带来的误报。所以验收这一天，最应该盯的是业务指标和稳定性指标，而不是那张测试集报告。

写在最后：做这个项目之后我最大的几点体会

这个方法跑通之后，我心里最大的感受是：这类工厂违规检测项目，真正难的不是训练出一个高精度模型，而是把模型放到一个嘈杂、动态、多变的真实生产环境里还能持续稳定输出。模型迭代是手段，业务逻辑的稳定性、数据处理闭环、现场运维的分工，这些才是项目能不能长期活下来的关键。

最后再分享一个小技巧：做这类项目时，一定要把“检测结果可视化”做得认真。内侧的项目里，我在调试界面里把每个人的ID、安全帽判定框、电子围栏、状态机状态全部可视化叠加在画面上，让现场安全员一眼能看懂系统“在想什么”。这套可视化调试工具带来的收益远超预期——安全员能快速指出规则哪里不合理，模型漏检在哪个位置，我们根据反馈调整的每一次改动，都比在电脑前盲调参数有效得多。这个项目做完后，我甚至觉得任何视觉检测类系统，都值得先把可视化调试做好，再做正式产品。