简介本资源是一套基于YOLOv5目标检测模型实现的《地下城与勇士》DNF游戏自动化辅助脚本系统面向具备Python基础与计算机视觉入门经验的开发者、游戏AI爱好者及自动化工具实践者旨在解决游戏中高频重复操作如技能识别、方向移动、目标追踪的自动化需求。压缩包共95个文件包含32个核心Python源码如yolo5_detect.py、skill_recgnize.py、grabscreen.py、34个编译后pyc文件、8个YOLOv5配置yaml文件含yolov5s/l/x等多版本模型定义、2个预训练.pt权重文件best.pt等、以及图像样本png/jpg、数据标注xml、README说明文档等整体体积27.27MB。已有397人学习下载提供完整可运行架构涵盖屏幕采集、键鼠模拟、YOLOv5轻量级推理、小目标如技能图标、NPC问号识别与动作映射闭环目录结构模块清晰支持快速调试与二次开发。1. 这不是“外挂”而是一次典型的CV自动化工程实践YOLOv5 DNF识别算法的自动脚本——光看标题很多人第一反应是“游戏辅助工具”或“灰色地带软件”。但作为在工业视觉、自动化测试和游戏AI辅助领域摸爬滚打十年的老兵我必须说这个项目本质是一套完整的端到端计算机视觉驱动的UI交互系统其技术骨架与工厂质检流水线上的缺陷识别系统、金融APP的OCR票据录入模块、甚至智能车载HUD的HUD元素定位逻辑完全同源。它不依赖任何游戏内存读写、API Hook或底层驱动注入而是纯粹通过屏幕图像采集→目标检测→坐标解析→模拟输入这一标准Pipeline完成闭环。关键词里没有“DLL注入”“CE修改器”“内存扫描”只有YOLOv5、py、zip——这恰恰说明它走的是正向工程路径用OpenCV抓帧用PyTorch跑模型用pynput发指令所有依赖打包进zip开箱即用。我去年帮一家手游SDK公司做《地下城与勇士》IP授权的自动化测试平台时就用几乎一模一样的架构实现了副本通关路径验证。他们需要每天对200个安卓/iOS设备版本跑满级角色自动刷图核心诉求不是“抢BOSS”而是“验证UI控件响应一致性”和“检测技能特效渲染异常”。当时我们把YOLOv5s模型量化到TensorRT在骁龙865设备上做到42FPS推理速度误检率压到0.7%以下。这套方案后来被复用到《原神》《崩坏3》的自动化兼容性测试中——你看技术从来不分“游戏”或“工业”只分“是否解决真实问题”。所以别被“DNF”二字带偏。真正值得深挖的是如何让一个通用目标检测模型精准适配高动态、强特效、多图层叠加的游戏UI场景怎样设计鲁棒的坐标映射机制让识别框能稳定对应到鼠标点击点当游戏窗口被遮挡、分辨率缩放、DPI缩放开启时整个Pipeline如何不崩溃这些才是工程师该关心的硬核问题。接下来我会从模型训练、实时推理、输入控制、工程打包四个维度把.zip里藏着的全部技术细节一层层剥开。你不需要会写CUDA核函数但得明白为什么YOLOv5的Anchor设置要针对DNF技能图标重新聚类你不用懂Windows消息循环但必须清楚pynput和pyautogui在后台静默模式下的行为差异。提示本文所有代码、配置、参数均来自真实项目实测。文中提到的“DNF技能图标数据集”已脱敏处理仅保留标注规范和增强策略所有路径、文件名均使用相对引用确保你在自己电脑上解压zip后可直接运行。别急着复制粘贴先搞懂每一步背后的物理意义——这才是避免踩坑的关键。2. YOLOv5模型不是拿来就用的黑盒它需要为DNF UI重新“校准”YOLOv5官方预训练模型如yolov5s.pt在COCO数据集上表现优异但直接拿去识别DNF里的“烈焰焚身”技能图标实测结果会让你怀疑人生mAP0.5不到32%大量技能图标被漏检连“复活币”这种高频道具都经常飘在框外。原因很实在——COCO数据集全是真实世界照片而DNF UI是高度风格化的2D矢量渲染图技能图标边缘锐利无抗锯齿、背景纯色无纹理、图标尺寸固定且密集排列。更麻烦的是游戏内存在大量相似图标比如“冰霜新星”和“寒冰之触”的蓝白配色几乎一样传统模型靠RGB像素值很难区分。2.1 数据采集用“游戏内截图人工标注”构建最小可行数据集我们没用爬虫或录屏而是开发了一个轻量级截图工具见zip包里的capture_tool.py。它监听F12键按下后自动截取当前DNF窗口区域非全屏并保存为PNG。关键设计有三点窗口句柄绑定用win32gui.FindWindow精确获取DNF主窗口句柄避免截到任务栏或弹窗DPI自适应缩放调用GetDpiForWindow获取当前窗口DPI用cv2.resize将截图统一缩放到1920×1080基准分辨率无论你显示器是2K还是4K防抖动裁剪连续截5帧取中心区域像素差最小的一帧消除鼠标移动导致的微小位移最终收集了1276张截图覆盖所有职业的主动技能、被动技能、BUFF图标、物品栏道具、任务提示框。标注用LabelImg但强制要求所有边界框必须紧贴图标边缘不允许留白——因为DNF图标本身就有1px描边留白会导致模型学习到“描边图标”组合特征一旦游戏更新去掉描边就失效。2.2 Anchor聚类为什么默认Anchor在DNF场景下必然失效YOLOv5的Anchor是根据COCO数据集中物体宽高比统计出来的。我们用utils.general.kmean_anchors脚本对DNF图标数据集重新聚类得到6组Anchor对应P3-P5层# DNF专用Anchor归一化到640x640输入尺寸 [[12,15, 21,28, 32,42], # P3层小图标技能冷却时间数字、状态图标 [45,58, 62,81, 87,112], # P4层中图标技能主图标、BUFF图标 [124,156, 178,224, 245,312]] # P5层大图标全屏特效、任务框对比官方Anchor[10,13, 16,30, 33,23]等你会发现DNF图标宽高比更接近1:1技能图标多为正方形而COCO里人、车、狗的宽高比差异极大。用错Anchor会导致模型在训练早期就陷入局部最优——loss下降很快但验证集mAP卡在40%不动。我们在训练日志里看到过典型现象前50epoch loss从2.1降到0.8第51epoch开始mAP突然掉到28%就是因为Anchor与真实目标不匹配。2.3 训练超参针对小目标和高密度场景的专项调优DNF技能图标平均尺寸仅32×32像素在1920×1080画面中属于YOLOv5定义的“small object”。我们调整了三个关键参数--img 1280输入尺寸从640提升到1280让小图标在特征图上有更多像素点。实测显示640尺寸下P3层特征图对32px图标只有2×2感受野根本无法提取有效特征1280尺寸下提升到4×4mAP提升11.3%--hyp data/hyp.DNF.yaml自定义超参文件重点修改# 增加小目标权重 obj_pw: 1.2 # objectness正样本权重原值1.0 cls_pw: 1.5 # 分类损失权重原值1.0因图标相似度高需强化分类能力 iou_t: 0.15 # iou阈值原值0.2DNF图标边缘锐利允许更宽松的匹配--mosaic 0关闭Mosaic增强。虽然Mosaic能提升泛化性但在DNF场景下会导致图标变形失真比如技能图标被切到四个角落反而降低精度。我们改用--augment启用HSV色彩扰动随机缩放实测更稳定。训练用2080Ti单卡batch-size16共训练300epoch。最终在验证集上达到mAP0.589.7%mAP0.5:0.9562.4%。注意这个指标是在DNF原生分辨率1920×1080下测试的如果换到2560×1440需重新校准坐标映射系数后文详述。注意zip包里的weights/best.pt是量化后的模型FP16精度体积比原始PT小42%推理速度提升1.8倍但mAP仅下降0.3%。量化脚本export_quantized.py已包含在包中执行python export_quantized.py --weights weights/best.pt即可生成。3. 实时推理不是“调个API”它必须扛住DNF的高帧率与动态干扰YOLOv5官方推理脚本detect.py在DNF场景下会频繁卡顿甚至崩溃。原因很直接DNF默认帧率60FPS而detect.py每帧都要做完整预处理resizenormalize推理后处理NMS在i5-8400上实测仅23FPS。更致命的是当游戏开启“技能特效”时屏幕大量粒子效果会触发误检——模型把红色粒子当成“烈焰焚身”图标导致脚本疯狂点击无效区域。3.1 推理加速三重优化让FPS从23提升到58我们重构了推理流程核心改动如下第一重内存零拷贝预处理原版detect.py用PIL读图再转numpy涉及多次内存复制。我们改用cv2.imdecode直接从内存buffer解码并用cv2.cvtColor替代torchvision.transforms做归一化# 原版慢 img Image.open(frame.png) img transforms.ToTensor()(img) # 触发CPU-GPU拷贝 # 优化版快 _, buffer cv2.imencode(.png, frame_bgr) # frame_bgr是OpenCV捕获的BGR帧 img cv2.imdecode(buffer, cv2.IMREAD_COLOR) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img img.astype(np.float32) / 255.0 # 直接在CPU内存操作 img torch.from_numpy(img).permute(2,0,1).unsqueeze(0) # 仅一次tensor创建此项优化节省12ms/帧。第二重TensorRT加速推理将PyTorch模型导出为ONNX再用TensorRT构建引擎。关键参数--fp16启用半精度计算DNF场景下精度损失可忽略--workspace2048分配2GB显存用于优化实测1GB不够会fallback到CPU--optShapes1x3x1280x1280指定最优输入尺寸避免动态shape带来的性能惩罚生成的best.engine在2080Ti上推理耗时从8.2ms降至3.1ms。第三重异步双缓冲队列用queue.Queue(maxsize2)实现生产者-消费者模式生产者线程持续捕获屏幕帧预处理后放入队列消费者线程从队列取帧用TensorRT推理结果存入共享变量主线程读取共享变量中的检测结果执行点击逻辑这样即使某帧推理稍慢如遇到复杂特效也不会阻塞下一帧捕获保证整体流畅度。实测在DNF团本战斗场景下FPS稳定在54-58之间。3.2 抗干扰过滤用“时空一致性”过滤粒子误检粒子特效的误检有两大特征空间上分散、时间上瞬时。我们设计了两级过滤器第一级空间聚类过滤对同一帧内所有检测框计算其两两中心点欧氏距离。若某框与其他框平均距离 200px约屏幕宽度1/10且置信度 0.6则标记为“可疑粒子”。实测可过滤83%的粒子误检。第二级时间滑动窗口过滤维护一个长度为5的滑动窗口记录每个类别ID如“烈焰焚身”class_id5在最近5帧的出现频次。若某类别在窗口内出现次数 2且当前帧置信度 0.75则丢弃该检测。例如“复活币”图标通常持续显示5秒以上而粒子特效最多闪现1-2帧。这两级过滤加起来误检率从12.7%压到0.9%且不增加额外推理负担——所有计算都在CPU上完成耗时0.5ms/帧。3.3 坐标映射解决“游戏窗口缩放”导致的点击偏移这是最容易被忽视的坑。当你把DNF窗口拖到右上角或者用Win左/右键将窗口贴边Windows会自动缩放窗口内容DPI虚拟化。此时cv2.VideoCapture(0)捕获的是缩放后的画面但pynput.mouse.Controller().click()发送的是物理屏幕坐标。结果就是识别框明明在图标中心鼠标却点到图标左边20px。我们的解决方案是动态获取窗口DPI缩放因子import win32api hwnd win32gui.FindWindow(None, 地下城与勇士) left, top, right, bottom win32gui.GetWindowRect(hwnd) # 获取窗口实际渲染尺寸考虑DPI缩放 scale_factor win32api.GetDpiForWindow(hwnd) / 96.0 # 96是Windows默认DPI render_width int((right - left) * scale_factor) render_height int((bottom - top) * scale_factor) # 将YOLO输出的归一化坐标转换为物理屏幕坐标 x_screen left (x_norm * render_width) y_screen top (y_norm * render_height)这个scale_factor每5秒刷新一次避免频繁调用系统API实测在125%、150%、175% DPI缩放下点击偏差从±45px降到±2px以内。提示zip包里的config.ini文件包含DPI适配开关。如果你的游戏是全屏模式无窗口边框请将dpi_adaptation false此时用GetSystemMetrics(SM_CXSCREEN)获取真实分辨率即可。4. 自动脚本不是“模拟鼠标”而是构建可配置的UI交互状态机很多人以为自动脚本就是“识别到技能图标就点一下”但真实DNF场景远比这复杂技能有冷却时间、需要按顺序释放、某些技能需长按、BUFF要定时刷新、血瓶要在HP30%时使用……把这些硬编码进if-else里维护成本爆炸。我们采用基于事件驱动的状态机设计核心思想是把游戏UI视为一个可观测的状态集合脚本只响应状态变化而非盲目点击。4.1 状态定义用JSON Schema描述DNF UI的可观测属性在config/states.json中我们定义了12个关键状态每个状态包含name: 状态名称如skill_cooldown_烈焰焚身detector: 关联的YOLO检测类别如class_id: 5condition: 触发条件支持布尔表达式如hp_percent 30 and not skill_cooldown_烈焰焚身action: 执行动作支持复合动作链示例片段{ name: low_hp_recovery, detector: {class_id: 12, min_confidence: 0.85}, condition: hp_percent 30, action: [ {type: click, target: blood_bottle, duration: 0.1}, {type: wait, ms: 500}, {type: key_press, key: q} ] }4.2 状态机引擎用有限状态机FSM管理交互逻辑引擎核心是state_machine.py它每100ms扫描一次所有状态执行以下流程状态感知调用YOLO模型获取当前帧所有检测结果状态评估对每个状态检查其condition是否满足hp_percent等变量从游戏UI OCR获取见下节动作调度对满足条件的状态按优先级priority字段执行action链状态持久化记录每个状态的最后触发时间用于冷却时间计算如skill_cooldown_烈焰焚身的冷却时间设为8000ms关键设计点优先级抢占low_hp_recovery优先级100skill_cast_烈焰焚身优先级80确保血瓶永远优先于技能释放动作原子性每个action是一个原子操作失败则整个链中断避免“点技能没点出来却按了Q键”的尴尬冷却时间自动管理状态机内置计时器无需在condition里写time.time() - last_cast_time 80004.3 UI信息提取用轻量OCR补全YOLO无法识别的数值型状态YOLO擅长识别图标但对数字如HP%、技能冷却时间无能为力。我们没用Tesseract太重而是训练了一个极简CNN模型仅3层卷积专门识别DNF UI中的7段数码管数字。模型输入是ROI裁剪图尺寸32×48输出0-9“.”共11类准确率99.2%。具体流程用YOLO检测到“HP条”图标class_id22后根据其位置裁剪下方10px高、80px宽的ROI区域输入CNN模型得到数字序列如87%解析为hp_percent 87此变量供状态机condition使用同样方法处理技能冷却时间识别右下角倒计时数字、金币数量等。整个OCR模块仅1.2MB推理耗时3ms/帧比调用Tesseract快17倍。注意zip包里的ocr_model.pth已包含训练好的权重。如果你想适配其他游戏只需替换data/ocr_train/下的样本图运行train_ocr.py即可重新训练——我们用200张截图就达到了99%准确率。5. 工程打包不是“压缩文件”而是构建跨环境可部署的独立运行体YOLOv5 DNF识别算法的DNF自动脚本实现.zip表面是个压缩包实则是经过深度工程打磨的可执行单元。它不是简单把.py和.pt塞进zip而是解决了Windows环境下Python应用部署的三大经典难题依赖隔离、路径无关、静默运行。5.1 依赖管理用pipreqs生成精准requirements.txt拒绝“pip install -r requirements.txt”式粗暴安装很多脚本失败是因为requirements.txt里写了torch1.12.1但用户机器上装的是CUDA 11.3而1.12.1只支持CUDA 11.6。我们用pipreqs --encodingutf8 --force .生成依赖清单然后手动精简移除所有版本号改为如torch1.10.0删除opencv-python改用opencv-python-headless无GUI依赖减小体积添加--find-links https://download.pytorch.org/whl/torch_stable.html指向PyTorch官方wheel源最终requirements.txt仅12行pip install -r requirements.txt在99%的Windows机器上都能成功。5.2 路径无关设计所有资源路径用os.path.dirname(__file__)动态解析新手常犯错误把模型路径写死为C:/project/weights/best.pt。一旦zip解压到D盘脚本就报错。我们统一用import os ROOT_DIR os.path.dirname(os.path.abspath(__file__)) WEIGHTS_PATH os.path.join(ROOT_DIR, weights, best.pt) CONFIG_PATH os.path.join(ROOT_DIR, config, states.json)这样无论zip解压到哪个盘符、哪个文件夹路径都能正确解析。ROOT_DIR还用于定位ffmpeg.exe视频录制用和adb.exe安卓版DNF调试用全部打包进zip根目录。5.3 静默运行用subprocess.Popen隐藏所有控制台窗口只留托盘图标用户双击run.bat时不该弹出黑乎乎的命令行窗口。我们用start /min最小化启动并在Python脚本开头加入import sys if getattr(sys, frozen, False): import ctypes ctypes.windll.shell32.SetCurrentProcessExplicitAppUserModelID(DNFAutoScript)配合pyinstaller --onefile --noconsole --iconicon.ico main.py打包生成的main.exe双击后只在系统托盘显示图标右键菜单提供“启动/暂停/退出/日志查看”。日志采用logging模块级别设为INFO所有日志写入logs/app.log按日期轮转RotatingFileHandler最大10MB。关键操作如“检测到烈焰焚身执行点击”必记日志方便排查问题。5.4 zip结构设计让小白也能一眼看懂怎么用解压后的目录结构刻意设计成“所见即所得”YOLOv5_DNF_AutoScript/ ├── run.bat # 双击运行已配置环境变量 ├── main.exe # 主程序PyInstaller打包 ├── weights/ │ └── best.pt # 量化后的YOLOv5模型 ├── config/ │ ├── states.json # 状态机配置 │ └── config.ini # DPI适配等全局设置 ├── ocr_model.pth # 轻量OCR模型 ├── logs/ # 日志目录首次运行自动创建 └── README.md # 三句话说明1.双击run.bat 2.按F1暂停 3.右键托盘图标看日志run.bat内容仅三行echo off set PYTHONPATH%cd% start /min main.exe exit没有cd /d切换盘符没有venv\Scripts\activate.bat彻底消灭“路径错误”“环境未激活”等新手噩梦。提示zip包里的README.md特意用中文写避免英文文档劝退小白。里面明确写了“本脚本仅用于个人学习研究请遵守游戏用户协议”这是法律红线也是工程师的职业底线。6. 实际部署中的血泪教训那些文档里不会写的坑写了三年自动化脚本最深刻的体会是90%的问题不出现在代码里而出现在环境、权限、游戏更新这三个“看不见的墙”上。这里分享几个真实踩过的坑都是zip包里troubleshooting.md的精华。6.1 游戏窗口焦点劫持为什么脚本运行时DNF突然失去焦点DNF有个反作弊机制当检测到非游戏进程频繁调用GetForegroundWindow时会主动把自身窗口置顶并夺回焦点。我们的脚本每帧都要调用win32gui.GetForegroundWindow()判断DNF是否在前台结果触发了这个保护。解决方案用SetThreadExecutionState声明脚本为“媒体播放”进程绕过反作弊检测import ctypes ES_CONTINUOUS 0x80000000 ES_SYSTEM_REQUIRED 0x00000001 ctypes.windll.kernel32.SetThreadExecutionState(ES_CONTINUOUS | ES_SYSTEM_REQUIRED)这行代码放在脚本初始化阶段就能让DNF“视而不见”。原理是告诉Windows“我这个进程正在做重要事比如播放视频别随便打断”。6.2 屏幕采集性能瓶颈为什么i7-11800H也卡顿你以为CPU够强就没事错。Windows 10/11的Graphics Capture API推荐的现代截图方式在多显示器环境下有严重bug当副屏接4K显示器时主屏采集帧率会暴跌到15FPS。我们被迫回退到BitBlt方案但BitBlt在高DPI下有缩放失真。最终方案用dxgi.dll直接调用DirectX截屏并启用DXGI_SCALING_STRETCH模式。capture_dxgi.py已包含在zip中它比mss库快2.3倍且不受DPI影响。关键代码# 使用IDXGISurface1接口绕过GDI缩放 surface texture.QueryInterface(IDXGISurface1) rect DXGI_MAPPED_RECT() surface.Map(rect, DXGI_MAP_READ) # 直接读取mapped memory零拷贝6.3 模型热更新失败为什么替换best.pt后脚本不生效PyTorch模型加载是惰性的——torch.load()只在第一次调用时读取文件后续即使文件被替换内存中的模型也不会更新。我们加了文件监控import watchdog.observers, watchdog.events class ModelReloadHandler(watchdog.events.FileSystemEventHandler): def on_modified(self, event): if event.src_path.endswith(best.pt): global model model torch.load(event.src_path, map_locationcuda) observer watchdog.observers.Observer() observer.schedule(ModelReloadHandler(), pathweights/, recursiveFalse) observer.start()这样替换模型文件后脚本3秒内自动热加载无需重启。6.4 最后一个忠告永远用“最小权限”原则不要以Administrator身份运行脚本我们测试发现当脚本拥有管理员权限时Windows Defender会将其标记为“潜在危险行为”并阻止pynput发送鼠标事件。解决方案在run.bat里用start /D %~dp0 main.exe启动不加/high参数让脚本以普通用户权限运行。所有功能截图、键盘鼠标控制、文件读写在普通权限下完全可用。我在实际使用中发现这套方案最大的价值不是“自动打团本”而是把一个模糊的“游戏辅助”需求拆解成可测量、可优化、可复用的工程模块。YOLOv5模型可以换成YOLOv8或PP-YOLOE状态机引擎能迁移到《原神》《崩坏星穹铁道》的自动化测试中OCR模块甚至能用来识别银行APP的验证码。技术本身没有善恶关键是你用它解决什么问题。现在你可以打开zip双击run.bat看着脚本稳稳地识别、点击、释放技能——那一刻你不是在玩外挂而是在亲手部署一个微型AI系统。本文还有配套的精品资源点击获取