大家读完觉得有帮助记得关注和点赞！！！

摘要

本文提出了一种面向GPS受限、无线电挑战性室内环境的微型无人机基于视觉自主飞行的新型数据驱动方法。目标应用是灾害和应急救援，其中微型无人机可以在消防和化学、生物、放射性和核（CBRN）事件等危险环境中提供快速态势感知，同时降低人类救援人员的风险。当通信链路丢失时，微型无人机使用学习到的偏航控制器自主导航向开阔空间，保存本会随飞行器一同丢失的机载传感器数据。我们使用配备360度摄像头的定制微型无人机记录了多样化的工业、地下和训练场景，这些场景代表了通信受限的现场操作。我们引入了一个预处理流水线，将等距柱状投影360度视频转换为平面前视图，并动态生成用于AI训练的图像-标签对。然后我们训练并比较了多个卷积神经网络变体，这些变体从单目视图预测连续的偏航指令。在保留测试集上的评估证实了学习偏航预测方法的可行性。半自主真实世界测试进一步证明了该方法的实用性，同时揭示了关键的失效模式，特别是反射和眩光。

索引词： 灾害现场机器人，微型无人机，GPS受限导航，全向视觉数据集，基于学习的偏航控制

I. 引言

无人驾驶飞行器（UAV）越来越多地被用于支持急救人员和检查团队，因为它们可以在不使人类操作员面临直接风险的情况下提供态势感知[12]。更广泛地说，机器人已越来越多地部署在灾害和应急救援中，在危险环境中提供态势感知，同时降低人类救援人员的风险。灾害机器人领域的开创性工作强调了在GPS受限、通信丢失和环境杂乱等条件下鲁棒感知和自主性的重要性，在这些条件下，人类远程操作可能不可靠或不可能[2]。

图1 数据集概览：3×3网格的等距柱状投影360°缩略图，展示了多样化的GPS受限灾害响应相关环境，包括矿井、消防训练设施、工业场地、桥梁通道和室外区域。

微型无人机特别适合应急救援中的侦察，因为它们可以快速部署、降低人类风险，并且在需要时可以作为可牺牲资产[19]。然而，实际部署经常发生在GPS受限、杂乱和通信挑战性环境中，如工业设施、隧道和地下室，其中无线电链路因阴影和衰减而退化[21]。如果控制链路中断，能够自主稳定并搜索安全出口路径的微型无人机可以显著提高此类系统的操作价值[17]。这种恢复能力满足了一个具体的操作需求：维持受控飞行并从通信受限区域撤退，从而保存侦察数据（图像、热力图或气体传感器读数），否则这些数据将随飞行器一同丢失。这种数据恢复通常是灾害响应的主要任务目标，其中态势感知可以直接为人类救援人员的战术决策提供信息。

除了基于学习的导航，近期工作还研究了配备360°摄像头和神经场景学习技术的UAV，以改善灾害环境中的态势感知和3D重建[20]。

许多自主导航栈依赖主动测距传感（如LiDAR）进行建图和定位[15]。然而，对于微型无人机，此类传感器可能过于沉重、耗电或昂贵，这促使了更符合有效载荷、功率和成本约束的纯视觉方法[8]。基于视觉的学习方法可以利用外观线索，如走廊结构、开口和障碍物，在显式建图传感器不可行时预测导航指令。

在本工作中，学习的偏航控制器被设计为一种实用的恢复机制：当通信链路丢失时，它使微型无人机能够向开阔空间导航，同时保存本会随飞行器一同丢失的机载传感器数据。因此，本文聚焦于学习从单目前视图到连续相对偏航控制指令的直接映射。

主要贡献包括：

• 一个使用配备360°摄像头的定制微型无人机记录的真实世界数据集，涵盖多样化的室内和室外场景，以及一个预处理流水线，将等距柱状投影视频转换为平面视图并动态生成图像-标签对以减少内存占用；
• 对多种CNN变体进行偏航回归的实证比较；
• 一个半自主真实世界验证，揭示了实际优势和局限性。

II. 相关工作

早期的基于学习导航流水线通常使用分类来选择粗略的转向方向。Giusti等人[5]训练了一个CNN将小径方向分为三类（左转/直行/右转），基于单目图像，并演示了森林环境中的户外小径跟随。Pearson等人[13]提出了架构和数据处理改进（如激活函数选择和数据集重构），并报告了改进的分类准确率。

与粗方向分类不同，Samy等人[16]将偏航预测表述为回归问题，并使用在合成数据上训练的CNN流水线在GPS受限环境中跟随航点路径。受这些工作的启发，我们聚焦于真实世界室内外数据和用于微型无人机导航的连续偏航回归。

更一般地，我们的方法可以归类为端到端模仿学习（也称为行为克隆），其中策略通过监督学习训练，基于演示行为直接将视觉观察映射到控制指令。由于其简单性和适合实时部署的特点，此类方法已广泛应用于移动机器人和自动驾驶，特别是在显式建图或规划不可行时[1]。

与基于强化学习的导航相比，模仿学习能够直接使用真实飞行数据，无需手工设计的奖励函数或在线探索——这些特性促使其在安全关键的UAV任务中被采用，如避障[10]、低空MAV小径导航[18]和杂乱环境中的敏捷飞行[9]，并且在灾害响应场景中尤其相关，因为在线试错是不可接受的。

近期的深度强化学习方法如DCE[7]和VDS-Nav[3]从深度图像预测连续3D速度和偏航率指令，用于杂乱环境中的闭环导航，分别通过真实数据增强的潜在编码器和基于深度的屏障奖励弥合了仿真到现实的差距。它们的偏航率选择适合其任务：策略本身以传感器速率对低级速度控制器闭环动力学。

我们的设置不同：视觉-惯性稳定平台上的方向引导恢复组件，其中机载稳定器处理姿态和速度跟踪。因此学习任务简化为在单目RGB视图中识别恢复方向所在位置；角度到速率的增益是下游控制器的决策。绝对偏航角是自然目标，因为每个标签是从等距柱状投影全景图中提取视角的几何提取角度——一个静态的单帧量。推导偏航率需要要么对连续姿态进行微分（将网络耦合到记录平台的动力学），要么应用一个控制器可以等效在下游应用的任意增益。

与先前工作的直接定量比较具有挑战性，因为现有的室内导航数据集（如户外小径跟随[5]）针对不同的环境和传感器配置，并且在GPS受限的灾害代理设置中不存在偏航回归的既定基准。我们的分类合理性检查（第VI-A节）确认数据集和生成器产生与先前三类方法一致的可学习信号，而回归公式可实现更细粒度的控制。

III. 系统概述

本节描述用于数据收集的硬件平台以及激发学习偏航控制器的操作概念。

III-A 平台与传感器设置

数据主要使用定制微型无人机收集，尺寸为200 mm × 270 mm，质量为425 g。一个修改版BetaFPV SMO 360摄像头（为FPV应用优化的Insta360 ONE R 360模块的简化变体）集成到机架中。每个镜头以2880×2880像素录制；拼接后视频分辨率为5760×2880，约30 fps。

数据集的一个关键特性是记录的360°视频是无遮挡的：无人机本身在拼接视频帧中不可见。在典型的无人机载360°录制中，全景球面多达33%被平台自身遮挡[20]。此处使用的机械集成基于[20]中引入的隐形无人机平台，消除了这种自遮挡，使得完整全景球面可用于平面视图提取和动态数据集生成。这是第IV-E节中描述的前后映射的结构性先决条件，该映射通过重用每帧的后半球使有效训练数据翻倍。此外，原始记录包含存储在元数据中的同步惯性测量（IMU），可用于校正噪声标签并在未来工作中改进鲁棒性分析。

图2用于数据集录制的定制微型无人机平台，集成360°摄像头。

III-B 操作概念

学习的偏航控制器被设计为恢复组件：当与操作员的通信链路丢失时，微型无人机使用其前视摄像头视图预测偏航指令，引导其向开阔、可通行空间飞行。通过维持受控飞行并从通信受限区域撤退，该平台保存了本会随飞行器一同丢失的侦察数据。我们强调，此偏航控制器是一个使能组件，在操作部署前需与保守安全保障（人在回路决策权、地理围栏、速度限制和紧急停止行为）集成。

学习的偏航控制器假设低级状态估计和位置保持由视觉惯性里程计（VIO）流水线（如OpenVINS或VINS-Fusion[4, 14]）提供。这些系统融合IMU和摄像头数据，即使在GPS受限环境中也能维持稳定悬停和高度保持。在此基础之上，无人机执行恒定前向速度，而CNN仅提供偏航校正指令。这种关注点分离将学习问题限制为方向引导——一个深思熟虑的设计选择，利用了VIO稳定化的成熟性，避免将飞行控制与导航学习混淆。

IV. 数据集与预处理流水线

本节详述录制的场景、拼接工作流，以及将360°视频转换为用于训练的平面图像-标签对的动态数据集生成器。

IV-A 录制场景

录制在多个工业和室内地点进行，包括地下结构和训练设施，目标是代表与应急救援操作相关的环境。这与空中机器人在消防和危险材料场景中的先前工作和实际部署一致[6]。虽然本研究无法访问实际灾后环境（坍塌结构、瓦砾场），但录制的工业和地下场景与受灾结构共享关键的感知挑战：近乎完全的黑暗（地下矿井）、厚重的烟尘沉积和高动态范围照明（消防训练设施）、受限和退化的结构元素（工业遗产场地），以及狭窄的金属通道（桥梁检查）。我们承认真实灾害场景可能带来额外挑战，如动态烟雾、不规则瓦砾几何和移动障碍物。在某些地点，飞行操作不被法律允许；因此额外序列使用三脚架设置手动录制。

IV-B 拼接与对齐

原始双鱼眼录制被拼接为等距柱状投影视频并裁剪以移除起飞/着陆段。由于摄像头相对于无人机机身有固定偏移安装，还应用了额外的偏航对齐。

图3从双鱼眼摄像头视图到等距柱状投影表示的拼接流水线。

IV-C 数据集大小与划分

从原始视频中，我们手动选择代表性序列并每10帧提取一帧，对应约3 fps的有效采样率。这产生了表I中总结的等距柱状投影帧。由于主要部署目标是自主微型无人机，测试集完全由无人机录制组成，而手动录制作为训练数据以拓宽场景多样性并作为数据增强的一种形式。

表I：数据集摘要（预处理后）

IV-D 动态数据集生成器

我们不导出静态平面图像集，而是采用动态数据集生成器，在训练时产生平面输入视图和相应的偏航标签。通过从等距柱状投影图像密集采样平面裁剪，这种方法作为强数据倍增器，同时减少存储开销并实现受控视图采样和一致增强。

我们从拼接的等距柱状投影帧开始，提取模拟常规前视摄像头的平面投影。为匹配数据收集期间的预期飞行姿态，我们将俯仰固定为水平飞行配置，并将360°球面限制在水平带内（图4）。

图4等距柱状投影帧，显示用于平面视图提取的水平带（固定俯仰）。

平面图像以90°视场角（FOV）提取，初始分辨率为600×600像素。训练时我们下采样至101×101像素以匹配基线网络[5]输入尺寸。几何变换示例如图5所示。偏航采样区域如图6所示。

图5从等距柱状投影帧提取平面视图的示例。

图6等距柱状投影图像中偏航角相对于无人机的可视化（俯视图）。绿色区域标记使用的视场，红色区域指示可能混淆网络的模糊边界视图。

IV-E 即时配对生成与标签映射

每个平面视图的地面真实偏航标签直接从其在等距柱状投影帧中的提取角度派生。通过构造，等距柱状投影图像中心在θ=90°对应无人机的瞬时航向（参见图6），如第IV-C节所述偏航对齐所保证。在数据收集期间，无人机沿引导出每个场景的恢复路径手动飞行（如朝向隧道或走廊出口），其偏航连续对齐到路径方向[5]。因此每个等距柱状投影帧的中心点与当时演示的恢复航向重合。在角度θ提取的平面视图相对于此中心直接编码任意观看方向与地面真实恢复航向之间的偏航偏移。

对于每个等距柱状投影源帧，生成器从[30°, 150°]前向范围随机采样N=10个偏航角产生平面视图。提取角度θ_extract直接作为地面真实标签：在θ_extract=60°提取的视图表示正确航向（90°）位于图像中心右侧30°的视角，需要向右偏航校正。相反，θ_extract=120°意味着30°向左校正。

对于无人机录制，我们额外从[210°, 330°]后向范围采样N个视图，并通过θ_label = 360° - θ_extract将它们映射到前向范围。例如，在θ_extract=210°提取的视图被重新标记为θ_label=150°，模拟等效的前方视角。这实际上使每帧训练样本数翻倍，同时保持一致的标签语义。

网络在归一化输出范围上操作。设t为应用前后映射后的偏航标签（度），其中t∈[30°, 150°]。我们通过下式将其映射到归一化范围y∈[-1, 1]：

对于报告和实际控制，应用逆映射将网络输出转换回度数。

IV-F 图像归一化与增强

图像归一化到[-1, 1]范围。我们应用轻微仿射增强（平移±10%，旋转±15°，缩放±10%）以增加鲁棒性。这些增强在投影后应用，因此它们模拟真实的摄像头扰动而不改变偏航标签。

V. 学习方法

本节形式化偏航预测任务，描述评估的CNN架构，并指定训练过程。

V-A 问题表述

我们从单个平面前视图预测连续的偏航指令。设x表示平面RGB图像，f_θ(·)为参数θ的CNN回归器。网络输出ŷ = f_θ(x) ∈ [-1, 1]，线性映射回操作偏航范围[30°, 150°]。给定训练集{(x_i, y_i)}ᵢ₌₁ᴺ，其中平面图像和归一化偏航标签y_i ∈ [-1, 1]，我们通过最小化预测与地面真实偏航之间的均方误差获得θ：

V-B 架构

我们从先前小径跟随[5]工作中用作基线的紧凑CNN架构开始，并将其从分类（三类）调整为回归（单标量输出）。我们评估了九个变体，分为五个设计家族：（i）tanh基线回归器，（ii）ReLU激活，（iii）带dropout的ReLU（若干dropout率），（iv）带批归一化的ReLU，（v）leaky-ReLU（若干负斜率）。

V-C 训练过程

我们使用第V-A节定义的MSE损失进行监督学习。优化使用随机梯度下降（SGD），初始学习率5×10⁻³，每轮指数衰减因子0.95。训练运行100轮，小批量大小为3；小批量机制可以改善泛化并提供隐式正则化效果[11]。动态生成的数据集划分为90%训练和10%验证。

VI. 实验与结果

我们在三个阶段评估所提出的流水线：分类合理性检查、跨架构变体的系统回归比较，以及半自主真实世界飞行测试。

VI-A 通过分类进行生成器验证

作为数据集生成器的合理性检查，我们首先复现了Giusti等人[5]的三类（左/直/右）分类设置。在保留测试集上，最佳运行达到0.9201准确率（10次运行均值：0.9099）。这表明即时生成产生一致的训练数据，且数据集支持方向相关视觉线索的学习。

VI-B 回归性能

对于偏航回归，每个模型变体以不同随机种子训练10次。在保留测试集上表现最佳的变体是leaky-ReLU回归器（负斜率α=0.05），R²为0.8074。在网络内部范围[-1,1]中，最佳模型产生MSE 0.0649和RMSE 0.2548。映射到度数[30°,150°]后，同一模型达到：15.28° RMSE和10.146° MAE。

图7 预测与目标偏航值（度），理想对角线参考。

预测与目标关系（度）如图7所示，展示了跨操作范围的强线性一致性。预测保持在对角线中心附近，无强烈系统偏差，但预测误差向范围两端增长：当无人机面对墙壁时，视图不揭示墙壁在其左侧还是右侧，使得这些偏航角模糊，产生在极端处看到的较重尾部。为减少由此产生的边界异常值，我们将数据采样器的视场限制在明确的[30°,150°]区域（图6绿色），并从训练中排除墙附近的红色区域。

表II：架构变体最佳测试结果（偏航回归）

VI-C 消融与架构效应

用ReLU替代tanh激活一致改善了验证损失和测试指标[13]。相比之下，在测试配置中添加dropout降低了性能，表明基线架构和数据集已提供大量正则化，额外dropout可能导致欠拟合。Leaky-ReLU在比较变体中实现了最佳整体测试性能。

VI-D 误差分析

我们观察到预测误差在场景间并非均匀分布。图8总结了跨一些测试场景的代表性预测。在大多数情况下，预测角度与目标紧密匹配，导致正确、无碰撞导航，如(a)和(b)所示。在(d)-(g)中，小的差异源于数据集创建期间手动飞行引入的目标角度不准确性，而非预测误差；在其中几个案例中，网络预测实际上比标记目标更接近理想飞行方向，表明模型可以补偿错误标记的数据。

总体而言，最大的预测误差源于两种不同的失效模式。第一种是光度学的：在(h)中，高动态范围照明和强镜面反射导致模型将亮区域误解为可通过的开口，使其预测替代（尽管可能仍然有效）的逃逸方向。第二种是几何学的，并非由反射或眩光引起：在(c)中，场景纹理贫乏且包含多个视觉上同样可行的逃逸方向，具有相当的开放性，输入视图中不存在镜面伪影。这里网络选择了不同但仍几何上有效的开口，反映了此类场景中底层偏航分布的固有多模态性。用MSE目标训练的单帧回归器无法表示这种多模态性，倾向于坍缩到单一模态，即使预测方向仍可无碰撞，也可能对单一地面真实标签产生大的角度误差。

图8保留测试集上的定性示例：地面真实偏航（绿色）与预测偏航（红色）叠加在平面投影上。更多示例可在GitHub获取。

VI-E 推理基准

为评估对机器人相关计算平台的适用性，我们测量了推理吞吐量。共执行1001次前向传递，其中第一次用于预热。报告运行时间对应剩余1000次运行的平均值。所有基准使用PyTorch和ONNX运行时进行。

表III：推理基准概览（模型前向传递）

VI-F 真实世界半自主测试

使用DJI Tello EDU微型无人机进行了真实世界半自主测试。我们强调此测试旨在作为策略验证而非部署演示：其目的是确认仅在动态生成的等距柱状投影视频平面裁剪上训练的网络，能在先前未见过的来自不同平台的前视摄像头流上产生可操作的偏航指令。第III-A节介绍的自定义录制无人机不能用于此闭环测试，因为它被有意设计为隐形录制平台：其整个有效载荷预算分配给360°摄像头，没有容量用于如Jetson Orin或同等嵌入式GPU的机载飞行计算机。该平台的ArduPilot飞行控制器暴露MAVLink接口，但没有机载配套计算，没有室内位置保持（仅GPS状态估计），以及专有模拟FPV摄像头（Caddx Vista）无法用于实时推理。相比之下，DJI Tello EDU提供通过Wi-Fi的文档化Python SDK、可访问的前置摄像头流和稳定的室内悬停，使其成为闭环验证学习策略最直接的方式。表III中的基准平台被选择是因为它们代表通常集成到本工作目标类型微型无人机中的嵌入式计算类别，测量的吞吐量确认在我们平台未来迭代将携带的硬件上进行机载推理是可行的。

Tello的前置摄像头流通过Wi-Fi发送到运行训练网络的外部计算机，预测的偏航指令作为控制输入发送回，同时前向运动保持恒定（图9）。成功穿越了先前未见过的室内实验室环境，包括无碰撞通过门口。

图9 真实世界验证中使用的机载半自主偏航控制回路。DJI Tello EDU通过Wi-Fi将前置摄像头图像流传输到外部服务器。服务器执行基于CNN的偏航预测并将偏航转向指令发送回无人机，同时前向速度保持恒定。

VII. 结论与未来工作

本文的主要贡献是获取了一个新颖的真实世界数据集，并实现了一个初始学习流水线。该流水线设计用于从360°录制派生的平面图像预测偏航指令。此外，我们强调来自开放环境的数据比来自受限环境（如工业设施或赛道）的数据更有价值——也更难获取。最佳模型在保留测试数据上达到15.28° RMSE和10.146° MAE，并在半自主真实世界测试中证明了可行性。我们的结果表明，在代表性、场景多样数据上训练时，微型无人机上的纯视觉偏航控制是可行的。用ReLU替代tanh改善了回归性能，而添加dropout降低了结果，表明可能过度正则化。Leaky-ReLU产生了最强的整体测试性能。主要的实际限制是对光照极端和镜面反射的鲁棒性。进一步的结构性限制是单帧反应策略没有时间记忆：没有过去观察的历史，控制器无法区分之前访问过的死胡同和未探索的走廊，可能重新访问仅从单视点看起来开放的区域。鉴于自主飞行的安全关键性质，未来系统应将学习偏航预测与额外保障相结合，如不确定性估计、保守回退行为或互补感知。不用说，还有很多工作要做。我们已经在构建一个更先进的小型无人机，配备四个180°鱼眼摄像头，将在即将发表的论文中展示。预测超出偏航角是必须的。未来工作包括：（i）增加数据集多样性和规模，（ii）针对亮度/对比度和眩光的定向增强，（iii）使用额外传感器信号（如IMU）校正潜在噪声标签，（iv）使用现代预训练视觉Transformer骨干的迁移学习，（v）研究领域适应策略，包括在小型灾后数据集上微调和能见度降低条件（烟雾、灰尘、水雾）的合成增强，以评估训练分布之外的泛化能力。数据集和训练源代码均已公开。