ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

现代智能雷达技术22——AI(2)

现代智能雷达技术22——AI(2) ATR通过深度学习使雷达实现目标分类如识别无人机、车辆等突破“知其有不知其为何”的局限。结合微多普勒谱图、HRRP与SAR图像利用CNN、LSTM与Transformer提升识别精度。4D成像雷达催生稀疏点云处理需求PointNet与GNN有效应对噪声与稀疏性。融合感知迈向BEV空间雷达与视觉前融合以速度与全天候优势构建安全冗余成为自动驾驶“速度层”与“安全底线”。ATR (Automatic Target Recognition - 自动目标识别)解决了雷达“知其有不知其为何物”的痛点。通过深度学习雷达终于能像摄像头一样给目标打上具体的标签。15.1 目标分类 (ATR)雷达的“人脸识别”1. 输入数据雷达眼中的世界AI 需要吃数据。雷达提供的数据形式与光学图像不同微多普勒谱图 (Spectrogram)维度时间 × 多普勒频率。信息包含目标的运动细节走路摆臂、旋翼转动。适合识别生物和无人机。HRRP (High Resolution Range Profile - 高分辨距离像)维度幅度 × 距离。信息目标在视线方向上的散射点分布一维画像。适合识别飞机、舰船、车辆的长度和结构。SAR 图像维度二维图像。信息类似于黑白照片。适合识别地面静止目标。2. 网络架构从图像到序列CNN (卷积神经网络)处理谱图和 SAR 图像的王者。提取纹理特征如旋翼线的间隔、车辆的轮廓。RNN / LSTM (循环神经网络)处理 HRRP 序列或航迹数据。雷达数据是随时间变化的LSTM 能记住“上一秒它还在摆臂”从而提高识别的稳定性。Transformer最新的趋势。利用自注意力机制捕捉长距离的时间依赖关系比如一个人走路的完整周期。3. 实战任务反无人机难点区分悬停的无人机和树梢的摆动。AI 解法学习旋翼调制特有的高频谐波特征。战场侦察难点区分履带车坦克和轮式车卡车。AI 解法履带转动会产生特殊的微多普勒噪声像履带撞击地面的声音而轮式车没有。自动驾驶难点区分行人、骑行者、路灯。AI 解法行人的四肢摆动特征极其明显路灯则是静止的。总结ATR 将雷达从一个“探测器”升级为了“传感器”。通过 AI我们不仅能看到目标的位置还能看到它的意图是在跑步还是在徘徊和身份。随着 4D 成像雷达的普及雷达输出的数据不再是简单的目标列表而是一团团点云 (Point Cloud)。但这团点云很特殊它比激光雷达的点云稀疏得多几千个点 vs 几十万个点而且有很多噪点多径。传统的视觉算法如 VoxelNet在这里并不好用。我们需要专门针对稀疏点云的 AI 算法。15.2 点云处理在稀疏中寻找结构1. 稀疏点云的特性优点包含多普勒速度信息这是激光雷达没有的。缺点稀疏一辆车可能只有 10-20 个点。抖动散射中心会随着视角变化而跳动角闪烁。噪声有很多虚假点多径、旁瓣。2. PointNet / PointNet这是处理无序点云的鼻祖。原理直接输入点坐标 (x,y,z,v,SNR)(x,y,z,v,SNR)。通过共享的 MLP多层感知机提取每个点的特征。通过 Max Pooling 提取全局特征。雷达适配把多普勒速度 vv作为一个关键维度输入网络。网络很容易学会速度相同的点大概率属于同一个物体。这极大地辅助了聚类。3. GNN (Graph Neural Network - 图神经网络)点云本质上是一个图Graph。点是节点点之间的距离是边。原理为每个点建立邻居关系KNN。在图上进行卷积操作聚合邻居的信息。优势GNN 特别擅长处理非规则结构。它能把离散的几个点“连”起来推断出物体的骨架。4. 目标检测与分割3D Bounding Box 检测在稀疏点云中画出车辆的 3D 框。难点雷达往往只能打到车的一面比如车尾AI 需要脑补出整辆车的大小。语义分割给每个点打标签这个点是路面那个点是护栏那个点是车。应用利用雷达生成可通行区域 (Free Space)辅助自动驾驶路径规划。总结点云 AI 是 4D 雷达落地的最后一公里。它弥补了硬件分辨率的不足让“几千个点”发挥出了“几万个点”的效果。它证明了在 AI 时代信息密度比数据量更重要。雷达点云虽少但速度信息密度极高。单打独斗的雷达终究有极限。在自动驾驶的终局之战中雷达必须融入多传感器融合的大家庭。传统的融合是后融合 (Late Fusion)雷达给个列表摄像头给个列表然后卡尔曼滤波拼一下。现在的趋势是前融合 (Early Fusion)和BEV (鸟瞰图) 融合在特征层就把它们揉碎了捏在一起。15.3 融合感知上帝视角的拼图1. 为什么是 BEV (Birds Eye View)视角统一摄像头是透视视角近大远小。雷达和激光雷达天然是鸟瞰视角上帝视角。为了融合必须把摄像头图像通过 IPM (逆透视变换) 或 Transformer 投影到 BEV 空间。无遮挡逻辑在 BEV 空间里物体之间没有遮挡关系规划路径非常直观。2. 雷达 视觉的深度融合雷达的强项是纵向测距测速弱项是横向测角视觉恰好相反。它们是天作之合。CenterFusion 架构先用雷达点云生成热力图投影到图像上。利用雷达的深度信息辅助视觉网络回归出更准的 3D 框中心点。Radar-Camera Transformer利用 Transformer 的注意力机制。Query视觉特征。Key/Value雷达点云特征。让视觉自动去“关注”雷达点云中有价值的信息比如速度忽略噪声。3. 多模态冗余AI 融合不仅是为了准更是为了安全。互补场景进隧道光线剧变视觉失效。雷达接管。大雾天激光雷达衰减。雷达接管。鬼探头视觉没看清侧面。雷达通过反射波非视距探测提前发现。置信度动态加权AI 模型会实时输出每个传感器的“不确定度”。如果下雨了自动降低视觉权重提高雷达权重。总结在 BEV 融合架构中雷达不再是一个独立的传感器而成为了整个感知网络中的**“速度层”和“全天候层”**。它为视觉提供了不可或缺的深度与速度先验让自动驾驶系统有了真正的“安全底线”。
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进