1. 问题动机与研究价值1.1 从“会刹车”到“会预判”自动驾驶离不了这一步我接触自动驾驶规划控制有些年头了一个特别深的感触是感知做的是“现在”预测做的才是“下一刻”。如果你的车只在看到行人踏入车道那一刻才猛踩刹车那用户体验基本完蛋——乘客被晃得头晕行人被吓得够呛后车还可能追尾。真正的自动驾驶系统必须在行人还在路边犹豫、张望、迈出一只脚又缩回去的时候就开始计算他到底想干什么、下一步会往哪走、大概什么时间点会到达哪个位置。这个能力学术上就叫行人运动预测英文是Pedestrian Motion Prediction。说句实在话行人运动预测是目前自动驾驶落地过程中最让人头疼的模块之一。车辆、其他交通参与者的运动多少还受交通规则约束变道、跟车都有比较明确的模式可循但行人是“完全自由的单体”不受车道线约束、不受红绿灯约束现实中总有人闯、甚至有时候不按常理出牌——突然折返、低头看手机、被同伴叫住、看到熟人冲过去打招呼这些行为模式极其散漫且随机。这给预测算法带来的难度比车辆轨迹预测高出一个量级。我这个研究提案的核心目标就是针对城市混合交通场景下的行人运动预测问题提出一套融合多源信息、兼顾个体意图与群体交互的预测框架。它既要处理“这个行人接下来往哪个方向走”的问题也要处理“他什么时候会开始走”“他会不会停下来让车先过”这类细颗粒度问题。参考价值方面这套方案既适合刚入门预测算法的同学用来建立系统认知也适合已经在做规划控制、想往上游感知预测方向扩展的工程师参考。1.2 为什么这问题值得专门做一版Research Proposal很多人会问行人预测不是已经有大量论文了吗LSTM、Transformer、图神经网络各种模型都有人试过了还需要专门提一个研究方案我的回答是论文确实多但你拉出来实际跑一跑就会发现大部分模型在公开数据集上刷的指标到了真实城市道路场景里根本扛不住。原因有几层。第一公开数据集和真实场景存在显著的分布差异。很多数据集的采集环境相对简单行人数密度低、场景单一模型学到的“规律”其实是数据集的规律而不是真实世界的规律。第二多数算法把行人预测当作一个纯粹的“轨迹回归”问题只关注坐标序列忽略了行人意图、交通信号灯状态、路面语义信息这些关键输入。第三也是最重要的一点真实场景中行人与行人之间、行人与车辆之间存在复杂的交互这种交互不仅是空间上的避让还包括眼神、手势、速度调整等隐含信息很难用简单的距离阈值去建模。所以在设计这个研究提案的时候我给自己定了几条硬性原则不做纯刷点的工作不做脱离场景的模型堆砌不回避真实场景里的长尾问题。整个研究框架必须围绕“在城市混合交通场景下如何让预测系统具备实用性、可解释性和可迁移性”这个核心展开。这也是这篇文章想传达的核心思路——预测不是孤立的模型问题而是整个自动驾驶系统里承上启下的关键枢纽。2. 核心难点与研究思路拆解2.1 行人运动预测到底难在哪要设计一个好的研究方案首先得把问题拆透。我个人把行人运动预测的困难归纳为三个层面每个层面都有对应的技术挑战。第一个层面是个体行为的随机性。行人不像车辆那样受物理动力学和交通规则的强约束他的每一步决策都受到大量内外部因素的影响。同样是站在路边一个人可能是等朋友、可能是犹豫要不要过马路、可能是在看手机导航、也可能单纯是站在那发呆。同一个外部状态背后对应的意图可能完全不同这就导致预测天然存在多模态——一个行人接下来的轨迹可能有多种合理走向强行输出一条“平均轨迹”往往哪条都不对。第二个层面是群体交互的复杂性。在城市人行道上行人不是孤立运动的行人之间的避让、跟随、结伴、对冲都会显著影响轨迹走向。两个人迎面走来双方都会各自让一点一个人被同伴叫住可能会突然转向一群人在路口聚集等待一旦绿灯亮起群体同时涌入斑马线彼此之间的交互更加剧烈。这种交互不是简单的物理排斥还带有社会规则和习惯的成分用传统的势场法或者简单距离阈值很难刻画清楚。第三个层面是多模态信息的融合问题。行人的运动决策高度依赖环境上下文红绿灯状态决定他能不能过马路路面是否有障碍物决定他往哪绕行周围车辆的速度和距离决定他是否敢迈步甚至天气情况也会影响行走速度。这些信息形态各异——有矢量地图、有栅格语义图、有高精度的目标轨迹怎么把这些信息有效地喂给预测模型本身就是一个值得研究的问题。2.2 我的总体研究思路从“预测轨迹”升级到“预测行为”针对上面这些难点我这个提案的核心思路是不直接预测轨迹而是先预测行为和意图再在行为和意图的约束下生成轨迹。听起来有点绕但实际上更符合人对行人运动的认知方式。你观察一个人的动作脑子里首先形成的是“他要过马路”“他可能要回头”这类判断然后才会推测他在特定意图下的具体路径。意图预测给轨迹预测提供了强先验约束能显著缩减解空间提升预测准确率。而且意图本身具有可解释性——下游规划模块看到“行人意图过马路”就能提前做减速准备比看到一串轨迹坐标更容易决策。具体来说我打算把整个预测系统拆成三个层次。第一层是感知信息编码把行人历史轨迹、周围行人轨迹、地图语义、交通信号灯状态统一编码成特征表示第二层是交互建模与意图识别用图神经网络建模行人与行人、行人与环境之间的交互同时输出行人的行为意图类别第三层是轨迹生成在意图条件和交互信息的约束下生成多条候选轨迹并对每条轨迹打分排序。这个三层结构既有清晰的技术分工也方便后续工程落地时分模块优化。2.3 为什么选用“图神经网络意图先验”的技术路线现在学术界做轨迹预测的主流方案大致分几类基于LSTM/Transformer的序列模型、基于生成模型GAN、VAE、扩散模型的多模态预测、基于图神经网络的交互建模。每类方案都有各自的优势和短板我在定这个提案的时候做了仔细的比较和取舍。纯序列模型简单直接把历史轨迹输进去、未来轨迹输出来实现起来最快但问题也很明显——它对行人之间的交互建模能力弱很难处理拥挤场景下的协同避让。生成模型可以输出多条轨迹解决多模态问题但训练不稳定、可解释性差而且输出的多条轨迹不一定对应真实的行为语义。图神经网络在处理交互问题上天然有优势行人作为节点、行人之间的关系作为边消息传递机制可以很好地模拟行人之间的相互影响。所以我最终的路线是把图神经网络作为交互建模的底座再叠加一个意图识别头。这样既保留了图结构对交互的表达能力又通过意图先验把多模态轨迹预测从“隐式采样”变成“显式分类条件生成”。每个行为意图类别对应一类轨迹分布模型的输出自然具备了语义可解释性。这也是我认为这个提案最具创新价值的地方。3. 研究内容与实验方案设计3.1 数据集选择与预处理研究方案定了接下来要解决“拿什么训练和验证”的问题。行人预测领域目前比较常用的公开数据集有ETH、UCY、SDDStanford Drone Dataset还有一个近年来在自动驾驶圈子里应用越来越多的nuScenes数据集。ETH和UCY是老牌的行人轨迹预测数据集场景以校园和街道为主行人密度适中标注质量好绝大多数轨迹预测论文都用它做基准评测适合用来横向对比算法效果。SDD包含无人机视角的多种交通参与者轨迹场景更丰富但视角和自动驾驶车载视角差异较大使用的时候需要做坐标转换和视角适配。nuScenes是完整的多传感器自动驾驶数据集包含相机、雷达、激光雷达和毫米波雷达数据还有矢量高精地图和交通信号灯信息最适合做多模态信息融合的研究。我在这个提案里的选择是主数据集用nuScenes因为它最接近真实自动驾驶场景辅助验证用ETH/UCY方便和已有论文做对比。数据预处理这块有几个关键点必须注意。传感器数据的时间同步问题首当其冲——相机、雷达、地图数据必须对齐到同一个时间戳否则融合特征就乱了。其次是坐标系转换行人轨迹通常在世界坐标系下表示但语义分割结果在图像坐标系下两者需要标定和外参转换。第三是轨迹片段切分我建议用3秒历史轨迹预测未来4~6秒采样频率2Hz这样历史帧数为6帧对未来预测来说信息量够用且不会太冗长。3.2 整体框架设计从感知输入到轨迹输出整个预测框架的数据流我把它设计成下面这条链路每个环节的输入输出都考虑清楚了。输入侧一共四路信息。第一路是目标行人的历史运动轨迹包含位置坐标、航向角、速度以及行人检测框的宽高信息。第二路是周围行人的历史轨迹这里需要设置一个交互搜索半径我初步定为半径8米内的所有行人既覆盖了大多数交互场景又不会让图规模过大影响计算效率。第三路是场景语义信息通过对环视相机图像做语义分割得到路面、人行道、车道线、障碍物等类别再投影到俯视图栅格上。第四路是高精地图和交通信号灯信息提供车道拓扑、人行横道位置、红绿灯状态这些规则性先验。四路信息进入模型后先经过各自的特征编码器把原始数据映射到统一的特征空间然后输入到图神经网络模块做交互推理接着经过意图分类头得到行为类别分布最后在意图条件下生成候选轨迹。训练阶段用真实未来轨迹做监督推理阶段则直接输出多条带置信度的轨迹。这里有一个我自己总结的经验想分享很多人做多模态预测时喜欢在最后加一个打分网络给每条候选轨迹输出一个概率分数。这个思路没问题但打分网络不能只看轨迹本身还应该结合场景上下文信息和预测的意图类别否则很容易出现两条轨迹几何上差不多、分数却差很多的诡异情况。更合理的做法是让打分网络复用交互建模模块的输出实现特征共享既省参数又能提升一致性。3.3 关键模块A基于语义分割的场景上下文编码这个模块在多数轨迹预测论文里其实着墨不多但在我看来恰恰是工程落地的关键。行人预测不能只看行人自己还必须理解他脚下的路况和周围的场景。一个人站在人行道边和站在马路中间下一步运动的可能性是完全不同的。我计划用轻量级语义分割网络对环视相机图像做推理分割类别覆盖道路、人行道、斑马线、停车线、绿化带、建筑、静态障碍物如柱子、消防栓等。分割结果经过逆透视变换投影到车辆坐标系下的俯视图栅格中形成一张语义栅格图。这个栅格图的分辨率设定对效果影响很大——太粗了丢失细节太细了计算量大。我实测下来以目标行人位置为中心、边长32米、分辨率0.25米/像素的栅格图比较合适既覆盖了行人的短时运动范围又保留了足够的空间细节。语义信息的作用体现在两个层面。一个是为意图识别提供依据比如行人站在斑马线边缘语义图上显示绿灯且前方无障碍物那“过马路”这个意图的概率就应该被抬高另一个是为轨迹生成提供空间约束候选轨迹如果穿过了建筑或者静态障碍物直接降低它的置信度。这就相当于给预测加了“物理常识”能显著减少不合理轨迹的输出。3.4 关键模块B基于图神经网络的行人交互建模交互建模是整个框架的核心模块我采用的方案是时空图注意力网络。每一帧将所有行人和关键静态元素如红灯、停止线、障碍物作为图的节点节点特征包含位置、速度、类别等属性两个节点之间的距离小于阈值则建立边连接。为了捕捉交互的时空演化特征图的构造在多个历史时间步上重复进行形成一个随时间演化的图序列。空间维度用图注意力网络聚合相邻节点信息时间维度用GRU或者Transformer编码轨迹时序依赖。图注意力机制的一个关键优势是可以学习交互权重而不是像传统方法那样用距离衰减函数固定加权。什么意思呢两个行人相距2米可能是各走各的互不影响也可能是一方在尾随另一方距离近不代表交互强距离远也不代表没交互——比如一个行人朝另一个行人的方向看过去即使距离5米以上也可能影响对方的运动决策。图注意力让模型自己从数据中学习这种微妙的关系比人工设定规则要灵活得多。交互建模模块的输出有两路一路送进意图分类头帮助模型判断“在当前社会环境下这个行人最可能要做什么”另一路作为条件特征在轨迹生成时约束候选轨迹的社会可接受性。两路输出共享底层的图交互特征避免了重复计算也让两个任务相互促进——意图识别帮助交互模块关注更相关的邻居交互信息帮助意图识别排除不合理选项。3.5 关键模块C意图识别与多模态轨迹生成意图识别的核心是行为类别体系的设计。我根据城市道路场景的实际情况把行人行为意图划分为六大类静止等待、直行通过、左转/右转过马路、跟随他人、绕行障碍物、突然折返。每种类别在轨迹形态上有显著的区分度而且具备清晰的语义含义方便下游模块理解和决策。意图分类器本质上是一个多分类网络输入是交互模块输出的行人身特征编码输出是六个类别的概率分布。这里我特意引入了一个设计细节——分类器不仅要看当前时刻的特征还要看历史时刻的意图变化趋势。一个人先是在路边站着然后左顾右盼再迈出半步这一系列动作的时序关系强烈暗示他即将过马路。所以意图分类器会用一个小型的时序网络来处理特征序列而不是只对最后一帧特征做分类。轨迹生成采用条件变分自编码器CVAE的架构。CVAE的好处是能够学习同一意图类别下轨迹的多种合理变化——同样是“过马路”行人可能走直线、可能略带弧度、可能中途小跑两步。训练时真实轨迹通过后验编码器编码成潜变量推理时从前验分布中采样多个潜变量再结合意图条件和交互特征解码生成多条候选轨迹。候选轨迹的数量我建议控制在10条以内太多会给下游规划增加计算负担太少又覆盖不了合理的多模态分布。3.6 损失函数设计与评估指标损失函数这块我踩过不少坑简单任务用简单loss很容易收敛但行人预测是多任务联合训练loss权重必须仔细调。我设计的综合损失函数包含四个部分意图分类交叉熵损失、轨迹回归的均方误差损失、轨迹与场景语义的一致性损失以及候选轨迹多样性的正则化损失。总的损失是四者的加权和其中轨迹回归损失和意图分类损失是主损失权重占比最大后面两个是辅助损失权重相对较小起引导作用。轨迹与场景语义的一致性损失是我比较得意的一个设计。它在训练时额外检查生成的轨迹点是否落在不可通行区域如建筑内部、车道中间且无斑马线如果落上去就施加惩罚。这个损失函数的加入让模型在生成轨迹时天然学会避开障碍物和不合理区域推理阶段即使不额外后处理输出轨迹的安全性也有明显提升。评估指标方面业界最常用的两个指标是ADEAverage Displacement Error平均位移误差和FDEFinal Displacement Error最终位移误差。ADE计算预测轨迹所有点和真实轨迹对应点的平均欧氏距离FDE只计算最终位置的距离误差。但只看这两个指标有一个盲区——它们只评估最优单条轨迹而多模态预测的价值恰恰在提供多条候选。所以我另外引入了minADE和minFDE这两个指标从模型输出的多条轨迹中选出和真实轨迹最接近的一条来计算误差。这个指标更公平地反映多模态预测的真实效果。我还会额外统计意图分类的准确率和轨迹可通行比例前者用来评估意图模块的可靠性后者用来衡量输出轨迹的安全性。4. 实验计划与可行性分析4.1 实验设置与对比基线实验设置这块我按照“消融实验验证模块有效性、对比实验验证整体先进性、泛化实验验证可迁移性”三条线来布局。消融实验是最重要的一环用来回答“你加的每个模块到底有没有用”。我计划做四组消融完整模型作为上限参考去掉语义分割模块只看轨迹和交互能不能预测去掉图交互模块只看单行者轨迹加语义能不能预测去掉意图先验模块直接让CVAE从全局特征采样生成轨迹。每一组都用相同的训练集和超参数差异只在被消融的模块上。这四组结果横向对比每个模块的贡献大小就一目了然了。对比实验选择的基线方法包括经典的Social LSTM用LSTM编码轨迹社交池化处理交互、Social GAN引入生成对抗机制做多模态预测、Trajectron当前业界公认的强基线用图结构做交互建模、以及带意图分类的意图驱动LSTM。这些基线覆盖了不同技术流派对比起来有说服力。我预期的效果是完整模型在ADE和minFDE指标上都能达到不低于基线模型的水平同时在意图准确率和轨迹可通行比例上明显优于纯轨迹预测方法。泛化实验做的是跨数据集验证——用一个数据集训练直接拿到另一个数据集上测试中间不做任何微调。这个实验最能检验模型的场景适应能力如果换了个场景指标就崩说明模型学到的是数据集特有规律而不是通用规律实用性就要打折扣。4.2 训练细节与超参数设置训练参数设置方面我把自己习惯的配置列出来给大家做个参考。优化器用Adam初始学习率设置在1e-3左右配合学习率衰减策略每训练10个epoch衰减为原来的0.5倍。批量大小设为64这里的批量不是指64个行人样本而是64个场景片段每个片段包含一个目标行人和他周围若干行人的完整轨迹。训练轮次设定上我先用一个较大的轮次数做初步收敛观察我一般先训练50个epoch看损失曲线的下降趋势然后根据验证集表现决定是否继续训练或提前停止。早停策略是必要的行人轨迹数据量不算特别大训练时间长了容易过拟合。类别的样本不均衡问题在意图分类里很容易出现。城市道路中“直行通过”“静止等待”这类常见意图样本多“突然折返”这类长尾行为样本很少模型训练时很容易忽视少数类。我的处理办法是在损失函数中对各类别施加权重权重与样本频率成反比数据增强方面则对历史轨迹做小幅度的旋转、缩放和平移扰动增加数据多样性。4.3 资源需求与时间规划资金和硬件资源方面这个项目属于中等偏下的资源需求。训练阶段如果只是跑公开数据集一张24GB显存的GPU足够覆盖大部分实验我个人建议至少准备两张卡一张做训练一张做验证和消融实验并行处理。推理阶段的要求就低很多轻量化的模型部署到车载计算平台上完全可行。数据标注也是一个隐性成本。公开数据集自带标注不需要额外花钱但如果后续要做自有场景数据采集和标注行人轨迹的标注单价不算低一套完整的标注流程下来也是一笔不小开销。好在研究阶段可以先完全依赖公开数据集把这个项目跑通。时间规划上我按照三个阶段的节奏来推进。第一阶段是数据预处理和基线模型复现预计耗时4~6周这个阶段的主要任务是跑通数据pipeline和复现基线为后续改进打好基础。第二阶段是核心模型实现和消融实验这是整个项目工作量最大的阶段预计需要8~10周完成了就证明这套技术路线的可行性。第三阶段是对比实验、泛化实验和论文撰写预计4~6周。整个项目从启动到产出完整的实验结果半年左右是合理的。4.4 预期成果与局限性分析如果一切顺利这套框架预期能实现的成果包括在公开数据集上达到或超过现有主流方法的预测精度意图识别模块在常见行为类别上的准确率达到可用水平为下游规划提供可解释的决策依据语义和交互先验的引入显著减少不合理轨迹的输出比例整个框架在中等算力条件下保持实时推理能力。但我也必须诚实地说一下这个方案目前的局限性。第一现有公开数据集中极端情况样本稀少模型对“突发折返”“奔跑横穿”等长尾行为的预测能力有限这需要更多真实场景数据进行补充。第二多模态输出的评估方式本身还有争议——多条候选轨迹只有一条是对的但下游规划模块用的时候该相信哪一条这个“置信度分配”的问题目前的研究还不够深入。第三当前方案只考虑行人之间的交互没有显式建模车辆对行人行为的影响在人车混行严重的路口预测精度可能会打折扣。这些局限性既是这个研究的不足也为后续工作留出了明确的方向。5. 常见问题与实操心得5.1 数据预处理阶段的坑这块我认为是整个项目里最枯燥却最容易出问题的地方。先说时间同步问题。nuScenes数据集的传感器时间戳是经过同步处理的但如果你自己采集数据、或者用的数据集传感器时间戳没对齐融合特征就会出现错位。行人轨迹明明是1秒前的坐标却和当前的语义图叠在一起模型会学到混乱的映射关系。我的建议是在进入模型之前对所有输入模态做一次严格的时间戳校验宁可丢帧也不能错位。第二个高频问题是坐标系混乱。相机图像坐标、车辆坐标系、世界坐标系三者之间需要做多次投影变换任何一个外参标定误差都会导致语义图和轨迹错位。我踩过的坑是直接在图像坐标系下生成语义栅格没有做逆透视变换结果远处的行人对应到的语义位置偏差非常大。正确做法是先做一个俯视图投影把相机视角变成鸟瞰视角再做空间对齐。第三个是轨迹片段切分的问题。有些行人可能在某段时间里被遮挡轨迹存在断裂。如果简单地把断裂后的轨迹当作连续序列输入模型模型会被误导。处理办法是检测轨迹间断点超过一定帧数就截断成独立样本不放进同一条序列。5.2 训练过程中的典型问题排查训练过程中最典型的异常现象我总结下来无非三大类损失不收敛、训练收敛但验证集不涨、输出轨迹全是“直线”。损失不收敛首先检查学习率是不是太大或者太小——我一般先调到1e-3如果不收敛再逐步降到3e-4、1e-4每次调整后观察50个epoch内的损失曲线趋势。其次检查特征归一化——轨迹坐标如果直接输入量级差异大的特征会让优化过程波动剧烈务必将坐标归一化到零均值和单位方差。训练收敛但验证集不涨通常是模型过拟合了。行人轨迹预测的模型参数量不算小而公开数据集的样本量有限两者之间需要做权衡。我的处理办法是减小模型宽度、增加Dropout比例、加大数据增强强度实在不行就回到更小的历史窗口。输出轨迹全是直线这是CVAE崩坏的典型症状——潜变量没有起作用模型退化成了一般的回归模型。出现这个问题优先检查是不是KL散度权重设得太大了。KL项权重过大会让潜变量分布被压到接近先验分布的均值附近丢失多样性信息导致解码器完全忽略潜变量直接走一条“平均轨迹”。把KL权重调低一些多样性会逐步恢复。5.3 评估时的“指标陷阱”我特别想提醒大家的是多模态预测模型的评估隐藏着“指标陷阱”很多论文的漂亮数字实际上经不起细看。一个典型的陷阱是候选轨迹数量的游戏。有些方法输出50条甚至100条候选轨迹然后用minFDE来评估反正基数大了总有一条蒙得近指标自然好看。但这在实际自动驾驶系统中毫无意义——下游规划模块不可能对100条轨迹逐一做可行性检查。这也是我坚持把候选轨迹数控制在10条以内的原因在这个数量约束下还能保持指标竞争力才是真本事。另一个陷阱是只看指标不看轨迹质量。两个模型可能minADE完全相同但一个生成的轨迹都落在路面上另一个生成的轨迹横穿建筑——显然后者在真实场景中完全不可用。所以我一再强调除了ADE和minFDE必须额外统计轨迹可通行比例。评估框架完整了模型的真实水平才不会被打折。5.4 工程项目落地的额外建议如果你不是为了发论文而是要把行人预测模块落地到实际自动驾驶系统中我有几个建议。建议模块化设计把意图识别和轨迹生成拆成两个独立的子模块中间用清晰的接口通信。这样即使后续要替换底层的交互模型意图模块和轨迹生成模块都可以相对独立地迭代不至于牵一发而动全身。建议给预测输出加一个自评的置信度分数。模型判断当前行人的运动模式非常清晰就给出高置信度如果模型也不确定行人是要过马路还是原地等待就输出低置信度并同时给出两种可能性的轨迹。下游规划模块拿到置信度就可以决定是激进通行还是保守减速整个系统的安全性会显著提升。建议部署时对模型做量化压缩。公开数据集上跑实验不卡顿不代表部署到车载平台还流畅。轻量化的主干网络、半精度推理、TensorRT加速这些工程手段如果等到上车前再想往往来不及最好在研究阶段就预留出可量化的结构空间。写在最后这个研究提案前前后后我构思了大半年中间推翻了两次方案。最初和大多数人一样想直接用一个大型Transformer把所有信息一锅端后来越想越觉得不对——模型越大可解释性越差落地越难。最终定下来的“感知信息编码→图交互建模→意图先验→条件轨迹生成”这套框架本质上是向行为认知的逻辑靠拢先想清楚“人要做什么”再计算“人会怎么走”。如果你也想在这个方向试试水我最后再分享一个实用的建议先把基线的Social LSTM老老实实复现一遍把数据pipeline跑通把评估代码写好再去碰复杂模型。我见过太多人上来就追SOTA结构结果基线还没复现成功就开始调新模型最后连问题出在数据还是模型上都分不清。先把地基打牢后面每一步都会走得稳当很多。