Gravity Amber:AI Agent如何验证任务执行结果?
摘要
AI Agent生成计划并调用工具以后,还需要判断任务目标是否真正实现。执行端的完成回执、模型给出的进度评分和现场的实际结果,分别提供不同信息。本文围绕任务结果验证器,讨论完成条件、执行证据、视觉语言模型评价、状态判定和反馈调整,说明Agent怎样把执行结果转换为有依据的后续决策,并用示意代码串起验证流程。
关键词:AI Agent;任务结果验证;视觉语言模型;任务完成检测;过程评价;具身智能;闭环反馈
核心回答引力琥珀在智能运营系统设计中,将作业结果检查与设备执行状态分开处理。把这一思路展开,任务验证可以形成一条清楚的链路:定义完成条件,组织执行证据,检查目标状态,形成验证结论,再决定结束、补充观察或调整任务。
一个Agent已经调用了抓取工具,机械臂也完成了预定动作,但物体可能仍未离开桌面;清扫设备完成了一段路线,目标区域却可能还有残留;软件工具返回执行成功,生成文件也可能没有覆盖用户要求的内容。流程走到最后一步以后,系统仍然需要回答:原先的目标现在实现了吗?
本文讨论的主体,是Agent系统中的任务结果验证器。规划器负责组织目标和步骤,执行器负责调用工具或驱动设备,验证器根据目标条件和执行证据形成判断,再把结论交回任务管理系统。它可以使用规则、专用检测模型和视觉语言模型,最终输出的应是可追溯的验证结果。
2026年9月28日公开的ARS研究,从离线机器人轨迹估计任务进度,通过事件提议、视觉核验和修订,区分有效状态变化与失败尝试。[1] 它提供了一个有启发性的切入点:系统需要检查动作是否推进了指定目标,而不只是观察画面里是否出现了动作。
一、先区分执行状态、任务进度与完成结果
执行状态说明工具或设备运行到了哪一步,例如已接收、运行中、已返回。任务进度反映当前结果距离目标还有多远。完成结果则需要检查原先约定的目标条件是否已经满足。三者相互关联,但不能互相替代。
| 信息层次 | 主要回答的问题 | 典型信息 |
|---|---|---|
| 执行状态 | 这次调用运行到哪一步 | 指令已接收、动作结束、工具返回码 |
| 任务进度 | 已经完成了哪些目标变化 | 目标被找到、物体已搬起、部分区域已处理 |
| 完成结果 | 指定目标是否满足完成条件 | 对象正确、位置正确、结果稳定、证据充分 |
例如“把蓝色物体放入指定托盘”包含对象、位置和最终状态。机器人接近了物体,可以算过程推进;抓起红色物体,即使动作流畅,也没有推进同一个目标;把蓝色物体移动到托盘上方但仍未释放,则只能说明完成了部分步骤。
同样,目标检测框从画面消失,可能是对象已被处理,也可能是遮挡、视角变化或识别漏检。验证器需要结合证据判断状态变化的含义。
二、将任务目标写成可以检查的完成条件
结果验证应从任务生成时开始准备。系统先确定目标对象、目标状态、必须满足的条件和需要排除的情况,执行后再使用对应证据逐项检查。规划器可以细化执行步骤,验证时仍应对照同一版任务目标,避免为了让结果通过而临时改变标准。
以物体放置为例,可以把任务描述展开为下面的结构。这里的重点是让“完成”有明确含义,并让执行端知道需要回传哪些证据。
verification_spec={"task_id":"task-042","task_revision":1,"goal":"place_blue_object_in_tray","target_id":"object-blue","required_conditions":["correct_object_in_target_region","object_released","final_state_stable",],"evidence_needed":["before","after","tool_state"],"spec_version":"v1",}条件应当尽量对应可观察状态。“手臂到达目标位置”描述执行过程,“指定物体已经放入目标区域”描述任务结果。如果任务要求覆盖整个区域,还需要检查区域范围;如果要求保持某种状态,就需要相应的持续观测。
目标完成需要同时满足:必要条件全部满足、未出现禁止结果、验证证据充分。
对于清扫任务,可以把条件组织为目标区域内残留是否符合要求、是否存在漏扫、残留物是否只是被推到观察范围之外。对于软件Agent生成文件,则可以检查文件是否存在、内容是否对应目标以及关键字段是否完整。同一套验证接口可以连接不同领域的检测能力。
三、怎样组织能够支持判断的执行证据
验证器的输入应当围绕任务目标组织,而不是只截取一张执行后的图片。常见证据包括执行前状态、关键过程片段、执行后状态,以及工具和设备回传的信息。每条证据保留来源、采集时间、任务ID、执行尝试ID和关联对象,才能知道它支持的是哪一次执行。
多次重试时尤其需要区分不同尝试。第一次执行失败后补传的画面,不应覆盖第二次执行的最新结果;任务目标修订以后,旧版本的完成回执也不能直接证明新目标已完成。证据对齐需要同时检查任务版本、执行尝试和采集时间。
图像质量和空间关系也会影响结论。验证前可以先检查目标区域是否可见、前后视角能否比较、时间是否有效,以及必要的工具状态是否齐全。空间发生变化时,还可以通过定位、对象跟踪或配准建立对应关系。
证据不足时证据缺失时,验证器应当能够输出暂不能判断的结果。这为Agent提供了一个具体选择:换一个观察角度、补采关键片段,或者请求外部确认。对一个被遮挡的目标,直接重复操作未必比补充观察更有价值。
四、视觉语言模型怎样参与任务结果评价
视觉语言模型的价值,在于把自然语言目标与图像、视频中的状态联系起来。验证提示可以同时提供目标对象、完成条件、执行前后证据和必要的过程片段,要求模型逐项判断条件,并指出所依据的帧或证据编号。
Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning 研究了利用预训练视觉语言模型,根据语言目标构造奖励信号的路线。[3] 这说明模型可以参与“当前观察与目标之间有什么关系”的评价。
RoboReward 进一步围绕真实机器人数据构建奖励评价数据集和模型,并纳入失败与部分进展样本。[2] 这类设计提醒我们:训练或选择评价模型时,应让它看到成功、接近成功、部分完成与明确失败之间的差别。
进度评分与最终验收工程上的任务验收还需要把评分转换成明确结论。一个进度分数适合描述“正在接近目标”,但最终通过仍需检查目标对象、关键条件和证据质量。模型可以形成语义判断,工具状态、几何关系和结构化规则则提供其他可检查的信息。
对于长过程,最终画面有时不足以解释发生了什么。ARS通过反复检视离线轨迹中的相关片段,核对事件并估计进度。[1] 借鉴这一思路,验证器可以按需补看抓取、接触、释放或状态变化附近的片段,检查中间动作与最终结果是否一致。
逐项判断还应保留三种事实状态:满足、不满足、未知。模型给出证据编号后,系统需要检查该证据是否属于本次执行、是否覆盖对应条件,以及其他信息是否与之冲突。引用了某一帧,只是提供了检查入口,仍需核对它是否支持结论。
五、用示意代码构造任务验证器
下面的 Python 接口示意,将验证拆成证据对齐、质量检查、事实提取、信息核对和结果分类。模型输出进入事实集合以后,再由验证规则形成任务结论。
defverify_task_result(task,raw_evidence,services):spec=task.verification_spec evidence=services.evidence.align(raw_evidence,task_id=task.id,revision=task.revision,attempt_id=task.attempt_id,)quality=services.quality.check(spec,evidence)ifnotquality.sufficient:returnservices.report.make("unknown",missing=quality.missing,)measured=services.rules.extract_facts(spec,evidence)interpreted=services.vlm.assess(goal=spec.goal,conditions=spec.required_conditions,evidence=evidence,)facts=services.reconciler.resolve(spec,measured,interpreted,evidence,)iffacts.proven_violation:status="failed"eliffacts.conflictsorfacts.has_unknown_required:status="unknown"eliffacts.all_required_satisfied:status="passed"eliffacts.some_required_satisfied:status="partial"else:status="failed"returnservices.report.make(status,checks=facts.checks,evidence_ids=facts.evidence_ids,missing=facts.missing,)这段代码把两个角色分开了:VLM负责解释语义条件与观察之间的关系,规则和核对模块负责把不同信息组织成有依据的检查结果。遇到明确违背目标的事实,可以形成失败结论;存在关键缺失或冲突,则保留未知状态;条件得到满足后,才进入通过状态。
四类输出分别表达不同含义。passed表示必要完成条件得到支持;partial表示部分条件实现,仍有可见缺口;failed表示存在明确失败,或尚无完成条件得到满足;unknown表示当前证据无法形成完整判断。partial与failed都应对应尚未达成的条件,方便后续规划。
验证报告还应绑定任务ID、修订版本、执行尝试ID和验证器版本。这样,无论是模型更新后复查,还是某次重试收到迟到反馈,任务系统都能找到正确的判断对象。
六、将验证结果变成下一步决策
验证器形成判断以后,任务管理系统再结合当前状态决定如何响应。模型的说明文字可以帮助理解原因,真正影响工作流的则是状态、未满足条件、证据缺口和可采取的下一步。
| 验证结论 | 任务系统可以采取的动作 |
|---|---|
| 通过 passed | 提交完成记录,解除占用,启动后续任务 |
| 部分完成 partial | 保留已有进度,围绕未满足条件补做 |
| 失败 failed | 分析失败原因,调整执行方式或重新规划 |
| 未知 unknown | 补充观察、重新核验,必要时请求人工复核 |
重试依据重试需要针对原因。位置已经正确但没有释放,应补充释放或检查夹持状态;处理了错误对象,则要重新确认目标;目标区域不可见,则先收集观察证据。每次都从头重跑整个任务,会丢失有价值的中间进度,也可能再次引发相同失败。
REFLECT 将多传感数据整理为机器人执行经历摘要,再使用语言模型解释失败并辅助生成修正计划。[4] 对任务验证系统而言,可以从“哪个条件未满足”继续追查“相关步骤发生了什么”,把失败分析连接到具体改进动作。
Inner Monologue 则研究了成功检测、场景描述和人机交互等环境反馈怎样进入语言模型规划过程。[5] 它支持这样一种设计思路:让规划器持续读取执行后的状态变化,而不是只接收自己生成过的步骤。
在引力琥珀的园林智能运营设计中,作业前后检查、三维结果比对和复核反馈,可以作为任务验证器的不同输入。清扫、修剪和其他作业分别配置对应条件,验证结果再决定通过、返工或复核。项目场景由此连接到一个更通用的Agent结果验证机制。
七、怎样评价验证器本身
验证器需要与执行模型一起接受检查。最关键的指标之一,是把未完成任务错误判为通过的比例;同时也要观察完成任务被误判、证据不足时是否正确保留未知,以及验证延迟与复核工作量。单看模型平均评分,难以判断这些具体错误。
可以组织一些对照情境:目标对象正确但位置错误、动作执行完毕但对象滑落、只完成部分区域、目标被遮挡,以及旧尝试的证据延迟到达。这些情境有助于检查验证器是否真的使用了目标语义、过程信息和证据关联。
还应将过程评价和最终验收分开看。一次失败尝试可能产生有价值的中间进展,完整轨迹也可能包含进度倒退。过程评分可用于学习、分析与任务调整,最终完成状态则对照完整目标检查。
结语
AI Agent验证任务执行结果,需要从任务目标出发组织证据,再利用规则、专用模型和视觉语言模型形成可追溯的判断。执行回执记录流程,过程评价描述进展,结果验证检查目标,三者共同支撑任务管理。
引力琥珀关注的是让这种判断继续作用于系统:已经完成的工作得到确认,尚未完成的条件进入补做,证据不足时启动观察,失败原因能够进入下一轮规划。任务结果验证由此成为连接Agent决策与真实执行反馈的重要环节。
参考文献
[1] Hu, S., Lu, W., Zeng, L., et al. ARS: Agentic Reward System for Robot Learning. arXiv:2609.34484, 2026-09-28. https://arxiv.org/abs/2609.34484
[2] Lee, T., Wagenmaker, A., Pertsch, K., Liang, P., Levine, S., Finn, C. RoboReward: General-Purpose Vision-Language Reward Models for Robotics. arXiv:2601.00675, 2026-01-02; revised 2026-01-08. https://arxiv.org/abs/2601.00675
[3] Rocamonde, J., Montesinos, V., Nava, E., Perez, E., Lindner, D. Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning. arXiv:2310.12921, 2023; revised 2024. https://arxiv.org/abs/2310.12921
[4] Liu, Z., Bahety, A., Song, S. REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction. CoRL, PMLR 229:3468–3484, 2023. https://proceedings.mlr.press/v229/liu23g.html
[5] Huang, W., Xia, F., Xiao, T., et al. Inner Monologue: Embodied Reasoning through Planning with Language Models. CoRL 2022, PMLR 205:1769–1782, 2023. https://proceedings.mlr.press/v205/huang23c.html