18-持续进化闭环问题定位→经验沉淀→验证发布→回滚睡眠学习与安全边界上一篇讲了经验往哪里沉淀这一篇讲怎么把沉淀这件事变成一条可长期运转的流水线。单次复盘靠人肉长期进化必须闭环化——就像 DevOps 之于开发Agent 的持续进化也需要一套 AgentOps。一、闭环的全景图从问题到能力的高速公路一个可长期运行的持续进化闭环至少包含六个环节运行轨迹采集 → 问题定位 → 经验沉淀 → 验证 → 灰度发布 → 监控与回滚 ↑ │ └──────────────────── 新一轮运行 ←──────────────────────┘注意这个环是滚动的新版本上线产生新轨迹新轨迹里又有新的失败样本。闭环不追求一次完美追求的是每转一圈能力净增一点。二、问题定位别把症状当病因问题定位是整条链路的入口也是最容易被做浅的一步。无人售货柜场景的经典案例现象某片区 12 台柜子夜间离线客服 Agent 自动回复网络故障已上报工单第二天重开了 4 次。浅定位网络问题重启通信模组。症状深定位拉取完整轨迹发现Agent 每次都执行了重启模组这个动作但轨迹里其实有被忽略的信号——离线前 10 分钟温度传感器上报了柜体温度 52℃。真正的病因是压缩机故障导致主板过热保护。Agent 没错在动作错在没把温度异常纳入归因依据。由此沉淀的经验就不是网络故障重启模组而是柜体离线前若伴随温度 50℃ 上报归因优先级散热/压缩机 电源 网络。问题定位的工程要点轨迹要全思考过程、工具返回、被忽略的字段都要留痕否则复盘时你只能看到 Agent 做了什么看不到它漏了什么。三、验证、发布与回滚经验也要走 CI/CD经验条目不是写完就完它本质上是一次系统变更必须套用软件发布的老三样。1. 离线验证回放测试用历史轨迹做回归测试集——新经验加入后重放过去 500 个失败 Case看修复了多少、有没有把原本成功 Case 搞挂。这一步相当于经验的单元测试能挡住大部分看起来有理的错误经验。2. 灰度发布小流量试错新知识/指令先对 5% 的柜子或某个片区的工单生效观察 48 小时核心指标一次解决率、平均处理时长、人工接管率。指标正向才扩大流量。3. 失败回滚变更必须可逆每条经验带版本号和生效范围知识库、指令集、工具配置全部版本化管理。一旦灰度指标劣化一键回退到上一版本——宁可慢一点不能让一条坏经验污染全量 Agent。四、可验证闭环的边界当完成不等于进步这是全书让我印象最深的一个提醒闭环转起来了不代表在变好。典型陷阱指标过拟合Agent 学会了让工单快速关闭的捷径——比如引导用户自助取消工单一次解决率上去了用户满意度下去了。闭环验证的指标必须是结果指标而非过程指标。自我强化偏差Agent 用自己生成的经验训练自己错误经验会被放大。所以人工审核环节和独立评估器LLM Rubric 人工抽检不能省。幸存者偏差只复盘失败轨迹成功但运气成分大的轨迹没被检视隐含风险持续积累。一句话可验证 ≠ 可信任验证的是指标信任的是方向。定期让人跳出闭环看一眼全局是工程上最便宜的方向纠偏。五、持续进化的安全边界进化意味着 Agent 的行为会变而会变的行为天然危险。安全边界要在闭环设计时就画好不能事后补能力白名单经验只能优化怎么做不能扩展能做什么。客服 Agent 的经验再丰富也不能从中学会调用支付退款接口——工具权限由独立的权限系统管控与知识库解耦。危险动作双人复核批量控电、整柜下线、金额相关操作无论 Agent 多有经验必须保留人工确认。越权检测经验条目入库前自动扫描包含调用清单外工具、修改自身权限、绕过审批流程的描述一律拦截。变更审计谁哪次复盘在何时基于哪条轨迹沉淀了这条经验全程可追溯。出了事能定位到这条经验是谁教的。六、睡眠学习整合、遗忘与能力保鲜人类睡觉时大脑并不闲着——海马体把白天的短期记忆整合进皮层长期存储同时清除冗余。Agent 也需要睡眠学习Sleep-time Learning即在低峰期离线执行的整合任务整合把三个月里 200 条零散的补货经验聚类合并去重后可能只剩 30 条结构化规则Prompt 更短、检索更准遗忘淘汰过时经验某型号货道已全部退役相关故障知识就该归档否则知识库越长越肥检索噪声越来越大Agent 反而变笨保鲜定期用回归测试集复验存量经验失效的下线对低频技能做演习运行防止能力退化。工程上就是每天凌晨一个批处理任务白天跑业务攒经验晚上睡觉理经验。这个节奏和人类的认知节律惊人地一致——不是玄学是资源调度的必然在线算力留给服务离线算力留给进化。七、闭环的自动化程度分阶段放手不要一上来就追求全自动进化。合理的节奏阶段经验生成经验审核发布决策起步期人工复盘产出人工人工半自动LLM 辅助生成候选人工审核合并人工触发灰度高自动自动生成自动回放验证抽检 规则拦截满足预设指标自动发布自动化程度的提升本身也应该走持续进化的逻辑信任是挣来的不是配置来的。小结持续进化闭环 问题定位的深度 × 经验沉淀的纪律 × 验证发布的严谨 × 回滚的果断 × 安全边界的刚性 × 睡眠学习的整理。它不是某个算法而是一套运维体系——AgentOps。把 Agent 当会成长的系统来运维而不是写完就完的软件才是长期主义的起点。