AI Agent 从 Demo 到生产最先补的不是模型而是观测Demo 阶段的 Agent 很容易让人产生错觉输入一句话调用几个工具最后得到一个看起来不错的结果。上线以后用户会问得更具体为什么这次用了五秒为什么同样的问题花了两倍费用为什么任务卡住了没有观测数据团队只能凭感觉调提示词。一次任务至少拆成四段我会记录模型决策、工具请求、外部响应和最终输出。四段不能只留下最后一段否则看不出问题来自模型、网络还是工具服务。每段都带上 trace id、耗时和状态。用户只看到一个任务工程师需要看到完整调用链。不要只看成功率成功率很重要但不够。还要看 P95 延迟、重试次数、单次任务成本、人工接管比例和重复调用率。一个成功率 95% 的系统如果失败都发生在付费动作上风险依然很高。评测集要来自真实问题通用问答题不能代表真实业务。把线上脱敏后的任务整理成小型评测集覆盖空输入、歧义问题、工具超时、权限不足和重复提交。每次修改提示词、模型或工具参数后自动跑一遍。评测结果不需要一开始就很复杂但要能比较“改之前”和“改之后”。为人工接管留位置有些任务不应该自动完成。例如金额较大的退款、批量删除、涉及隐私的数据导出。系统应在达到风险阈值时暂停把上下文和建议动作交给人确认。API 设计会影响 Agent 体验清晰的错误码、稳定的 request id、明确的超时行为会直接决定 Agent 能不能正确恢复。接口返回一大段无法解析的错误文字模型也很难做可靠的下一步判断。生产 Agent 不是“更聪明的聊天框”而是一条需要监控、回放和修复的业务链路。作者Sogenport 团队Sogenport 面向开发者提供 API 能力。本文是技术观察与实践记录具体功能、接口和价格请以官方文档为准。文档https://sogenport.com/docs/introduction AI Agent 从 Demo 到生产，最先补的不是模型而是观测
AI Agent 从 Demo 到生产最先补的不是模型而是观测Demo 阶段的 Agent 很容易让人产生错觉输入一句话调用几个工具最后得到一个看起来不错的结果。上线以后用户会问得更具体为什么这次用了五秒为什么同样的问题花了两倍费用为什么任务卡住了没有观测数据团队只能凭感觉调提示词。一次任务至少拆成四段我会记录模型决策、工具请求、外部响应和最终输出。四段不能只留下最后一段否则看不出问题来自模型、网络还是工具服务。每段都带上 trace id、耗时和状态。用户只看到一个任务工程师需要看到完整调用链。不要只看成功率成功率很重要但不够。还要看 P95 延迟、重试次数、单次任务成本、人工接管比例和重复调用率。一个成功率 95% 的系统如果失败都发生在付费动作上风险依然很高。评测集要来自真实问题通用问答题不能代表真实业务。把线上脱敏后的任务整理成小型评测集覆盖空输入、歧义问题、工具超时、权限不足和重复提交。每次修改提示词、模型或工具参数后自动跑一遍。评测结果不需要一开始就很复杂但要能比较“改之前”和“改之后”。为人工接管留位置有些任务不应该自动完成。例如金额较大的退款、批量删除、涉及隐私的数据导出。系统应在达到风险阈值时暂停把上下文和建议动作交给人确认。API 设计会影响 Agent 体验清晰的错误码、稳定的 request id、明确的超时行为会直接决定 Agent 能不能正确恢复。接口返回一大段无法解析的错误文字模型也很难做可靠的下一步判断。生产 Agent 不是“更聪明的聊天框”而是一条需要监控、回放和修复的业务链路。作者Sogenport 团队Sogenport 面向开发者提供 API 能力。本文是技术观察与实践记录具体功能、接口和价格请以官方文档为准。文档https://sogenport.com/docs/introduction RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
