近一年主导并落地了几个企业级的AI Native项目，涵盖营销、客服等场景。在实际交付过程中，最深的感触是：AI应用开发不仅仅是调包和写Prompt，它本质上是将概率模型的不确定性，通过系统架构和工程手段，转化为业务确定性的过程。
今天以最近交付的一个营销场景AI Native项目为例，复盘从需求调研到最终上线的全链路，重点分享技术选型、架构设计以及工程化踩坑经验，希望能给正在做AI应用落地的同行一些参考。
一、 需求调研：剥离伪需求，定义技术边界
在这个阶段，最核心的能力是将模糊的业务语言翻译为可执行的AI技术方案。
客户最初的诉求是“全自动营销Agent”，能自动分析竞品、生成多模态内容并分发。但经过实地调研，我们发现其核心痛点非常聚焦：产品参数枯燥，多平台（小红书、抖音）文案风格转换耗时，且极易触碰平台违禁词。
技术方案抽象：
我们将“全自动Agent”降级为**“确定性工作流 + RAG”**。
- 为什么不用全自主Agent？营销文案对合规性和准确性要求极高，全自主Agent一旦发生动作空间发散（如自主调用不存在的工具、产生不可控的幻觉），在商业场景是不可接受的。
- 最终架构：输入产品参数 -> 结构化提取 -> RAG检索历史优质文案 -> LLM多风格生成 -> 合规性校验。将任务拆解为确定的节点，用工作流（Workflow）约束LLM的发挥空间。
二、 架构设计与技术选型：不造轮子，拥抱高生产力工具
面对快速交付的压力，技术选型的原则是“成熟生态 + 开发提效”。
- 后端与前端：Python (FastAPI) + React (Next.js)。FastAPI的异步特性非常适合处理大模型流式输出（SSE）。前端使用Vercel AI SDK，能极快地实现打字机效果的前端交互。
- AI工具链：重度使用 Cursor + Claude 3.5 Sonnet 辅助编码。在生成复杂正则、前端Tailwind样式以及编写异步爬虫（用于竞品数据获取）时，开发效率提升显著。但必须保持Code Review习惯，AI经常会生成过时版本的SDK调用代码。
- LLM选型策略：多模型路由。核心规划任务使用 GPT-4o 或 Claude 3.5 Sonnet 保证推理质量；简单的格式转换和改写任务，使用价格更低廉的国产模型（如通义千问或豆包），在保证效果的前提下平衡成本。
- RAG方案：未采用微调。由于客户的业务数据（产品库、违规词库）是动态更新的，SFT的知识更新滞后且成本高昂。我们采用了向量数据库 + BM25 混合检索。文档切块（Chunking）策略上，放弃了固定长度切分，采用基于语义段落的切分，并在Chunk中加入了元数据（产品类目、平台）。
三、 开发与工程化：解决LLM的“不确定性”
AI Native开发的难点不在于“让AI跑起来”，而在于“让AI稳定、可靠地跑下去”。以下几个方面是项目中最耗费精力的地方：
1. 幻觉抑制与后置校验
内测时，LLM生成了产品库中并不存在的卖点。我们的解决方案是在LLM输出层后增加了一道基于规则引擎（Rule Engine）的后置校验层：提取生成文本中的实体，与向量数据库或关系型数据库进行比对。若存在幻觉，则触发重试机制（Retry with Feedback），将比对错误信息作为反馈重新注入Prompt，最多重试3次，超出则转人工。
2. 响应延迟与流式输出
LLM的完整生成耗时通常在5-15秒。为了优化用户体验，全链路必须采用流式传输（Server-Sent Events, SSE）。前端边接收边渲染，配合“思考中”的状态提示，将用户的体感延迟降低到1秒以内。
3. 成本控制与并发治理
AI应用的成本结构与传统Web应用完全不同，Token就是真金白银。我们在网关层做了以下限制：
- 多级缓存：相同Prompt的请求，直接返回Redis中的缓存结果（针对营销文案高频相似的特点，命中率极高）。
- Token配额：按团队/用户维度设置日Token限额。
- Prompt压缩：精简上下文，通过Prompt Engineering去除冗余的Frequent Instructions。
四、 评估体系与上线交付
传统软件靠单测和QA，AI应用必须建立自动化评估机制（Evals）。
我们在上线前构建了一个由 200 条业务真实Query 组成的 Golden Dataset，涵盖正常生成、边缘案例（残缺参数）、违规词测试。每次修改Prompt或更换底层模型，都会跑一遍自动化评估，对比关键词命中率、合规拦截率和任务完成率。
上线部署采用灰度发布策略，先开放给内部文案团队试用，收集真实Bad Case，持续迭代Prompt。同时搭建了可视化监控面板，跟踪调用量、平均延迟、Token消耗趋势以及异常报警。
五、 全链路复盘与经验沉淀
回顾整个项目，AI Native开发对开发者提出了全新的要求：
- 全栈能力是基础：不仅要懂Python/Node后端，还要能搞定前端交互，甚至能自己写爬虫清洗数据。
- Prompt Engineering需要工程化：不要在代码里硬编码Prompt，要将Prompt模板化、版本化管理，把Prompt当成代码一样去维护。
- 拥抱AI编程工具：熟练使用Cursor、Copilot能极大缩短开发周期，但自身的底层架构设计和排错能力依然是核心竞争力。
- 从“代码逻辑”转向“概率思维”：传统开发是If-Else的确定性逻辑，AI开发必须接受80%的准确率，并通过工程手段（重试、校验、降级、人工兜底）去补齐剩下的20%。
AI Native应用的护城河不在于模型本身，而在于业务场景的理解深度与工程化兜底能力。与各位共勉。
