前阵子一个朋友找我帮忙说他们在扣子平台上搭了一个商品推荐智能体上线跑了一周用户留存惨不忍睹。我打开后台一看人设提示词就一句话你是电商导购助手帮用户推荐合适的商品。我当时就回了句问题不在模型不在平台在这一句话上。这不是个别现象。我见过太多团队把AI智能体回复质量差归咎于模型能力不够实际上扣子平台底层接的模型已经足够强差距基本都出在提示词身上。同一个模型有人调出来像客服有人调出来像行业专家差别就在于你怎么定义它的工作方式。这篇就专门聊聊扣子平台上提示词优化这件事我会用两个完整案例把一套我自己反复验证过的优化思路拆开讲清楚。1. 同样一个智能体为什么有人调出来像玩具有人调出来像专家先聊一个反直觉的结论扣子平台上的智能体质量和提示词长度没有必然关系但和提示词的结构化程度高度正相关。很多人搭智能体的时候有个习惯觉得写得多就是写得好洋洋洒洒几百字把角色的前世今生都塞进去。结果跑起来之后发现该问的不问不该说的乱说输出格式一天变三遍。相反有些人的提示词看起来只有几十行但每一步该干什么、不该干什么写得明明白白智能体表现就非常稳定。原因其实不复杂。大模型本质上是概率模型你给它的指令越模糊它可选的范围就越大输出就越随机。提示词的作用不是告诉模型一个身份而是划定一个工作边界、确定一套工作流程。身份只是第一步流程和约束才是决定回复质量的关键。我之前做过一个对比测试同一个商品推荐场景分两组A组提示词只有角色设定你是导购请推荐合适商品。B组提示词包含角色、信息收集步骤、推荐数量上限、输出结构模板、兜底话术。用同一批测试问题跑下来A组的回答每次都不一样有时给3个推荐有时给8个有时还反问有时直接扔出一堆链接。B组呢十次测试里九次的回复结构基本一致信息完整度也高得多。这就是玩具级智能体和专家级智能体的差别。玩具级智能体是你问一句它答一句偶尔灵光一闪但不可控专家级智能体是它有自己的工作节奏知道先了解需求再给方案知道什么该说什么不该说知道怎么把答案组织得让用户看得舒服。在扣子平台上这些全部靠提示词来定义。1.1 先判断你的智能体处于哪个阶段我把智能体的提示词成熟度分成三个阶段你可以对照一下自己搭的智能体现在处于哪一层阶段典型特征用户感受玩具级提示词只有角色和一句任务描述无流程、无约束、无输出规范回答看运气同一问题每次结果不同工具级有角色、有基础约束但缺少信息收集流程和兜底机制大部分场景可用遇到边界问题容易翻车专家级角色、流程、格式、边界、兜底、动态变量一应俱全回复稳定懂追问懂拒绝体验像真人专家大多数人的智能体卡在工具级。他们觉得我已经写了角色也说了要注意语气为什么效果还是不够好因为缺的不是态度类描述而是流程和约束。1.2 提示词背后其实是概率约束如果你理解了大模型生成答案的机制就能理解为什么结构化提示词这么重要。模型在生成每个词的时候都是在候选词表上做概率采样。提示词相当于给这些概率加了先验条件。你说你是导购模型就把答案范围缩小到销售场景你再补充必须先问预算再推荐模型把提问这个动作的概率权重拉高了你再加每次最多推荐3个模型又把长列表输出的概率压低。每一次优化提示词本质上都是在微调这个概率分布。所以你会发现提示词里的每一个词都可能影响最终输出。尤其是那些看起来无关紧要的限定词、数字、顺序描述模型都会当真。扣子平台的优势在于它把这些约束可视化、模板化了你不需要懂机器学习也能操作。但平台只提供工具怎么设计这套概率约束还是得靠你自己对业务的理解。2. 提示词的本质是岗位说明书我常用的五段式结构把提示词当写作来对待是很多人最大的误区。写作讲究文采但扣子上的提示词讲究的是可执行性。我更愿意把它比作一份岗位说明书——你招了一个员工你得告诉它岗位是什么、职责是什么、工作流程是什么、什么不能做、汇报格式是什么。我常用的提示词结构分五段每一段解决一个维度的问题。2.1 角色与目标这一段不是用来抒情的是用来定义视角和任务终点的。需要写清楚三件事它是什么角色身份定位比如资深买手售后专员编程助教它服务谁用户画像比如20-30岁对护肤不太了解的女生它要达成什么目标比如帮用户在预算内找到最合适的商品减少对比成本目标很重要。模型如果没有目标它会把回复用户当成目的有了目标它会把完成用户的实际诉求当成目的两者输出质量差距非常大。注意目标不要写得太虚。不要写成为用户信赖的伙伴这种话要写通过2-3个提问明确用户需求给出不超过3个可执行的选择这种能落地的表述。2.2 工作流程这是提示词最核心的部分也是大多数人最容易忽略的部分。工作流程就是告诉模型接到用户消息后先做什么再做什么最后做什么。最好用数字步骤写模型对这种顺序指令的遵循度非常高。以商品导购为例第一步如果用户没有提供预算、使用场景、偏好中的至少两项先提问补齐信息。 第二步根据信息在知识库中筛选合适商品。 第三步从结果中挑选2-3个推荐按固定结构输出。写流程的时候记住一个原则流程里的每一步都必须能被执行。如果某一步是深入理解用户需求这就是废话模型没法执行。要写如果用户没有提供XXX则先问XXX模型才知道具体该干什么。2.3 约束与边界这一段的目的是告诉模型什么不能做。包括不能编造信息尤其是知识库之外的内容不能一次输出过多内容不能跳过提问直接推荐遇到超出能力范围的问题怎么回应边界写得越细智能体的幻觉率越低。很多人漏掉这一段结果智能体一本正经地推荐了一个根本不存在的商品型号非常尴尬。2.4 输出格式输出格式不是给人类看的排版规范而是给模型的回答模板。比如推荐商品时要求按以下结构输出商品名称 推荐理由 适合人群 参考价格模型会严格按照这个结构组织答案。没有格式约束时模型可能用段落、可能用列表、可能加emoji完全随心所欲。这里有个小技巧你可以在提示词里直接给一个完整的输出示例模型会模仿这个示例的风格和结构。这是让回复像人话的最快方式。2.5 动态变量与上下文扣子平台支持在提示词中引用动态变量比如用{{time}}获取当前时间用{{user_name}}读取用户昵称更高级的还可以通过工作流把数据库查询结果注入到提示词里。这一段的写法是在提示词的相应位置用{{变量名}}占位平台会在运行时自动替换。动态变量的核心价值是让提示词从死模板变成活文案。比如一个早安问候智能体提示词里写现在时间是{{time}}请根据时间段给出不同的问候就能实现早中晚不同话术。3. 案例一把万能导购改造成靠谱买手的完整过程这个案例是我一个朋友的真实项目场景是在扣子上搭一个商品推荐智能体用来给用户推荐店铺里的美妆产品。改造前后的效果差距非常典型我完整还原一下。3.1 改造前的提示词与问题诊断改造前的提示词很简单你是美妆导购请根据用户的问题推荐合适的产品。就这么一句话。跑出来的问题我在前面也提到了这里具体化一下用户问有什么适合油皮的洗面奶它直接甩出5款产品没有问预算没有问是否敏感肌没有问使用频率推荐理由全是套话很好用很多客户喜欢缺乏针对用户具体情况的解释有时推荐的产品是知识库里没有的明显是模型自己编的输出格式不稳定有时列清单有时写一大段话用户追问价格和优惠时它经常答错这些问题不是模型笨是提示词完全没有给模型提供做好这份工作的条件。3.2 改造后的提示词我把它改成下面这个版本# 角色 你是一位有八年经验的美妆买手服务对象是对美妆了解有限的普通用户。你的目标不是推销最多产品而是通过提问帮用户找到真正适合的产品降低用户的决策成本。 # 工作流程 第一步收到用户需求后先检查已有信息。如果以下信息中有两项以上缺失必须先提问补齐每次最多问2个问题 - 肤质类型油皮/干皮/混合/敏感 - 预算范围 - 使用场景日常通勤/熬夜急救/重要场合 - 有无成分禁忌 第二步信息补齐后在【美妆产品知识库】中查找匹配产品。知识库内容以产品名称、成分、适用肤质、价格为准。 第三步从匹配结果中选2-3款按输出格式推荐。如果匹配结果超过3款选择评分最高、销量最高的优先展示。 # 输出格式 每款产品必须按以下结构输出 产品名称XX 推荐理由一句话说明为什么适合这个用户必须结合用户刚才提到的肤质和场景 适用人群简要说明 参考价格XX元如果知识库没有价格信息写价格以页面为准 # 约束与兜底 - 每次推荐不超过3款产品不强行凑数。 - 严禁编造产品名称、成分、价格、库存、功效。知识库中没有的产品直接说目前库里没有合适产品。 - 用户问到折扣、优惠券、发货时效时引导用户联系店铺客服不要自行作答。 - 如果用户需求不明确且拒绝回答提问给出通用建议并建议用户到店咨询。3.3 改造前后的效果对比我拿三组典型问题分别测试结果整理成了表格用户提问改造前回复特点改造后回复特点我该买什么洗面奶直接推荐5-6款没有追问肤质和预算先问你是油皮还是干皮平时化妆吗根据回答再推荐推荐一款适合熬夜后用的面膜推荐了知识库中不存在的一款网红面膜在知识库中检索后推荐了2款明确说明适用场景和使用频率这个精华多少钱编了一个价格实际店铺售价完全不同知识库中有价格则直接引用没有则引导咨询客服最关键的变化是稳定性。改造前我同一个问题连测五次每次答案都不一样推荐理由泛泛而谈改造后连测十次产品推荐有变化因为模型会在多个匹配结果之间做选择但输出结构、追问逻辑、兜底话术基本一致。3.4 为什么这些改动有效逐条拆解一下先检查已有信息缺失两项以上则提问这条是把导购和客服区分开的关键。电商场景里用户往往不知道自己真正需要什么上来就推荐等于盲人摸象。模型一旦有了先收集信息的指令它的行为模式就从被动应答变成了主动服务。每次最多问2个问题这条是防杠的。如果你不限制提问数量模型可能一口气问五个问题用户直接放弃对话。限制数量是为了平衡信息收集效率和用户体验。必须结合用户刚才提到的肤质和场景这条解决的是推荐理由太泛的问题。模型在没有约束的时候倾向于生成这款产品很好这种安全性高的废话你要求它必须结合对话上下文它就不得不去做信息的关联。严禁编造知识库中不存在的信息这条就是给幻觉上锁。很多智能体翻车都是因为模型自由发挥。扣子平台接入了知识库之后模型很容易把知识库里的信息和自己的预训练记忆混在一起你不明确禁止它就分不清边界。4. 案例二售后客服智能体的边界感比话术更重要第二个案例是售后客服场景。这个场景和导购完全不同最考验的不是推荐能力而是边界感——知道哪些话能说、哪些不能承诺、什么时候该安抚、什么时候该转人工。4.1 售后场景的提示词重心不同商品推荐智能体的重点是流程设计售后客服智能体的重点是风险控制。因为售后涉及退款、赔偿、时效承诺说错一句话可能就是客诉。我见过一个售后客服智能体用户问我申请了退货钱什么时候退它直接答会在3天内退回原支付账户。结果实际操作中平台规定是7天内。用户等到第5天开始投诉才知道被智能体坑了。这类问题不是靠说得更清楚能解决的而是要在提示词里明确退款时效类信息必须查询订单状态后回答禁止给出具体天数的承诺。4.2 售后客服的三个提示词关键点第一个关键点是不承诺超权限的事。退款时效、赔偿金额、物流延误补偿这类涉及真金白银的内容模型没有能力核实必须引导到人工。我在提示词里的写法是# 敏感操作边界 - 涉及退款到账时间、赔偿金额、平台处罚结果时不给出任何具体数字和承诺。 - 使用标准话术退款进度我已帮你记录专员会在24小时内核实处理请留意订单页面的状态更新。 - 用户反复追问敏感问题时最多重复两遍标准话术第三遍起引导用户联系人工客服。最多重复两遍这条很有用。如果你不设置这个规则模型会被用户绕进去同一个问题换着法子问模型换着法子答迟早答出问题。第二个关键点是情绪优先处理机制。售后场景用户情绪普遍不好提示词里需要明确# 情绪处理规则 - 用户出现气死了投诉再也不买差评等情绪化表达时第一句话先共情不要解释、不要反驳。 - 共情话术示例非常抱歉给你带来了不好的体验我理解你现在一定很着急。 - 共情之后再引导到具体问题可以告诉我订单号吗我先帮你看看现在进行到哪一步了。模型天然是讲道理的遇到用户发脾气时容易逻辑先于情绪直接把责任撇清。如果没有情绪处理规则智能体就会出现这不是我们的问题是物流公司延误这种火上浇油的回答。第三个关键点是多轮对话的上下文管理。售后咨询往往要好几轮才能解决用户可能第一轮说我订单一直没到第二轮补充是上周买的那个套餐第三轮才给订单号。提示词里必须教会模型追问-确认-总结这套动作# 多轮对话规则 - 每轮回答前先检查对话历史里是否已有订单号没有则优先索取。 - 用户给出的新信息要用一句结论性的话复述确认例如你是说上周购买的套餐还没有收到对吗 - 确认无误后再进入处理流程。 - 如果用户中途切换话题先完成当前话题收尾再响应新话题。这一套做下来智能体给用户的感受就从一问一答的机器人变成了办事利落的客服专员。4.3 售后智能体如何跟工作流配合第二个案例还有一个值得说的点提示词不负责计算只负责表达。在扣子平台上你可以搭一个订单查询工作流——输入订单号调用订单API返回订单状态和物流节点。但工作流返回的是数据不是人话。比如返回statusREFUNDINGestimated_days3你不能直接把这个结构扔给用户看得靠提示词把数据翻译成用户能听懂的话。我的做法是在提示词里加一段# 工具结果处理 当你通过订单查询工具获取信息后不要直接输出原始字段。 按以下方式组织回答 1. 先说订单当前状态用用户能理解的语言不用技术术语。 2. 再说下一步什么时候会发生。 3. 最后补充用户需要做什么如果有。这样一来提示词负责什么时候调用工具、拿到结果后怎么表达工作流负责具体的数据计算和查询各司其职。很多人搭扣子智能体时分不清这个边界把所有逻辑都写在工作流里结果提示词很瘦、工作流很乱或者反过来把查询逻辑写在提示词里指望模型自己去查数据这根本不现实。正确姿势是模型负责判断和表达工作流负责数据和动作。5. 扣子平台上调试提示词的五个实用动作提示词不是一版定稿的它是调出来的。我见过太多人写一版提示词就往上一放测两句觉得还行就完事了。真正稳定的智能体背后至少经过十几轮的调整。这里分享五个我实测下来最有效的调试动作。5.1 用魔鬼用户做压力测试什么叫魔鬼用户就是专门挑提示词漏洞去问的人。故意不给信息看智能体会不会强行推荐故意问知识库之外的东西看它会不会编故意用情绪化表达看会不会被带偏故意反复追问同一句话看会不会话术重复到让人崩溃故意用错别字、口语、省略语看能不能理解我自己每版提示词写完都会用这五类问题各测三遍。说句实话大部分第一版连第一轮都撑不过去。测试过程中要记录的是失败模式而不是失败本身。是答非所问信息错误格式混乱还是语气不对这些问题对应的是提示词里哪一段的缺失比如你发现它总跳过追问直接推荐说明工作流程里的第一步权重不够这时候把必须先提问的措辞加重或者把输出格式改成先输出需求确认再输出推荐。5.2 用变量让提示词活起来扣子平台支持在提示词里插入变量常用的有时间、用户昵称、用户输入等。变量用得好的话提示词可以适配不同上下文而不需要针对每种情况写死。比如商品推荐场景里我在提示词中这样用变量今天是{{time}}请根据当前的季节属性优先推荐适合当季的商品。这样智能体在不同季节会自动切换推荐侧重点不需要每年改一次提示词。再比如用{{user_name}}做个性化称呼用户昵称是{{user_name}}当用户表示对推荐满意时可以用昵称称呼对方。变量的本质是程序化地修改提示词让模型在运行时看到的内容是动态的。这是从写死提示词到工程化提示词的分水岭。5.3 每一版改动只动一个变量这是调试提示词最重要的一条纪律一次只改一个点然后做对比测试。很多人改提示词是这里加一句、那里删一句改完一测效果好但根本不知道是哪儿起的作用效果差也不知道是哪句出了问题。我自己的流程是明确当前最大的问题是什么比如编造价格只针对这个问题加一条约束比如价格必须引用知识库字段知识库没有则标注以页面为准跑10条测试用例看这个问题是否消失顺便关注其他表现是否受影响没问题了再动下一个点这样做看起来很慢实际上是最快的。因为你可以精确知道每条提示词改动带来的效果慢慢地你对自己的提示词会形成一种直觉——知道什么样的表述会带来什么样的行为变化。5.4 建立自己的回归测试集当你调了几版之后会发现一个问题改了一处旧的功能可能被改坏了。这就是回归测试的需求。我建议在扣子平台上整理15-20条固定测试问法包含主场景、边界场景、拒答场景三类。每次调整提示词后把这一整套测试全跑一遍确认新的改动没有破坏旧的行为。这二十条用例就是你的验收标准。有了它你才敢放心大胆地持续优化而不是每次改完都战战兢兢。5.5 用版本对比判断优化方向扣子平台对提示词没有特别完善的版本对比功能但这不妨碍你手动做A/B。我的做法是保留上一版提示词的副本在同一场景下分别测试新旧两版然后把回答并列放一起做对比。重点看三个维度准确性有没有事实错误稳定性同样的问题多次回答是否一致体验感话术是否自然、有没有机器腔有时候新版准确率提升了但回答变得冷冰冰。这种牺牲体验换准确的改动到底值不值取决于你的业务场景。导购类智能体更看重体验感流程严格但语气僵硬就没意义售后类智能体更看重准确和边界语气稍微机械一点是可以接受的。6. 我在实际项目中踩过的提示词坑聊了这么多方法论最后说几个我真实踩过的坑。这些坑在文档里基本看不到但如果你遇到了可以少走很多弯路。坑一提示词里充满了要友好、要热情、要专业这类形容词但没有任何具体行为指令。热情这个词模型无法执行。你说要热情它可能给你加一堆亲爱的~看着起鸡皮疙瘩。更好的写法是给具体行为指令比如用户提问后用一句话先肯定对方的需求——这才是友好。我在第一个智能体项目里就栽在这上面。花了很长时间琢磨怎么写语气更亲切后来发现不如一句回答开头先复述用户的需求表示明白了有效。要让模型表现某种特质你得把特质翻译成行为。坑二所有逻辑都往提示词里塞提示词膨胀到几千字模型反而行为紊乱。我有一个阶段特别迷信写全写细把各种场景的处理逻辑全部写进提示词里。结果模型反而变得僵硬经常抓到一句规则就往死里套像阅读理解做了过度拟合。后来我明白一个道理提示词是给模型设定工作原则和上限不是穷举所有可能性。那些特别复杂的、分支很多的逻辑应该挪到工作流里去编排而不是堆在提示词里让模型自己判断。坑三没给模型留不知道的退路。这是幻觉问题最常见的来源。模型本质上不愿意承认自己不知道如果提示词里没有不知道就直说的许可它会倾向编一个答案出来。后来我在所有项目的提示词里都会加一句如果你无法从知识库或工具结果中确认答案请直接说这个问题我需要确认一下再回复你严禁猜测。加了这句之后幻觉率降了一大截。坑四只测主流程不测边界流程。很多人都栽在这个坑里——主流程测得很顺上线后被用户的一个小众问题问崩了。用户才不会按照你的测试用例来提问。所以我现在的习惯是至少花一半的测试时间在奇怪的问题上。就当作自己是个故意找茬的杠精怎么难受怎么问。我每次做提示词评审时会问自己一个问题如果这个智能体面对一个从来没有说过完整句子、只发了一个表情包的用户它会怎么应对如果它懵了那说明兜底还不够。说到最后提示词优化这件事没有什么玄学。它更像是在跟一个极其聪明但完全不了解你业务的同事交代工作你得把背景说清楚、把步骤讲明白、把红线画出来、把产出格式定好。你在扣子平台上投入多少功夫磨提示词智能体给你的回报就有多少。我自己现在的习惯是每搭一个智能体至少留出和搭流程同等的时间来打磨提示词和跑测试。想做出口碑好的AI智能体这个环节省不了。