去年年底我在一个技术社群做分享提到一个现象身边越来越多朋友开始跟着热搜词走。今天看到AI写代码火了立刻把团队全部需求丢给大模型明天刷到AI绘画爆炸转头就立项做图生视频——工具换了一茬又一茬真正落到业务上的收益却屈指可数。我跟他们聊到最后问题几乎都收敛到同一个地方不是AI不好用而是压根没想清楚自己为什么要用AI。这跟会用多少工具、懂不懂模型原理没关系缺的是一套判断框架。我把这套东西起了个名字叫AI三问。不是那种挂在嘴边的口头禅而是三个逼着自己必须在做技术决策前回答的问题它解决的是真问题吗代价是什么证据靠谱吗每一问展开都有很多细节组合起来能覆盖从个人选工具到企业定方案的大部分场景。这篇文章就把这三问的来龙去脉、实操方法和踩坑记录完整写出来适合正在纠结要不要上AI怎么选AI方案如何评估AI效果的产品、研发、技术管理者和独立开发者参考。不是教你写提示词是教你在浪潮里稳住脚跟。1. 第一问这个AI解决的是真需求还是顺着热点捏出来的伪需求1.1 伪需求为什么总爱披着AI的外衣所有技术泡沫的起点都是一个看起来无比正确的伪需求。伪需求最典型的特征就是它描述了一种可能性却没有描述一个场景。比如说我们要做一个AI客服听起来没毛病。但你往下追问现在的客服团队多少人每天处理多少会话用户最常问的20个问题是什么这些问题里有多少是标准化流程能覆盖的如果回答不上来那你做的就不是AI客服而是一个能聊天的页面用户进来问一句我的订单到哪了模型一本正经地编了一个物流单号——这比没有客服还糟糕。我见过一个特别典型的翻车案例。某创业团队看到AI视频生成火了花两个月做了一个AI漫剧平台逻辑是传统漫剧制作成本高AI生成能降低90%成本。听起来很性感但上线之后发现真实用户压根不关心你的漫画是怎么做出来的他们只在乎剧情好不好看、更新够不够快。而这两个核心指标AI不仅没有帮忙反而因为生成质量不稳定拖慢了更新节奏。三个月后项目停摆团队复盘时说了句大实话我们一直在优化AI生成效果但从没验证过有没有人真的需要一个AI漫剧。这就是伪需求披上AI外衣的典型过程。它利用的是技术先进带来的光环效应——决策者默认新技术一定比旧方案好于是跳过了最基础的需求验证直接进入方案实现。等到发现用户不买账沉没成本已经高到让人舍不得止损。1.2 判断问题真实度的三个可操作信号那怎么在立项之前就把伪需求揪出来我自己的经验是看三个信号全部满足才考虑往下走。第一个信号这个需求在没有AI的时代是否已经存在且被验证过付费意愿。比如帮医生写病历这个需求电子病历系统十年前就在做医生确实苦于文书工作这是真需求。AI进来只是把效率从辅助提升到自动方向正确。反观AI占卜AI测运势以前没有哪个人会因为想算一卦专门付钱给一个软件需求真实性和付费意愿都没被验证过AI只是给它加了一层滤镜。第二个信号用户是否愿意为结果付费而不是为技术付费。你问十个人想不想要一个能写周报的AI九个说想要但你问愿不愿意每月花30块让AI帮你写周报一半人开始犹豫。2007年的数据显示移动互联网爆发前愿意为手机付费的用户比例不到20%后来真正跑出来的应用全是解决不解决就会疼的问题而不是有了会更好的问题。AI也一样能收到钱的AI功能背后都是刚需。第三个信号需求是否具体到某个角色的某个动作。伪需求通常描述为帮助用户更好地XX真需求则长这样电商运营专员每天需要花40分钟整理竞品价格表这个动作重复且机械。 前者是方向后者才能指导产品设计和技术选型。判断标准很简单把你说的需求讲给一个没学过AI的人听他能不能立刻说出这是给谁用的、解决什么麻烦——能就是真需求不能回去继续想。1.3 伪需求AI的三个高风险重灾区有几个领域是伪需求的重灾区我需要单独拎出来说因为它们的迷惑性最强。第一个是AI陪伴类产品。市面上特别多主打无话不谈没有限制。这类产品的需求真实性值得警惕真实的人需要的不是什么都能聊的机器而是能共情我当下状态的对方。无限制恰恰是最不可持续的限制——用户很快会发现越聊越空因为没有真实记忆、没有情绪反馈、没有共同经历。我观察到的数据是这类产品次月留存普遍不超过10%。第二个是AI自动生成内容平台。比如自动写文章、自动做PPT、自动剪视频。需求本身存在但大多创业者把生成当成了终点。真实价值链里生成只是起点后面还跟着审核、编辑、分发、迭代——这些环节没想清楚工具做得再好也只是个半成品。第三个是AI测试“AI审计”这类听起来特别专业的方向。不是说需求不存在而是很多团队把测试理解成了让AI跑一遍就出结果。真实的测试需求是海量的测试用例设计、断言逻辑、回归策略这些如果没想清楚AI生成的测试代码反而会增加维护负担。判断项目方向时有一个反常识的技巧把AI两个字从项目描述里删掉再读一遍。如果读完之后你依然觉得这个产品有人愿意用、有人愿意付钱那这就是个真需求如果删掉AI之后整个项目瞬间变得平淡无奇那你做的不是产品是魔术——魔术只能吸引观众留不住用户。2. 第二问效率翻倍的背后隐性账单和风险你算清楚了吗2.1 每个技术决策都在支付一张代价清单第一问通过之后很多人会直接跳到怎么实现跳到选什么模型中间漏掉了一个极其重要的环节算代价。AI项目的代价不是买了多少张显卡调用了多少次API而是一张藏在效率背后的隐性账单。我用过最顺手的比喻是请助理你雇了一个动作快但偶尔会出错、性格自信且从不主动承认错误的助理。表面上看他一人能干三个人的活但他每犯一次错你都要花时间去核对、纠偏、擦屁股。算总账的时候会发现效率红利可能被返工成本吃掉一半。这张账单具体包含四类成本我建议每个做决策的人建个表格逐项填成本类型具体内容预估方式返工成本AI产出不合格需要人工修改或重新生成的工时按每次返工平均耗时 × 日均触发次数审核成本人工检查AI输出正确性的时间哪怕结果没问题也要看按不看会出事的概率乘以检查耗时风险成本AI出错导致的资损、声誉损失、合规风险按最坏场景估算不止看概率依赖成本模型升级、接口涨价、服务停摆对业务的影响按离开某个供应商的切换周期估算2.2 速度放大效应当错误也变成倍速第二问里最容易被忽视的是AI带来的速度放大效应。过去人工处理一天生产10条内容即使有错也最多错10条。AI介入后一天能生成1000条哪怕错误率只有1%绝对错误量也是10条——跟人工一样多。但如果错误率是2%呢20条已经超过纯人工的错误总量了。这个账很多人没算明白只盯着AI把产量提高了100倍没注意到AI把错误总量也提高了100倍这句话在错误率不变的情况下是成立的。追热点的人喜欢引用一个段子以前一天写4篇文章现在用AI一天写400篇但每篇都要检查——检查400篇的时间加起来比原来手写4篇还长。这已经是温和的情况了。更危险的场景发生在决策链条里当AI生成的代码被直接合并进主干、当AI生成的客服话术被无审核直接发给用户、当AI分析的数据报告被直接写进周报——每一步都在把小概率错误放大成大概率事故。我自己的习惯是在引入AI的工作流里设一个风险水位线哪些环节允许AI完全自主比如素材收集、格式转换、初稿生成哪些环节必须有人工闸门比如代码合并、对外话术、财务数据。这条线一定要画在错误产生的影响上而不是错误发生的概率上——哪怕AI出错的概率只有0.1%只要这个错误会导致资损或声誉损害就必须设闸。2.3 被无视的隐性成本提示词维护和效果漂移除了上述四类成本还有两个经常被忽略的隐性支出值得单独展开。第一是提示词的维护成本。很多人以为提示词写一次就能一直用其实不是。模型升级、业务政策变化、用户反馈带来的语料调整都会让旧提示词逐渐失效。我见过一个运营团队维护了200多条提示词每两周就要整体过一遍相当于多了一个兼职岗位。这笔人力成本从来没写进项目预算里但它真实存在于每个月的工时记录里。第二是效果漂移。同一个模型同样的输入上个月的输出质量和这个月可能完全不同——可能是服务端悄悄换了版本可能是上下文缓存被污染也可能只是随机种子变化。如果你没有建立效果基线和定期回测机制漂移发生的时候你根本察觉不到直到用户开始投诉你才发现我们的AI变笨了。这两类成本在项目初期的demo状态里完全不会暴露只有当AI真正进入生产环境、持续运行几周后才会浮出水面。这也是为什么我始终建议任何AI方案都要先跑一个为期两周的影子模式——不直接影响业务只在旁边模拟运行记录它每次输出的正确性和偏差。两周后对照数据看返工率和错误分布再决定要不要全面铺开。没有这个环节你省下的只是先做后改的几周时间付出的可能是上线即事故的几个月代价。3. 第三问你凭什么相信输出结果——可验证性、可复现性与幻觉3.1 AI的自信式胡说是怎么产生的第三问可能是AI三问里最硬核的一问因为它直接指向大模型最让人头疼的特性幻觉。大模型的特点是它永远会用一种非常坚定、非常自信的语气告诉你一个答案——哪怕这个答案是编的。它能用流畅的段落、精准的数字、煞有其事的引用把一个虚构的事描述得跟真的一模一样。这个特性跟人类专家恰好相反人类专家在不确定的时候会说我不确定这个我查一下再回复你而大模型被设计成永远给答案。理解幻觉产生的原因对判断力提升特别关键。大模型本质上是根据上下文的概率预测下一个词它不是数据库检索不是搜索引擎它不知道任何事情。当你问2024年北京市新能源汽车补贴政策是什么它并不会去查一个权威来源而是基于大量训练文本中的统计规律生成一段看起来像政策文件的文字。训练数据里如果包含某条过时信息或者根本没有相关信息它就倾向于编造一个最合理的版本。这意味着模型的输出跟你输入的内容、训练数据的覆盖度、生成参数的温度设定全都相关。同一道题下午三点问和晚上九点问结果可能完全不同同一个Prompt把温度调高0.2输出可能天差地别。我见过一个团队用大模型做行业分析同一份数据生成的两版报告结论完全相反他们第一反应是模型抽风了其实是没理解高温度模糊指令随机作答这个基本规律。3.2 信息验证四步法从听它说到查清楚那怎么跟这种自信式胡说共处我的答案不是不信它而是建立验证机制。我自己实践下来有一套固定的信息验证四步法分享出来给大家参考。第一步拆解输出中的可验证原子。拿到一份AI输出先别通读全文而是把里面所有涉及具体事实的句子拆出来——日期、名称、数字、引文、法规条款、技术参数每一个都当成独立的原子去验证。比如AI说某某公司成立于1998年总部位于硅谷那1998年和硅谷就是两个原子分别去查。第二步用权威信源反向确认。不要问AI你说的是真的吗它永远会回答是的我是正确的。而是拿这些原子去搜索引擎、官方文档、权威数据库里反查。重点是训练自己养成习惯凡是涉及政策法规、医疗建议、财务数据、技术版本号这种高影响信息默认AI可能出错默认需要二次核实。第三步做交叉验证。同一个问题换两种问法、用不同模型各问一次对比结果的重合度。重合度高不一定代表正确但重合度低一定说明至少有一个在胡说。更进阶的做法是让AI扮演对抗角色——明确要求它列出这个结论可能的反例指出这份报告里证据不足的地方——这一招对识别幻觉特别有效因为它逼着模型从另一个概率方向生成内容反而暴露了原答案的不稳定处。第四步建立事实性检查清单。对于高频使用的场景把反复出现的关键事实固化成清单每次验证过的条目打钩。比如你做一个法律AI助手就把相关法条版本号最新司法解释发布日期指导案例案号列成清单每次输出都要用程序自动比对而不是靠肉眼。3.3 从效果截图到可复现评测终结Demo骗局第三问里还有一个被大量忽视的场景评估AI方案时你拿到的效果展示到底可不可信。现在很多AI厂商给客户演示时都会准备一套精心设计的demo脚本。这套脚本里每一个输入都是精心挑过的每一个输出都是预期之中的。厂商说我们支持多轮对话demo里就放一个多轮对话场景厂商说我们长文本理解能力很强demo里就放一篇恰好能被摘要的文章。你看着效果惊艳回去一跑自己的业务数据立刻现出原形。破局的方法就一条不看效果截图只看可复现评测。具体做法是准备一份私有评测集里面包含三类样本一是你业务中最高频的50个真实场景二是最容易出错的长尾场景比如生僻名词、方言表达、复杂逻辑推理三是以前处理过的历史坏case。评测时让每个候选模型在完全相同的输入和参数下跑这套评测集记录准确率、退避率模型主动说不知道的比例、错误类型分布。哪怕评测结果跟厂商演示不符也没关系——你要的不是最好看的AI而是在你的数据上最稳的AI。评测数据有个实用的记录表格我自己的格式是这样的评测维度样本数通过标准实际结果备注核心场景准确率50≥90%86%有2个地址解析错误长尾场景兜底30≥70%或主动拒答60%4个幻觉输出历史坏case回归20100%不恶化95%1个回答风格漂移响应延迟50p95 3s4.2s需优化部署方案只有把评测数据拿在手里你才有资格判断这个AI方案是否适合我。否则你只是在买一个包装精美的盲盒。4. 三问合体从单点判断升级为完整的AI决策框架4.1 完整走一遍三问一个技术选型的实战推演三问分开讲每一问都有它的独立价值。但真正发挥威力是把三问当成一条完整的思考链从头到尾走一遍。我拿一个真实的项目推演来演示。案例背景某中型电商公司想做智能工单分类把客服每天收到的大量用户反馈自动分成物流、售后、优惠、投诉等类别并自动打标。团队在要不要上大模型这个问题上争论了一个月我的建议是拿三问依次过一遍。第一问这是真需求吗我们拉出后台数据一看客服团队每天人工处理工单约3000条其中40%是重复性的简单分类工作平均每条耗时1.5分钟。这个需求存在明确角色客服专员、明确动作分类打标、明确频次每日重复且降本可以直接用人力成本换算——至少是一个真实存在的痛点。第一问通过。第二问代价是什么我们做了细致的成本拆解调用大模型API的费用每月约8000元需要开发一个分类结果置信度提示功能让客服对低置信度工单进行二次确认这部分开发加测试需要3周上线后还需要每周抽检500条分类结果建立效果漂移监控估摸要占运营同学每周3小时。全部算下来月成本约1.5万元换来的是客服人力减少2人月省约1.2万元。从纯成本看并不划算但考虑到还有提升响应速度这个非量化收益决策边界变得不清晰了——这正是代价意识的真正价值把隐性成本摊到明面上决策才有的放矢。第三问证据靠谱吗我们没有直接听厂商的demo而是拿过去一个月的5000条真实工单做测试发现大模型在物流催单和投诉两个类别上准确率超过92%但在优惠咨询和价格疑问这两个容易混淆的类别上只有68%。这个数据直接影响了产品设计——我们决定给这两个易错类别增加一个人工复核环节而不是全自动处理。三问走完之后项目结论非常清晰不是做一个AI工单分类系统而是在人工分类流程中嵌入AI辅助并在特定类别上保持人工复核。这个结论既没有盲目激进也没有全盘否定而是基于真实数据和代价分析得出的最优解。4.2 被忽略的否决项清单什么情况下必须说不三问框架里有一个经常被漏掉的环节——它不直接回答要不要做而是帮你识别绝对不能做的信号。我把它称为否决项清单只要命中了其中任何一项再热门的方向我都会叫停。第一项数据是伪造的或缺失关键维度的。如果训练/评测数据本身有问题——比如客服对话记录里只存了用户投诉没有存后续处理结果——那任何模型做出来都是空中楼阁。数据质量存在硬伤时AI项目不该启动。第二项责任归属不明确。AI系统做出的决定出了问题谁负责是使用者、开发者、部署方还是模型提供方在医疗、金融、法律这种高影响领域这个问题如果答不上来项目风险高到无法接受。我见过一个金融团队想用AI做自动化投资决策一轮追问后发现自己连模型出错导致亏损由谁承担这个基本问题都没有答案项目当场被按下暂停键。第三项使用者抵制情绪强烈且理由合理。如果一线员工认为这个AI是在监控自己而不是帮助自己项目在落地时会遇到巨大的阻力。这不是多做培训能解决的需要调整产品定位。第四项收益完全无法量化。提升品牌形象增强技术实力这种虚无缥缈的目标本质上是在制造一个为了AI而AI的项目。如果一个方案的好处只能讲出趋势讲不出账目我不会投。第五项方案依赖一个不稳定的上游。比如核心功能完全绑定某个闭源模型的免费额度或某个随时可能停服的开源项目。这种依赖一旦断裂整个项目就会瞬间归零。选方案时我会专门问一句如果这个提供方明天消失怎么办4.3 三问的顺序为什么不能乱三问的顺序不是随便排的它们之间存在严格的逻辑依赖少了任何一环都会让另外两环失去意义。第一问判断做不做真伪需求第二问判断值不值代价风险第三问判断可否信效果证据。如果顺序打乱比如先看效果第三问再看需求第一问就很容易被别人demo效果好带着跑等发现需求站不住脚时已经浪费了大量精力。如果先算代价第二问再判断真伪第一问则会被成本数字吓退错过一些前期投入大但长期回报可观的方向。我自己带团队时还有一条三问不过三的原则一个项目方案在三问任何一关上没过不是马上推翻重来而是精确地指出阻塞点让提出方案的人带着更充分的数据再来。这套做法既不会扼杀创新又能逼着大家把每一分钱花在明处。5. 把三问变成肌肉记忆日常训练与个人判断力的养成5.1 每天20分钟的逆向AI实验要真正掌握AI三问光读文章不够得练。我自己保持的一个高频训练方法叫逆向AI实验——每天花20分钟把日常遇到的AI输出当成反向考题来拆解。具体做法是选一个你当天用AI完成的真实任务让AI写的周报、AI生成的一张图片、AI翻译的一段合同都行然后拿三问逐一逆向追问——第一问AI在这个任务里解决的是真需求还是伪需求如果我是需求方真的需要这个产出吗第二问为了得到这个产出我付出了多少调整时间、校验时间、纠错时间换成人工做真的更慢吗第三问这个产出里的关键信息有几项是我验证过的有几项我到现在都没验证只是因为看起来像那么回事就采用了坚持两个星期你的大脑会自动形成一套判断过滤器。看到一个AI产品宣传时第一反应不再是好酷而是用户是谁、解决什么问题、凭什么相信效果、退出成本多高。这是一种比学习任何工具都更值钱的能力。5.2 被三问筛掉的AI机会长什么样训练一段时间后你会在各种AI信息轰炸中越来越快地识别出不值得投入的机会。我观察到一个有意思的现象真正的AI机会往往很朴素——它不需要用AI这个词来包装自己因为它本身就是靠解决具体问题赢得用户的。反而是那些在宣传语里反复出现AI驱动大模型赋能智能决策的项目要警惕再警惕。拿我自己来说这几年用三问原则筛掉的项目包括一个AI自动写推广文案的工具伪需求因为真实用户要的是一套排版和投放系统文案只是其中一环、一个AI全程自动处理客服的方案代价过高错误率控制不住导致的客诉风险远超人力节省、一个AI做行业大数据报告的平台数据来源不透明验证成本高到无法在商业上成立。每个被筛掉的项目在当时都有看起来合理的理由。但三问一过底层问题立刻暴露。技术判断力带来的最大好处不是抓住风口而是少踩坑——少踩一个坑省下的钱和精力抵得上追三个风口赚的。5.3 我建议你建立的三条方法论沉淀训练到最后你会形成一套属于自己、可迁移、越用越熟练的方法论沉淀。这里分享三个我认为最有价值的沉淀方向。第一建立你的决策清单模板。把三问的每个子问题、否决项、代价表格固定成一份电子文档每次评估新技术时直接打开填写。强迫自己回答每一个问题没答上来的地方就是需要在调研中补全的盲区。用上三个月之后你会发现思考效率提升了一个量级。第二给你的每个AI项目建一张事故事件表。记录每一次AI出错的案例包括是在哪个环节、什么输入条件下出错、错误类型是什么、后续应对方案是什么。积累到20条以上后你会清晰看到自己业务场景里最脆弱的环节在哪里这是任何供应商demo都给不了你的认知。第三定期做技术判断复盘。每月花一小时回顾这一个月里你做的AI相关决策——哪些做对了哪些判断失误原因是什么。是需求判断错了还是代价没算清还是验证没做足复盘不用很长关键是诚实。比如我就复盘出自己特别容易被效果好到夸张的Demo带着走后来养成了先用私有数据集自己测一遍再谈合作的固定动作。技术判断力不是天生的才能是长期复盘堆出来的资产。这些年圈子里流行一句话风口来了猪都能飞。但很少有人告诉你后半句风停的时候最先摔下来的也是猪——因为猪没有判断力。AI技术还有很长的路要走判断力这道护城河不会过时。希望这套AI三问也能变成你的压舱石在风浪里帮你稳住方向。