1. 为什么现在大家都在谈“AI 应用底座”
最近一段时间,不管是技术社区还是行业闭门会,聊得最多的一个词已经从“大模型”变成了“应用落地”。模型的榜单刷了一轮又一轮,参数规模从百亿到千亿再到万亿,但真正到了企业环境里,大家其实只关心一个问题:这玩意儿到底怎么才能跑到我的业务流程里,帮我干活?
我见到的真实情况是,很多企业在大模型上投入了大半年,结果还停留在“内部demo演示”阶段。算法团队调了半天模型,业务部门用了一两次觉得“也就那样”,最后变成技术人员自嗨。问题出在哪?不是模型不够强,而是从“模型能力”到“业务价值”之间,隔着一整套复杂的工程化链路——数据的接入与清洗、知识库的构建与更新、提示词的管理与版本迭代、流程的编排与触发、系统的集成与鉴权、成本的监控与治理。这些环节每一块单拎出来都不难,但串在一起就成了一个大坑。
正是在这个背景下,“AI 应用底座”这个概念开始频繁出现。通俗点说,它就是把大模型落地过程中那些重复的、通用的、繁琐的“脏活累活”提前封装好,让企业不需要每次做AI应用都从零开始搭一套基础设施。QuickBlue就是这么一类产品,它的定位是面向企业的AI应用底座,解决的是模型到业务之间那“最后一公里”的问题。
这篇文章我想从几个层面展开:先说说为什么底座这件事在今天是绕不开的,再拆解QuickBlue这类产品到底提供了哪些核心能力,然后聊一聊企业落地时怎么选型、怎么规划节奏,最后分享一些我们在实际应用中踩过的坑和排查思路。如果你正在评估要不要引入AI应用底座,或者已经被大模型项目的工程化问题折磨了一段时间,这篇内容应该能给你一个相对清晰的判断框架。
1.1 企业做大模型应用的真实痛点
先聊一个我反复听到的场景。某制造企业上了大模型,要做“设备故障诊断助手”。前期需求梳理得非常清楚:把设备手册、历史维修记录、老师傅的排障经验整理成知识库,让一线维修工用自然语言提问,系统给出诊断建议。听起来很完美,但真正做起来,光是“把知识库建好”这一步就能卡住好几个月。
你要先把PDF、Word、网页、数据库里的内容抽出来,做格式清洗和标准化。然后要考虑文档怎么切分——按段落切,按语义切,还是按固定长度切?切完之后要决定用哪个Embedding模型做向量化,是通用的开源模型,还是针对行业术语微调过的?向量数据存哪,用专用的向量数据库,还是直接用已有的PostgreSQL加插件?知识库的更新频率怎么定,是每天定时增量同步,还是文档变更时实时触发?召回策略怎么调,Top-K取多少,相似度阈值卡在哪个值?
这些都是非常具体的工程决策,每一个都影响最终效果。更麻烦的是,这些问题和“模型选哪个”是纠缠在一起的——你换一个Embedding模型,之前的向量要重新生成;你调整切分策略,召回效果可能完全变样。大模型本身只占这个项目工作量的三成左右,剩下七成全是这类工程化、平台化的事情。
我在交流中经常和同行说一句话:做大模型应用,模型能力是上限,工程化水平才是下限。模型再强,工程链路一塌糊涂,业务上照样用不起来。而AI应用底座的本质,就是把这个“下限”整体抬高,把那些每个项目都要重复做的七成工作量沉淀成平台能力。
1.2 底座不是“套壳”,而是基础设施层的沉淀
有一种观点觉得:AI应用底座不就是把模型API包一层,做个Web界面,再挂个知识库吗?这个理解太浅了。如果只是包一层API,那叫“套壳”,任何一个开发团队两周就能做出来。真正的底座,核心价值在于把多个项目共性的、高频的、容易出错的东西全部标准化沉淀下来。
举个例子。很多公司内部有多个业务系统,OA、ERP、CRM,各自有各自的数据结构和接口协议。做AI应用的时候,你得让模型能理解这些系统的数据。如果你每个项目都单独去写一个数据接入模块,那第一个项目花了两个月,第二个项目又是两个月,永远在重复造轮子。底座的思路是,把“数据接入”做成一个通用能力层,提前适配好常见的数据库、API、文件格式,你做新项目的时候,只需要配置一个数据源连接,不用重新开发。
类似的复用场景还有:统一的模型网关(多模型切换、负载均衡、降级容错)、统一的知识库管理(切分策略、向量化、索引管理、召回测试)、统一的Agent编排框架(任务拆解、工具调用、上下文管理)、统一的应用发布与监控(API网关、链路追踪、成本核算)。这些都是跨项目复用的,做好了是资产,做不好就是沉没成本。
所以我对“AI应用底座”的理解是这样的:它不是某一个具体功能,而是一整套面向AI应用研发运营全生命周期的平台化能力。它解决的不是“把模型接进来”,而是“让企业能够规模化、可持续地生产和迭代AI应用”。这也是为什么我觉得QuickBlue这类产品出现是必然的——当一项技术从尝鲜期走向规模化应用期,中间一定会长出“工具化、平台化”的一层。
2. QuickBlue 核心能力逐层拆解
前面聊了很多概念层面的东西,现在具体看一下QuickBlue到底提供了哪些能力。我把这类AI应用底座的能力模型拆成五个层次,每一层都有它要解决的具体问题和关键设计逻辑。
这个拆法不代表QuickBlue官方就是这么分的,更多是我基于项目实践和平台使用体验,对底座类产品做的通用解构。你拿这个框架去看任何同类产品,基本都能对得上。
2.1 接入层:模型网关与统一路由
底座的第一层是接入层,核心是模型网关。这一层解决的痛点是:大模型生态太碎片化了。今天你用GPT-4效果不错,明天国产模型追上来了、成本还更低,你换不换?换的话,所有应用都要跟着改接口、改参数、改prompt适配,这是巨大的迁移成本。模型网关做的事,就是把所有模型统一封装成一套标准接口,你的应用只认这一套接口,网关后面连的是哪家模型,由平台动态配置决定。
这背后有一个很关键的设计思路叫“路由策略”。你可以给网关配置多条路由规则,比如按成本优先、按效果优先、按模型负载、按用户等级。我举个实际场景:公司内部的智能客服,普通用户提问走性价比高的开源模型,VIP用户的复杂问题自动路由到顶级商用模型,遇到模型服务不稳定的时候网关自动降级到备用模型,用户几乎无感知。这种能力如果让你从零开发,至少要花三四周,而且模型SDK版本升级、鉴权方式变更都要跟着维护。
还有一个容易被忽略的点是流式输出的统一处理。不同模型厂商的流式协议不完全一样,有些走SSE,有些走WebSocket,返回的格式也有细微差别。网关层把这些问题抹平之后,上游应用的开发难度会大幅下降。我测试过QuickBlue的网关切换体验,一个模型从A切换到B,应用端代码完全不用动,改配置就行,这在大规模模型选型和供应商替换时是刚需。
2.2 知识层:企业知识库与RAG的工程化
第二层是知识层,对应的是企业私域知识的接入和管理。这是大模型应用落地里门槛最高、最容易被轻视的部分。大模型本身只学了公开数据,企业内部的制度文档、产品手册、项目经验、客服话术、故障案例,模型一概不知道。RAG(检索增强生成)是目前解决这个问题的主流方案——先根据用户问题检索知识库中相关内容,再把检索结果拼接进提示词,让模型基于这些材料生成回答。
RAG的工程化远没有听起来那么简单。文档来了之后,切分策略直接决定检索命中率。我做过一组对比测试:按固定字符长度切分(例如每512个字符一段),召回准确率大约在68%左右;按段落结构自适应切分,准确率能提升到82%;如果进一步结合小节标题和语义重叠窗口,准确率可以到90%以上。切太细,语义被截断,模型理解不了;切太粗,一段内容包含多个主题,检索时噪声太大。
向量化Embedding模型的选择也很关键。通用领域用bge-m3这类开源模型效果就不错,但如果你的企业文档里全是专业术语(比如医药、法律、精密制造),通用模型的向量表示可能抓不住语义重点。平台内置的Embedding模型管理能力,允许你针对不同知识库配置不同的向量化模型,并且支持后续切换模型后自动重新生成向量,这是一个在只用开源组件自研时很容易踩坑的环节。
最后是召回策略的调优。你不能把整个知识库的东西全部塞给模型,上下文窗口和成本都受不了。需要设置一个合理的召回数量(Top-K)和相关性阈值,还要考虑多路检索——比如向量检索走语义相似,关键词检索走精确匹配,最后做一个融合排序。在QuickBlue里,这些能力被做成了可配置的检索策略模板,做新知识库的时候不需要从头调参。
2.3 编排层:工作流引擎与Agent框架
第三层是编排层,解决的是“单次问答”到“多步骤任务”的跨越。很多企业场景不是简单的一问一答,而是要完成一个复杂的业务流程。比如“自动生成一份竞品分析周报”——这个任务要调搜索工具获取竞品动态,要调内部数据库拉取销售数据,要基于历史周报格式生成文档,要发送到指定群组。一个模型调用根本做不完,需要编排。
编排层提供了两种模式。一种是低代码工作流,你通过拖拽节点的方式定义执行流程:开始节点、大模型节点、工具调用节点、条件分支节点、结束节点。这种模式适合流程相对固定、逻辑清晰的任务,可维护性好,出问题也好排查。
另一种是Agent模式,更接近“智能体”的形态。你给Agent一个目标,它自己拆解任务、选择合适的工具、逐步执行。比如我问Agent“调研一下最近一个月行业内出了哪些新产品”,它会自己决定先搜行业新闻,再分析产品特点,然后整理成结构化报告。这种模式灵活度高,但可控性差一些,需要搭配完善的工具权限管理和执行日志。
实际场景里,我建议把两种模式结合使用。主流程用工作流串起来,中间一些需要动态决策的环节再交给Agent。QuickBlue里支持在工作流节点中嵌套Agent能力,这个设计比较务实,兼顾了可控性和灵活性。
对于编排层,一定要关注节点级的日志和链路追踪能力。AI应用的故障排查和传统软件不一样,同样是回答不对,可能是大模型本身能力问题、知识库检索不到内容、prompt写得不清晰、工具调用传参错误。没有节点级日志,排错基本靠猜。这是选型时我比较看重的功能点。
2.4 接入应用层:API网关与应用发布
第四层是接入应用层,这个部分对应的是AI应用如何和现有IT系统打通、如何对外提供服务。企业里不可能什么都从AI底座发起,更多场景是已有的业务系统需要调用AI能力——HR系统要做简历初筛,客服系统要做智能应答,ERP系统要做数据问答。这时候底座需要提供一套完整的API网关能力。
这套能力包括:API的创建和发布、鉴权认证(API Key、JWT、OAuth2.0)、流量控制(限流、熔断)、调用审计、用量统计。这些在传统IT架构里都是成熟能力,但针对AI场景还有额外的要求——比如大模型调用的响应时间不稳定,短则几百毫秒,长则几十秒,网关层的超时设置、异步任务支持都要专门设计。
此外还有C端/B端应用的发布管理。底座里创建好的AI应用,可以直接发布成一个对话界面、一个H5页面、一个API服务,发布流程最好是一键式的,不用另外搭前端。对于做产品原型验证的团队来说这个能力很友好——业务部门催着要看效果,你不用等前端排期,直接生成一个链接发过去就行。
2.5 治理层:安全合规与成本管控
从甲方视角看,前四层解决的是“能用”的问题,第五层解决的是“敢用”的问题。治理层包含两个核心:安全合规和成本管控。
安全合规方面,企业最担心的是数据泄露。这里面要分多个环节考虑——数据传输要加密,模型API的调用要审计,prompt里可能包含敏感信息需要脱敏处理,企业内部知识的权限控制要精细到文档级别。我记得有一个客户的场景是:同一个知识库里有一部分内容是全员可见的,有一部分只有特定部门的人能看。这就要求检索环节就带上权限过滤,用户问一个问题,系统检索时就只能检索到他有权限看的内容,而不是检索出来之后再在生成环节过滤——后者在技术上有泄露风险。
成本管控这块,很多企业前期不太在意,等月底账单出来就吓一跳。大模型按Token计费,一个企业级应用日调用量上万次,一个月光模型费用就是几万元甚至更多。底座需要提供成本看板,按应用维度、按部门维度、按模型维度统计Token消耗和费用。更重要的是要有费用控制策略——比如给每个应用设置日预算,超了自动降级到便宜模型;对高成本的复杂模型设置白名单权限,只有特定角色才能调用。
我在实际运维中体会很深的一点是:没有成本治理的AI平台上线三个月后,一定会出现“资源浪费黑洞”。有一些被业务部门玩坏了的高成本应用,每天大量无效调用,费用蹭蹭涨,而业务方根本感知不到。底座的成本可视化和配额控制,是在AI应用规模化之前就应该搭好的底线机制。
3. 从选型到落地:企业部署AI应用底座的实操路径
聊完产品能力,很多读者可能已经在心里对比自己的项目需求了。这一部分我结合自己的实践经验,聊聊企业如果要引入QuickBlue这样的AI应用底座,从评估到落地的完整路径该怎么走。
3.1 选型前的自我评估清单
我见过不少团队上来就比功能清单——你有的功能我都要有,你没有的我也要你有。但底座类产品的选型和买一套软件不一样,它不是装上去就能产生价值,而是要和你企业内部的技术栈、数据分布、团队能力相匹配。
选型前最好先做一个完整的自评,至少要把这几块想清楚:
第一个问题,你的数据资产准备到什么程度了?底座的知识库能力再强,源头数据质量不行,效果一样好不了。你需要盘点:企业内部有哪些数据源?结构化数据占比多少,非结构化文档有多少?有统一的存储和管理吗,还是散落在各个业务系统的角落里?数据有更新机制吗,是静止的还是一直在变?这一步如果没想清楚,后面做知识库大概率会返工。
第二个问题,你的应用场景是“尝鲜验证”还是“规模化生产”?如果只是做一个内部demo,那用开源组件自己搭也行,没必要上底座。但如果你要做的是生产级的、会直接影响业务运转的应用,那底座的稳定性、可运维性、安全治理能力就变得非常关键。
第三个问题,你的技术团队是什么构成?是纯业务开发团队,还是有专门的算法和AI工程团队?这个决定你对底座是“低代码平台”还是“可扩展PaaS”的期望。QuickBlue在这两个方向上都有能力,但你在选型时要明确自己的使用深度——只做配置还是需要二次开发,这会影响可扩展性的评估权重。
第四个问题,预算模型是什么?一次性采购费用还是订阅制?这个要结合你的项目周期和上线规模来算。有些底座是按应用数收费的,有些是按调用量收费的,有些是私有化部署收license费用。核算一下未来一年的总成本,对比自研团队的人力支出,很多时候一个对比表就能看出该不该用底座。
我这边还有一个建议:选型过程中一定要求供应商提供包含真实业务数据的POC(概念验证)环境。只拿公开demo演示的底座,效果说明不了任何问题。把自己真正的知识文档放进去,跑几个真实的业务问题,看召回效果、看响应速度、看结果质量,这样评估出来的结论才有参考价值。
3.2 分阶段落地路径:先窄后宽、先内后外
根据我自己的观察,AI应用底座在企业内部的落地节奏,最优路径是“一个聚焦场景切入,快速跑通,再横向扩展”。不要指望一上来就做一个全公司所有业务都接入的AI中台,那种宏大规划大概率会烂尾。
第一阶段,我建议选一个业务价值明显、数据基础较好、容错空间较大的场景做试点。比如内部知识问答——把制度文档、技术文档做成内部员工的AI问答助手。这个场景的好处是:不直接面向客户,出了错影响可控;数据相对规范,知识库建设难度低;员工使用意愿高,能快速产生反馈。用底座搭建这个应用,核心团队一两天就能跑通,两周内就能上线内测。
第二阶段,在试点成功的基础上,开始接入更多的数据源和应用场景。这时候可以逐步放开到部门级别的辅助工具上,比如客服辅助、售前方案生成、运维排查助手等。这一阶段的核心任务是检验底座的横向扩展能力——新增一个知识库、新增一个应用,是不是还是像第一个项目那样顺畅?权限、成本治理在多个应用并发时是否依然有效?
第三阶段,当内部跑通了一定数量的AI应用后,再考虑对外能力输出。把底座的API网关对外开放,让合作伙伴和客户也能调用。这个时候你的底座已经不再是单个项目的支撑,而是真正变成了企业的AI基础设施。
一般来说这三阶段的周期用“月度”来规划会比较合理——第一个月试点场景上线,第三个月扩展到五到十个场景,半年到一年形成规模化输出。如果规划周期敢排到一年以上还没看到生产应用上线,那这个底座买回来大概率会被闲置。
3.3 数据接入与知识库构建的标准流程
这部分我想重点说说知识库构建,因为这是所有底座的落地里实操细节最多、最影响最终效果的环节。一个错误做法是:把一堆PDF直接传到知识库,让它自动切分,然后上线用。我可以负责任地说,这样做的准确率一定不高。
我梳理了一套相对标准的知识库构建流程,分为七个步骤:
第一步是数据清洗。源文档一定要先做基本清理——去水印、去页眉页脚、修正乱码、统一格式。这一步看起来不起眼,但直接影响后续切分和向量化的质量。我见过一个项目因为Word转PDF时中文引号变成了乱码,导致向量检索效果奇差,排查了半天才发现是清洗环节偷懒了。
第二步是结构识别。分析文档的层级结构(标题、段落、表格、列表),为智能切分做准备。很多PDF工具能自动识别标题层级,你可以基于这个结构信息来做切分策略。
第三步是切分配置。通用的做法是:段落切分为主,表格单独处理,代码块特殊处理。段落切分时设置一个合理的长度区间(比如200到800个字符),同时设置重叠窗口(比如每段与上一段重叠50个字符),这样能确保语义不因硬切而断裂。表格最好用“问-答对”或“键-值对”的方式转成文本再入库,因为表格的原生格式对向量化不友好。
第四步是向量化。选择Embedding模型,将切分好的文本片段转成向量。要记录好用的Embedding模型版本和参数,以便以后可复现、可切换。
第五步是索引配置。在向量数据库中构建索引,设置元数据字段(文档来源、更新时间、权限级别、所属部门),这些元数据在后续做权限过滤和精细检索时非常关键。
第六步是召回测试。建完知识库之后,一定要用一批真实的测试问题去验证召回效果。不是看响应内容好不好,而是直接看检索出来的知识片段对不对——如果知识库根本就没召回相关内容,模型生成的回答大概率是瞎编或说“不知道”。
第七步是上线监控。知识库上线后要有持续的监控机制,关注“无答案率”“低置信度回答数”等指标,定期检查是否需要补充新的文档、调整切分策略。
在QuickBlue里面的实际操作就是:先建数据源连接,配置文档导入,然后在知识库设置里调切分策略、选Embedding模型,做一轮召回测试,再发布到应用上。整个流程用配置和交互操作就能完成,不需要写代码,但对操作者的内容理解和策略判断有要求——你在“切分策略”下拉框里的每次选择,都直接影响最终的业务效果。
3.4 Prompt管理与应用调试的工程化
最后一个实操层面是Prompt的管理。很多人把写提示词当成一种文案工作,觉得“会写句子就行”。真到工程化场景里,Prompt的难度不在于“写”,而在于“稳定”和“迭代”。
同一个功能场景,Prompt可能要同时服务于多个模型——因为底座接了多个模型,不同模型的指令遵循能力不一样。给A模型写的Prompt,换到B模型上可能表现完全不同。如果Prompt是散落在代码里、文件里,那换模型时要全局搜索替换,改一处漏一处,这就是极大的隐患。
所以我强烈建议Prompt的管理要平台化。模板、变量、版本、测试集、发布状态,这些都得管起来。我在QuickBlue上看到Prompt管理已经支持提示词模板、变量占位符、多版本管理和A/B测试——把Prompt当成代码一样来管理,有Git版本概念,这一点我觉得方向很对。
调试方面,一定要建立一套可量化的评测方法。不要靠“我看感觉还行”来评价Prompt好坏。准备一批标准评测问题集(包括边界情况、陷阱问题、敏感问题),每次修改Prompt后统一跑一遍,对比回答质量的差异。没有评测集的Prompt迭代就是盲人摸象,你根本不知道这次改动是变好了还是变差了。
我个人的习惯是:每个AI应用至少准备两层评测集——一层是基础功能测试集(正常问题、变体问题),一层是边界安全测试集(超纲问题、诱导问题、无关问题)。前者管“好不好”,后者管“安不安全”。两边都过了,才敢发布上线。
4. 踩坑实录与高频问题排查
最后一个大块,分享一些我们实际部署和运维AI应用底座过程中遇到的问题和排查思路。这些问题不分先后,都是高频出现的,如果你正在用或计划用底座类产品,多少会碰到几个。
4.1 模型响应“答非所问”的排查路径
我在带项目的时候经常收到这种反馈:“系统回答的内容和问题没啥关系。”很多人第一反应是换模型、改Prompt,但根据我的经验,出现这种问题,排查优先级应该是:
先查是不是知识库检索环节出了问题。打开应用的链路日志,看用户提问之后实际召回了哪些知识片段,召回记录是不是空的,召回的相关性分数是不是普遍偏低。我做过统计,这类“答非所问”问题大概有六成出在检索环节——切分策略不合理、Embedding模型不适配、召回阈值设太高导致根本没召回到相关内容。
检索没问题的话,再看Prompt和上下文。有些Prompt模板会限制模型“只基于提供内容回答”,如果检索结果为空,模型就会直接说不知道,这没有大问题。但有些Prompt没有这个约束,模型在检索结果不够的情况下就会自由发挥,编出一套言之凿凿的答案——这在业务场景中是很危险的,因为没有把“知识缺失”和“自由生成”做一个明确的边界控制。
最后才考虑是不是模型能力问题。如果你用的开源模型本身的指令遵循能力和推理水平确实不够,那么即便检索和Prompt都对,生成的答案质量也会受限。这时可以考虑换更强模型或对特定场景微调。
排查顺序一定是从外到内:先查输入侧(检索有没有喂对料),再查控制侧(Prompt有没有约束住),最后查模型侧(能力上限够不够)。我在QuickBlue后台看过它的链路追踪功能,一个请求从进入网关到知识库检索、到提示词组装、到模型调用,每一环的输入输出都能看到,这个对排查效率的提升是非常明显的。
4.2 成本失控与配额管理的实战经验
成本问题我前面提过,这里展开说几个具体场景。
第一个场景是忽略了“无效输入”的成本。很多企业AI应用会给用户一个开放式的对话框,用户随便打一句话都会调用一次模型。闲聊型输入、无意义输入、超长文本粘贴,这些都会消耗Token。解决思路是在底座的应用配置里加上输入前置校验——长度限制、内容过滤、QPS控制,把无效调用的比例尽量压下去。
第二个场景是上下文窗口的浪费。有些Prompt模板会把检索到的知识片段和完整对话历史全部塞给模型,如果一次会话累积了很久,每次请求的Token消耗会越来越高。一个长期会话的Token成本可能是首次请求的几十倍。解决思路是从会话管理上做优化——超出一定轮次的历史摘要化,或者限制上下文长度。
第三个场景是灰度控制。新版本Prompt或新的流程逻辑,不要一次性全量发布,建议先在5%-10%的流量上验证效果,确认稳定后再全量放量。这个习惯不仅防质量问题,也防成本问题——万一新版Prompt因为bug导致模型疯狂输出超长内容,灰度机制能把损失控制在小范围内。
我在成本治理上也总结了一个简单但有效的做法:每周固定时间看一次成本报表,按应用维度降序排列,专门盯着开销前五名的应用,看它们的调用量是否合理、是否有突增。只要坚持这个习惯,就不会出现月底看到天价账单才发现问题时已经来不及的尴尬。
4.3 多模型切换期的效果回退问题
底座支持多模型了,但多模型也带来了一个新问题——模型切换后的效果回退。同一个Prompt,同一个知识库,从A模型切到B模型,生成效果可能完全变样。这很正常,因为不同模型对指令的理解风格不同,对上下文的利用方式也不同。
如果在底座上同时挂了多个模型,一定要针对主模型做Prompt的适配优化,而不是一套Prompt通吃。我的建议是:一个场景至少为两个主力模型各准备一套Prompt模板,用模型路由策略按需分配。QuickBlue的Prompt管理支持给不同模型配置不同模板,这个能力在实际项目里非常实用。
另外要特别留意系统升级带来的效果波动。有时候底座的Embedding模型版本升级了,或者切分算法优化了,没有感知,但线上应用效果就变了。所以每次底座平台升级,我建议先在一个测试应用上跑一遍评测集,对比升级前后的效果差异,确认无回退再放量到生产应用。别怕麻烦,这个流程能拦住绝大多数的隐性效果回退。
4.4 一条实用建议
最后再分享一个我个人在实操中体会很深的小技巧:做AI应用的评测集,一定要持续沉淀、持续更新。我在QuickBlue里为每个应用都建了一个“坏案例库”——凡是线上用户反馈不好、或评测集跑出来的低质量回答,全部收集起来,归类整理,定期回放。每次要做Prompt优化或模型升级的时候,先用这批坏案例验证。只要坏案例库里的问题逐步减少,说明应用质量在实打实提升。
这个做法的本质,其实和底座这个产品形态的理念是一样的:把一次性的经验沉淀成可复用的资产。你在项目里积累的每一个评测样本、每一段有效的Prompt、每一个调好的知识库参数,都不会随着项目结束而消失,而是在底座平台上持续积累。长期来看,这才是引入AI应用底座最大的价值——它不是帮你省了某个项目的开发时间,而是帮你为企业攒下了一笔不断增值的AI落地资产。