先说个背景我研究AIHOT这个产品有一阵子了。对外看它就是一个每天更新AI行业情报、聚合热点资讯的站点月活过了百万。但把它的内容节奏、数据流转和信息组织方式掰开揉碎之后我看到的其实是另一套东西——一条会自己出版的行业情报流水线。从信源抓取、内容加工到发布分发几乎所有环节都在以自动化的方式运转。这篇文章就是我对这套流水线的完整拆解包括它的架构逻辑、核心环节、落地参数以及我自己尝试复刻时踩过的坑。想自己做情报站、内容聚合工具或者单纯好奇百万月活产品内部结构的朋友这篇应该对你有用。1. AIHOT的定位与情报流水线的整体构想1.1 百万月活背后的产品逻辑先说一个关键问题一个行业情报类的产品凭什么做到百万月活我拆解AIHOT之后有个很明确的感觉它本质上不是在做内容而是在做信息分发效率。传统的科技媒体靠编辑团队选题、写稿、发布人力成本高更新频率有限。而AIHOT走的路径完全不同——它把从海量信源里筛选高价值信息这件事用一套自动化流水线替代了人工操作。这套流水线的核心逻辑可以概括为四个字出版自动化。具体来说它持续监控全网AI相关的内容源比如技术博客、论文预印本、开源社区、行业资讯站点、社交媒体讨论用算法筛掉低质量内容再通过大模型对剩余内容做摘要、提炼和重写最后按固定的时间节奏批量发布。从用户视角看它像是一个每天准时更新的AI情报专栏从系统视角看它是一条从数据采集到内容上线的全自动通道。百万月活的达成很大程度上就是因为这种模式让内容供给成本趋近于零。传统编辑部一天产出几十篇深度内容已经算高产而一条自动化流水线一天可以轻松处理和发布上百条信息且全年无休。用户不需要盯着几十个不同的网站去跟踪AI领域的新动态一个AIHOT就够了。这种信息聚合自动筛选定时出版的模式其实解决了一个很具体的痛点AI行业的信息密度太高、更新太快人工根本盯不过来。1.2 从人工整理到自动流水线的必然演进如果只是把RSS阅读器套个壳AIHOT也做不大。它真正厉害的地方是把情报生产这件事拆成了可以独立优化、独立规模化的一系列工序。我模拟过传统人工做情报汇总的流程早上花两小时刷几十个网站挑出有价值的消息写摘要排版发布。一个人一天最多做一到两期而且质量和当天状态强相关。AIHOT的做法相当于把整个流程工程化了每一个环节都变成模块每个模块都可以单独考核效果。有一点我觉得很有意思AIHOT并没有走完全无人参与的极端路线而是把人工放在了规则制定者和异常处理者的位置上。它先靠算法处理绝大多数常规信息流同时保留了人工对内容质量的监督和干预入口。这个设计和很多一上来就追求全自动的内容产品不一样后者往往因为内容质量问题导致用户流失而AIHOT在自动化和质量兜底之间做了相对均衡的取舍。拆解这个产品时我最大的收获其实是看清了一个趋势未来行业情报的竞争拼的不再是谁的编辑团队更勤奋而是谁的数据管道更高效、算法筛选更精准、内容生成的质量更稳定。AIHOT只是这个趋势下的一个样本但它的架构方式确实值得想清楚再做。2. 情报流水线的四大核心环节2.1 情报采集层多源数据的汇聚与去重一条情报流水线的起点一定是数据采集。AIHOT在这块的设计并不复杂但细节很讲究。先说信源配置。我根据AIHOT公开披露的信息和搜索结果推断它的信源覆盖大致分成几类一是权威行业媒体和垂直资讯站二是懂技术的人都在关注的学术平台比如论文预印本网站三是开源社区和代码托管平台的热门项目四是社交平台上的话题热榜和讨论。这四类信源的价值各有侧重行业媒体提供的是经过一定筛选的成熟信息学术平台提供的是前沿技术信号开源社区反映的是工程落地的真实热度社交平台则捕捉的是圈内正在讨论的潜在热点。多源采集听起来不难真正难的是去重和权重分配。同一则新闻可能同时出现在行业媒体、社交平台和聚合网站上如果不处理用户就会在同一天看到好几条内容完全相同的条目体验会明显下降。我推测AIHOT的去重逻辑是这样的先对标题和正文做文本归一化处理去掉标点差异、统一简繁体、忽略空格再计算语义相似度只有相似度低于阈值的才作为新内容进入处理流程。这个阈值通常在0.7到0.85之间调得太低会重复推送调得太高又会漏掉一些改写幅度较大的转载内容。权重分配是另一个值得关注的细节。不同信源的权威性和时效性不一样如果一律平等对待很容易被大量低质量SEO内容淹没。合理的做法是给每个信源设定一个基础权重再根据历史数据的表现动态调整。比如某个技术社区的内容转载率高、用户阅读完成率高就提高它的权重某个站点虽然有更新但打开率很低就降低权重甚至移出信源列表。这种动态调整机制是AIHOT的采集层能够持续保持高质量的关键之一。2.2 智能加工层大模型驱动的内容重写与结构化采集到的原始内容不能直接发布否则就只是爬虫站点没有增值。AIHOT的价值增量主要发生在智能加工这一层。加工层做的事情可以拆成四步清洗、提炼、改写、结构化管理。清洗阶段处理的是采集层送来的原始文本。网页自带的导航栏、广告、页脚版权信息要剔除乱码和特殊字符要修复正文过短比如只有一句话的内容需要标记为低质量。这些都是比较常规的文本预处理操作。提炼阶段是整个加工层的高价值环节它通过大模型对文章核心信息做压缩生成一段150到300字的摘要同时自动打上分类标签模型相关、框架更新、产业动态、学术突破等等和实体标签公司名、模型名、人名等。改写阶段决定了内容的原创度。AIHOT不是简单抓取文章标题然后原样发布而是会基于原文信息重新组织语言生成一篇新的短讯。这么做有几个好处一是形成差异化内容避免和源网页完全重复二是可以统一全站的语言风格让用户感觉是同一个编辑在写稿三是能根据站点的目标受众调整信息侧重点——同一则技术新闻面向开发者和面向投资人的写法显然应该是不同的。结构化管理的意义在于让数据可以被复用好多次。同样一条信息加工完成后会被拆成结构化字段标题、摘要、分类、标签、原文链接、发布时间、重要度分数等等。这些字段进入数据库之后既可以直接渲染成Web页面也可以被推送到邮件、小程序、RSS甚至喂给下游的推荐系统做个性化分发。可以说加工层决定了流水线的上限而结构化程度决定了这个上限能有多高。2.3 自动出版层模板渲染与多渠道分发有了加工好的结构化内容剩下的问题就是怎么发出去。AIHOT在这儿的做法是彻底模板化、自动化这也是我称它会自己出版的直接原因。自动出版层做的事情可以理解为一个多目的地分发系统。统一的内容数据进入发布队列之后系统会根据每个渠道的特性选择不同的渲染模板。对于Web页面可能要保留相对完整的排版和链接对于邮件简报要注重开头摘要的吸引力并控制总长度对于社媒账号要压缩成更短更口语化的形态并在文中带上话题标签。发布时间的选择也有讲究。我拆解过AIHOT的发布规律发现它的更新时间节奏和AI从业者的作息高度吻合工作日早上有早报汇总下午有热点速递晚间还有当天的重点内容总结。这种定时反复触达的策略本质上是用内容节奏培养用户的使用习惯——到了那个时间点用户自然会产生去看看AIHOT今天更新了什么的预期。自动出版还有一个容易忽略的价值它让整个系统具备了规模化分发的能力。人工维护时代一个编辑能维护两三个渠道已是极限而在自动出版架构下每新增一个发布渠道只是增加一套模板和API对接而已边际成本极低。这意味着产品可以很轻松地覆盖Web、邮件、社媒矩阵、聚合平台等多个触手从一个网站变成一个内容分发网络。2.4 数据反馈层用户行为回流与选题优化一条真正成熟的流水线必须有反馈闭环。AIHOT能做到百万月活靠的不仅仅是内容好更关键的是它知道用户想看什么然后不断调整内容供给。数据反馈层会持续收集三类信息内容表现数据曝光量、点击率、阅读完成率、分享次数、用户行为数据关注了哪些分类、常读哪些标签、跳过哪些主题以及渠道效果数据哪个渠道来的用户留存最高、哪个渠道适合发什么类型的内容。这些数据回流之后会在两个层面起作用。第一个层面是即时调整某类内容点击率异常低就降低这类内容的权重或者减少推送频次某个信源连续几天贡献的内容都不受欢迎就下调它的采集优先级。第二个层面是周期优化每周或每月统计一次热门话题分布用数据告诉系统最近AI圈到底在关心什么进一步影响后续的选题方向和关键词权重配置。我曾经有点疑惑一套自动化系统也有选题的概念吗拆解完AIHOT的数据反馈机制之后我的理解是它确实有但它的选题不是靠编辑的感觉而是靠算法对用户行为数据的量化分析。这种数据驱动的内容策略在效率上确实远高于人工经验判断。当然它也带来了一些问题比如容易陷入流量导向而牺牲深度价值这个我在后面的问题排查部分会详细讲。3. 实操复盘如何亲手搭一条情报流水线3.1 技术选型与基础架构决策看完AIHOT的架构逻辑之后我自己动手做了一次最小化复刻。虽然做不到百万月活但把一条小型情报流水线完整跑通还是能验证不少设计思路的。先说技术选型。分几个层面来讲数据采集用Scrapy和Feedly API结合前者负责深度抓取特定网站后者负责聚合RSS源数据存储用PostgreSQL因为结构化内容标签、分类、权重分数用关系型数据库管理起来最顺手内容加工调用大模型API做摘要和改写用异步任务队列管理避免阻塞主流程前端发布用Next.js搭了一个轻量站点同时用一个定时任务把每日精选内容推送到Telegram频道和邮件列表。这套选型方案在成本和效率之间的平衡相对合理。如果全部功能都用现成的SaaS服务一个月可能要花几百上千美元如果全部自建开发维护成本又太高。折中方案是采集、存储、发布这些相对标准化的环节能用工具就用工具把核心的开发精力集中在加工层的数据管道和提示词优化上。架构上还有一个重要决策把采集、加工、发布拆成三个独立的服务中间通过消息队列通信。这样做的好处是每个环节可以独立扩缩容。比如某天信源突然爆发了大量内容采集服务压力上来了但加工服务和发布服务不受影响只需要给采集服务加机器就行。而如果是单体应用整个系统都可能被一个环节的峰值拖垮。这是我在架构设计上收获比较深的一个点。3.2 关键参数配置清单可直接抄作业这里我整理了一份在AIHOT模式复刻过程中会用到的核心参数配置表所有数值都基于我实测的经验值不同场景可以微调。配置项推荐参数说明去重判断的语义相似度阈值0.78-0.82低于这个值视为不同内容保留高于则丢弃0.8是我试验下来的甜点值摘要生成长度中文200-300字覆盖核心信息但又不至于变成全文复述每日采集频次每30分钟一轮AI行业热点持续性不强太频繁浪费资源太稀疏会错过窗口期内容质量分及格线60分百分制低于60分的内容不进发布队列只进待审池发布间隔工作日每2小时周末每4小时匹配目标用户的活跃时间分布信源权重动态调整周期每周一次频繁调整会让系统震荡每周更新能平衡敏感性和稳定性除了表里的参数之外有两点我觉得要特别提醒。一是内容质量分的计算逻辑不要只依赖单一指标可以把信息源权重、文本完整度、时效性、以及大模型对该内容重要度的判断加权综合起来。二是发布队列的背压机制如果加工层产出速度超过发布层处理速度队列会不断积压严重的会导致发布延迟。我当时给队列设置了最大长度超过之后会优先丢弃低质量内容而不是继续堆积这个机制让系统在高负载下依然能保持相对稳定的发布节奏。3.3 提示词设计情报流水线质量控制的灵魂在复刻过程中让我花时间最多的不是系统架构而是大模型的提示词。同样的内容源提示词写得差和写得好产出的情报质量可以说是天壤之别。第一个核心提示词是摘要提炼提示词。我最初的版本写得相当朴素比如请为以下文章写一个摘要。产出的结果虽然信息准确但语言枯燥得像说明书没有情报感。反复迭代之后我总结出一个更有效的写法先交代角色和任务背景再给输出格式示例最后强调风格和禁忌。下面是我实测效果比较好的一版摘要提示词框架你是一名资深AI行业分析师。你的任务是从给定文章中提取核心信息生成一段150字左右的中文摘要。 摘要必须包含谁主体机构、做了什么核心事件、为什么重要行业影响。 不要使用近日据悉这类模糊时间词尽量给出具体的程度描述。 输出格式摘要正文不带标题不用列表。第二个核心提示词是改写发布提示词。摘要只是提炼改写是在保持原文信息的基础上换一种表达方式重新组织。这个提示词要特别注意两个点一是强调基于原文但不照搬原文防止大模型直接做句子级别的同义替换这样产出的内容还是会被判重二是要给出明确的风格锚点告诉模型你要的是简洁信息流风格还是深度解读风格AIHOT统一的语言调性就是这么来的。我把改写提示词的关键段落贴出来大家感受一下请根据以下原文和摘要重新组织一段150-200字的新闻短讯。 要求 1. 语言紧凑有力开头第一句就要点出核心事实 2. 补充原文中提到的关键数据或背景但不要引入原文没有的信息 3. 避免与原文连续15个汉字重复 4. 语气保持中性和专业不要使用感叹号。这里补充一个我踩过的坑如果提示词里不加上不要与原文连续N个字符重复这个约束大模型很多时候还是会偷懒地大段复述原文。加了这个约束之后改写质量会明显提升原创度分数也好看很多。4. 运营踩坑实录质量问题、同质化与增长临界点4.1 情报质量失控的三道兜底闸门自动化流水线最让人担心的问题就是跑着跑着内容质量突然崩了。我运营过程中真实遇到过好几次质量波动总结下来最值得做的有三道兜底闸门。第一道闸门是规则层过滤。在内容进入大模型加工之前先用硬规则拦截明显有问题的内容。比如标题或正文里包含敏感词的直接丢弃非中文内容或者没有有效翻译能力的原文直接标记文章总字数低于300字的直接降权。这些规则简单粗暴但能挡住绝大部分垃圾信息成本几乎为零。第二道闸门是模型评分。让大模型对每篇内容打一个质量分1到10判断维度包括信息价值、时效性、完整度、可读性。我在处理这一步的时候会给评分加上具体锚点比如9分以上必须是新技术方案或重大产品发布7分以下是常规行业动态等等避免大模型打分毫无区分度。分数低于及格线的内容不会进入自动发布队列而是进入一个待审池留给人工做最后决策。第三道闸门是人工抽检机制。很多人会忽略自动化系统里人工的重要性但我在实测中发现即使规则层和评分层都做得很好仍然会有漏网之鱼。所以我会要求自己或者兼职运营每周至少三次、每次随机抽检不少于20条已发布内容发现问题后立即回溯对应的信源调整规则或权重。自动化能做到的是复制高质量而人工抽检的意义在于守住高质量的下限。4.2 内容同质化为什么看起来全是重复信息运营一段时间之后我发现一个让人头疼的问题用户开始反馈内容怎么越来越像了。明明信源足够多但加工出来的短讯读起来总有一种似曾相识的感觉。后来我仔细排查发现根源不在信源而在改写和摘要环节。大模型在处理相似主题的内容时输出风格和句式容易趋同再加上我设置的摘要模板比较固定就导致大量内容虽然来源不同读起来却像是同一个模板批量产出的。说白了就是信息相同、表达趋同的双重同质化。解决方式我试过几种效果最好的是多模板轮换和风格注入。多模板轮换是准备几套不同的摘要结构比如观点前置型、背景铺垫型、数据驱动型随机或者按内容类型匹配使用避免模板固定带来的句式固化。风格注入则是在提示词里随机指定不同的语言风格关键词比如简洁明快沉稳专业带一定叙事感让模型在多个风格之间切换。另外还有一个很有效的思路是差异化补充在每篇短讯末尾自动附加相关内容推荐——比如关联阅读上个月也有一次类似的模型更新背景是……。这样即便几篇来自不同时间点的内容在核心信息上有重叠因为补充的角度不同用户也不会觉得是完全重复。这个功能我自己加完之后用户反馈中的重复都是老消息类投诉明显减少。4.3 从1到百万月活路上的几个关键临界点最后聊一下增长。我不是AIHOT的运营者但从它的数据表现和市场反馈来看百万月活不是一天达成的而是跨过了几个明显的临界点之后才有的复利式增长。这里我结合自己做类似产品的经验说几个观察和体会。第一个临界点是内容信任感。月活还没起来的时候用户来得快去得也快。尤其是自动化生成的内容读者只要有一次觉得这消息是拼凑的就可能永远流失。所以前期必须不惜成本维护质量——我那时候宁可每天只发布很少的条目也坚持每条都有人工抽检。AIHOT早期应该也有类似的阶段产品不是靠数量取胜而是靠准确性建立起看AIHOT的消息靠得住的信任感。第二个临界点是信息密度与筛选成本的平衡。当更新频率上去之后用户反而可能会觉得信息太多、看不过来。这时候产品的价值就不再是持续提供信息而是帮用户筛掉不重要的信息。这其实就是AIHOT在百万月活阶段真正在做的事它用流量点击数据反哺算法让重要度分数持续优化用户看到的内容越来越懂我。这一步做到位了留存才会上去月活才能有积累的基础。第三个临界点是规模化分发带来的复利效应。当用户数跨过某个量级之后用户自己变成了内容传播节点。AIHOT的内容在社交媒体上被转发、被引用会带来大量自然流量而这些新用户又反过来贡献点击数据帮助系统优化内容判断。这个正向循环一旦转起来增长就不再完全依赖外部投放了。所以如果你也想做类似的内容产品前期一定要把可分享性考虑进内容设计里——模板中包含易于截取的亮点金句、附带规范的引用链接这些都是低成本撬动传播的好办法。5. 写在最后的一些体会拆解AIHOT和亲手复刻一条小型情报流水线整个过程让我对自动化内容生产这件事有了完全不一样的理解。以前我总认为内容行业的核心竞争力是创作现在我的看法变了当创作可以被大模型以极低成本执行时数据管道、反馈闭环和分发网络的架构能力才是真正拉开差距的地方。AIHOT的百万月活不是靠某几篇爆款撑起来的而是靠一整套持续运转、不断自优化的系统工程。我自己复刻那个最小版本的时候最大的感受是最难的不是写代码也不是设计架构而是找到自动化的边界。哪些环节可以完全交给机器哪些环节必须保留人工干预这个分寸把握好了系统才能稳定健康地跑下去。过度的自动化会让内容变得冰冷失控过度的干预又会让流水线失去意义。如果你也想搭一条自己的行业情报流水线我的建议是先小成本跑通闭环再优化质量最后才考虑规模。不要一上来就追求大而全用一个你自己真正有信息需求的领域做试点把采集、加工、发布、反馈四个环节完整走一遍期间记录所有出问题的点。这个过程其实比直接照抄任何开源方案都更有价值——因为最终你会形成一套属于自己的、能持续迭代的操作方法论。