ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

站点做好了,搜索引擎却进不来

站点做好了,搜索引擎却进不来

帮助中心上线两个月,客服仍在把链接逐条发给客户。有人说内容不够好。也有人说要买关键词。更常见的原因更无聊:这个域名还关着收录。搜索引擎按robots.txt判断能不能抓。新建域名默认常常是关掉的。没人打开,结果页里当然没有你们。

对外站点要同时面对两类读取者。一类是搜索引擎,一类是大模型和 AI 爬虫。Baklib 把这两件事分开配,互不顶替。只开了给模型看的通道,不等于已经被百度或 Google 收录。只开了收录,也不等于模型能读到干净的 Markdown。

每个域名自己决定开不开门

同一站点若绑了多个域名,每个域名要各自配置,互不影响。预览用的测试地址可以继续关收录,对外正式域名再打开。混用同一套规则,测试内容会进索引,正式站却仍是空白。配置入口在该域名的 SEO 设置里,能看到收录状态、LLM Markdown 访问,以及当前会对外生效的robots.txt预览。

收录有三种常见态度。关掉,等于告诉合规爬虫不要抓,适合还没对外、或明确不想被索引的站。打开,使用系统预设:允许公开页面和站点地图,屏蔽后台路径。需要更细的规则时再自定义中间那段,前后仍由系统拼接,不必把整份文件从头抄一遍。robots.txt是建议,不守规矩的爬虫仍可能来;正规搜索引擎会参考它。把它当成「绝对防火墙」会误判。

新域名为什么看起来像关着?因为默认就是关。这是为了避免半成品被收进去。站点可以打开、栏目可以写完,收录仍要你显式打开。改完以打到应用的请求为准;前面如果有缓存,要等缓存过期或刷新后再核对线上/robots.txt,不要只看后台表单。

给搜索引擎开的门,和给模型开的门不是同一扇

LLM Markdown 访问是另一项开关。打开之后,站点会提供面向 AI 的结构说明,常见地址是域名下的llms.txt和更完整的llms-full.txt。页面 URL 末尾加上.md,可以拿到该页的 Markdown。关掉后,这些通道按设计对外不可用。帮助中心希望被 ChatGPT 一类工具准确读懂时,需要的是结构化页面,而不是再做一份只给人看的漂亮封面。

这两项可以按合规组合。内部 Wiki 可以关收录、仍给指定模型通道;对外帮助中心可以开收录,同时打开 Markdown 访问。也可以反过来。没有统一正确答案,只有这一站给谁看。Baklib 把选择留给每个域名,而不是全公司共用一个开关。

改完要到公开域名上复核,不要只信后台显示「已开启」。浏览器或 CDN 仍可能吐出旧文件。预览地址和正式地址如果不是同一个域名,改错边是常事。Baklib 能生成这些文件,不能替搜索引擎决定何时把你们编进结果。收录打开之后,还要有可被找到的标题、栏目和正文。门开了,屋里没有路,结果页仍然空。

适合谁:站点已经能打开、搜索结果里却没有自己的运营;以及希望大模型读懂帮助中心、却只改了主题颜色的人。先确认这个对外域名要不要被抓、要不要给模型开放 Markdown。Baklib 把 SEO 和 LLM 放在域名配置里,是为了让「谁可以读这个站」先说清楚,而不是等三个月再怪算法。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进