2026 年了如果你还只知道 robots.txt不知道 llms.txt那你可能已经错过了 AI 时代的流量入口。随着 ChatGPT、Gemini、Perplexity 等 AI 搜索引擎的普及越来越多的用户开始通过 AI 获取信息。AI 爬虫比如 GPTBot、Google-Extended正在大规模抓取互联网内容用来训练模型和生成回答。你的网站愿不愿意被 AI 爬愿意的话哪些内容可以爬、哪些不能爬、爬了之后能不能引用你这些都需要通过 llms.txt 来告诉 AI 爬虫。这篇文章我把 llms.txt 从是什么、为什么、到怎么配、常见坑一次性讲透。文末附完整配置模板直接复制就能用。一、llms.txt 是什么llms.txt 是放在网站根目录下的一个文本文件用来告诉 AI 爬虫LLM crawler你可以爬我网站的哪些页面你不可以爬哪些页面你爬了之后能不能用来训练模型你引用我的时候要不要标注来源你应该怎么展示我的内容简单说robots.txt 是给传统搜索引擎爬虫看的llms.txt 是给 AI 爬虫看的。文件位置https://yourdomain.com/llms.txt二、为什么你需要配置 llms.txt1. 控制 AI 访问权限不配置的话AI 爬虫可能会乱爬——爬了你不想公开的内容内部页面、用户数据爬了你付费内容然后 AI 免费给用户解答大量抓取拖慢你的服务器配置了 llms.txt你就能明确告诉 AI什么可以爬、什么不能爬。2. 提升 AI 推荐概率llms.txt 不仅是禁止更是引导。 你可以告诉 AI 爬虫哪些页面是最重要的、优先爬哪些、内容更新频率是多少。AI 爬虫资源有限它会优先爬那些主人说重要的页面。 你引导得好它对你核心内容的抓取效率就高 你被 AI 推荐的概率自然也高。3. 规范引用方式你可以要求 AI 在引用你的内容时标注来源、给出处链接。 这很重要——AI 引用你但不给链接用户就找不到你你等于白给 AI 做贡献。配置了 llms.txt 里的引用规则AI 就知道该怎么引用你、要不要给你倒流。三、llms.txt 的核心配置项llms.txt 目前还没有统一的官方标准不像 robots.txt 有 RFC但行业已经形成了一些通用的约定。主流的配置项包括1. User-agent指定针对哪个 AI 爬虫Plain TextUser-agent: GPTBot指定规则适用于哪个爬虫。常用的 AI 爬虫GPTBot— OpenAI 的爬虫Google-Extended— Google 的 AI 爬虫ClaudeBot— Anthropic 的爬虫PerplexityBot— Perplexity 的爬虫*— 所有 AI 爬虫2. Allow / Disallow允许/禁止爬取的路径Plain TextAllow: /blog/ Disallow: /admin/ Disallow: /private/跟 robots.txt 语法类似。Allow允许爬取的路径Disallow禁止爬取的路径支持通配符*和$3. Train是否允许用于训练Plain TextTrain: Allow # 或者 Train: Disallow这个是 llms.txt 独有的。Train: Allow— 允许 AI 用你的内容来训练模型Train: Disallow— 不允许用于训练只能用来生成回答时参考注意设为 Disallow 并不代表 AI 就不会引用你了只是说不用你的内容来训练模型。回答问题时还是可能参考你的内容。4. Citation引用规则Plain TextCitation: Required Citation-Format: markdown_link告诉 AI 引用你的时候该怎么做Citation: Required— 必须标注来源Citation: Optional— 可选Citation-Format— 引用格式比如markdown_linkMarkdown 链接、plain_text纯文本等5. Priority页面优先级Plain TextPriority: /blog/guides/ 1.0 Priority: /blog/news/ 0.6 Priority: /about/ 0.3告诉 AI 爬虫哪些页面更重要优先爬哪些。 优先级从 0.0 到 1.01.0 最高。6. Update-Frequency更新频率Plain TextUpdate-Frequency: /blog/ daily Update-Frequency: /docs/ weekly Update-Frequency: /about/ monthly告诉 AI 各部分内容的更新频率方便它决定爬取频率。 可选值hourly、daily、weekly、monthly、yearly7. Sitemap站点地图位置Plain TextSitemap: https://yourdomain.com/sitemap.xml告诉 AI 你的 sitemap 在哪方便它更高效地爬取全站内容。四、完整配置模板下面是一个可以直接用的 llms.txt 模板你根据自己的情况改一改就行Plain Text# llms.txt - AI 爬虫配置文件 # 最后更新2026-09-04 # 网站https://yourdomain.com # 全局规则 User-agent: * # 允许爬取的目录 Allow: / Allow: /blog/ Allow: /guides/ Allow: /docs/ Allow: /case-studies/ # 禁止爬取的目录 Disallow: /admin/ Disallow: /login/ Disallow: /signup/ Disallow: /user/ Disallow: /checkout/ Disallow: /api/ Disallow: /private/ Disallow: /draft/ # 是否允许用于训练 Train: Allow # 引用规则 Citation: Required Citation-Format: markdown_link # 页面优先级 # 核心内容优先级最高 Priority: /guides/ 1.0 Priority: /case-studies/ 0.9 Priority: /blog/ 0.8 Priority: /docs/ 0.8 Priority: /product/ 0.7 Priority: /about/ 0.3 # 更新频率 Update-Frequency: /blog/ daily Update-Frequency: /guides/ weekly Update-Frequency: /docs/ weekly Update-Frequency: /case-studies/ monthly Update-Frequency: /product/ monthly Update-Frequency: /about/ yearly # 站点地图 Sitemap: https://yourdomain.com/sitemap.xml Sitemap: https://yourdomain.com/blog-sitemap.xml # 针对特定爬虫的特殊规则 # OpenAI GPTBot User-agent: GPTBot Train: Allow Citation: Required # Google Extended User-agent: Google-Extended Train: Allow Citation: Required # Perplexity User-agent: PerplexityBot Train: Allow Citation: Required # 如果你不想让某个爬虫爬可以这样设 # User-agent: SomeBot # Disallow: / # Train: Disallow五、配置步骤5 分钟搞定第一步创建 llms.txt 文件用上面的模板根据你自己的网站结构修改路径和规则。 保存为纯文本文件文件名llms.txt。第二步上传到网站根目录把文件上传到你网站的根目录确保可以通过https://yourdomain.com/llms.txt访问到。第三步验证是否生效在浏览器里访问https://yourdomain.com/llms.txt能正常显示内容就 OK 了。也可以用 curl 验证Bashcurl -I https://yourdomain.com/llms.txt返回 200 状态码就行。第四步提交给 AI 爬虫可选大部分 AI 爬虫会自动去找 llms.txt不用手动提交。 但你也可以主动去各平台的开发者中心提交加快被发现的速度。六、常见的坑坑 1跟 robots.txt 冲突llms.txt 和 robots.txt 是两个独立的文件各自管各自的。 但如果 robots.txt 里禁止了某个爬虫那它连你网站都进不来llms.txt 里的规则自然也没用。建议robots.txt 放开 AI 爬虫的访问具体的规则在 llms.txt 里配。坑 2路径写错路径要跟你网站的实际路径一致。 特别是 Allow/Disallow 的路径开头要有斜杠/。坑 3以为配了 AI 就一定遵守llms.txt 是君子协定不是强制的。 正规的大公司OpenAI、Google、Anthropic一般会遵守 但一些小的 AI 爬虫可能不理会。但主流的 AI 引擎都会遵守所以配置了还是很有必要的。坑 4只禁止不引导很多人配置 llms.txt就只写 Disallow这个不让爬那个不让爬。 但 Allow、Priority、Update-Frequency 这些引导性的配置才是更重要的。 它们能让 AI 爬虫更高效地抓取你最想推广的内容。llms.txt 不只是挡更是引。坑 5配置完就不管了网站结构会变、内容会增删llms.txt 也要跟着更新。 建议每季度检查一次看看有没有需要调整的地方。七、llms.txt 与 GEO 的关系最后说一下 llms.txt 在整个 GEO 体系里的位置。GEO生成式引擎优化是一个完整的体系包括内容、结构、技术、权威性等多个维度。 llms.txt 是技术基础维度里的一个重要组成部分。它的作用是打开大门— 让 AI 爬虫能顺利爬取你的内容指明重点— 告诉 AI 哪些内容最重要优先抓取规范引用— 确保 AI 引用你的时候给你带来流量技术基础是 GEO 的地基。 地基没打好内容再好AI 爬不到、读不懂也是白搭。llms.txt Schema 标记 结构化内容这三个加起来就是 GEO 技术基础的铁三角。 后面我会再写文章讲 Schema 标记怎么配以及怎么判断你的内容 AI 到底读不读得懂。写在最后llms.txt 是 AI 时代的 robots.txt。 5 分钟配置一下就能让你的网站在 AI 搜索时代占据一个有利位置。 这件事投入产出比极高建议所有重视流量的网站都配上。如果你不知道自己的网站该怎么配可以在评论区留言我帮你看看。自动检测网站geo基建给出建议的llm.txt可以直接复制 llms.txt 完整配置指南：让AI爬虫读懂你的网站（附完整模板）
2026 年了如果你还只知道 robots.txt不知道 llms.txt那你可能已经错过了 AI 时代的流量入口。随着 ChatGPT、Gemini、Perplexity 等 AI 搜索引擎的普及越来越多的用户开始通过 AI 获取信息。AI 爬虫比如 GPTBot、Google-Extended正在大规模抓取互联网内容用来训练模型和生成回答。你的网站愿不愿意被 AI 爬愿意的话哪些内容可以爬、哪些不能爬、爬了之后能不能引用你这些都需要通过 llms.txt 来告诉 AI 爬虫。这篇文章我把 llms.txt 从是什么、为什么、到怎么配、常见坑一次性讲透。文末附完整配置模板直接复制就能用。一、llms.txt 是什么llms.txt 是放在网站根目录下的一个文本文件用来告诉 AI 爬虫LLM crawler你可以爬我网站的哪些页面你不可以爬哪些页面你爬了之后能不能用来训练模型你引用我的时候要不要标注来源你应该怎么展示我的内容简单说robots.txt 是给传统搜索引擎爬虫看的llms.txt 是给 AI 爬虫看的。文件位置https://yourdomain.com/llms.txt二、为什么你需要配置 llms.txt1. 控制 AI 访问权限不配置的话AI 爬虫可能会乱爬——爬了你不想公开的内容内部页面、用户数据爬了你付费内容然后 AI 免费给用户解答大量抓取拖慢你的服务器配置了 llms.txt你就能明确告诉 AI什么可以爬、什么不能爬。2. 提升 AI 推荐概率llms.txt 不仅是禁止更是引导。 你可以告诉 AI 爬虫哪些页面是最重要的、优先爬哪些、内容更新频率是多少。AI 爬虫资源有限它会优先爬那些主人说重要的页面。 你引导得好它对你核心内容的抓取效率就高 你被 AI 推荐的概率自然也高。3. 规范引用方式你可以要求 AI 在引用你的内容时标注来源、给出处链接。 这很重要——AI 引用你但不给链接用户就找不到你你等于白给 AI 做贡献。配置了 llms.txt 里的引用规则AI 就知道该怎么引用你、要不要给你倒流。三、llms.txt 的核心配置项llms.txt 目前还没有统一的官方标准不像 robots.txt 有 RFC但行业已经形成了一些通用的约定。主流的配置项包括1. User-agent指定针对哪个 AI 爬虫Plain TextUser-agent: GPTBot指定规则适用于哪个爬虫。常用的 AI 爬虫GPTBot— OpenAI 的爬虫Google-Extended— Google 的 AI 爬虫ClaudeBot— Anthropic 的爬虫PerplexityBot— Perplexity 的爬虫*— 所有 AI 爬虫2. Allow / Disallow允许/禁止爬取的路径Plain TextAllow: /blog/ Disallow: /admin/ Disallow: /private/跟 robots.txt 语法类似。Allow允许爬取的路径Disallow禁止爬取的路径支持通配符*和$3. Train是否允许用于训练Plain TextTrain: Allow # 或者 Train: Disallow这个是 llms.txt 独有的。Train: Allow— 允许 AI 用你的内容来训练模型Train: Disallow— 不允许用于训练只能用来生成回答时参考注意设为 Disallow 并不代表 AI 就不会引用你了只是说不用你的内容来训练模型。回答问题时还是可能参考你的内容。4. Citation引用规则Plain TextCitation: Required Citation-Format: markdown_link告诉 AI 引用你的时候该怎么做Citation: Required— 必须标注来源Citation: Optional— 可选Citation-Format— 引用格式比如markdown_linkMarkdown 链接、plain_text纯文本等5. Priority页面优先级Plain TextPriority: /blog/guides/ 1.0 Priority: /blog/news/ 0.6 Priority: /about/ 0.3告诉 AI 爬虫哪些页面更重要优先爬哪些。 优先级从 0.0 到 1.01.0 最高。6. Update-Frequency更新频率Plain TextUpdate-Frequency: /blog/ daily Update-Frequency: /docs/ weekly Update-Frequency: /about/ monthly告诉 AI 各部分内容的更新频率方便它决定爬取频率。 可选值hourly、daily、weekly、monthly、yearly7. Sitemap站点地图位置Plain TextSitemap: https://yourdomain.com/sitemap.xml告诉 AI 你的 sitemap 在哪方便它更高效地爬取全站内容。四、完整配置模板下面是一个可以直接用的 llms.txt 模板你根据自己的情况改一改就行Plain Text# llms.txt - AI 爬虫配置文件 # 最后更新2026-09-04 # 网站https://yourdomain.com # 全局规则 User-agent: * # 允许爬取的目录 Allow: / Allow: /blog/ Allow: /guides/ Allow: /docs/ Allow: /case-studies/ # 禁止爬取的目录 Disallow: /admin/ Disallow: /login/ Disallow: /signup/ Disallow: /user/ Disallow: /checkout/ Disallow: /api/ Disallow: /private/ Disallow: /draft/ # 是否允许用于训练 Train: Allow # 引用规则 Citation: Required Citation-Format: markdown_link # 页面优先级 # 核心内容优先级最高 Priority: /guides/ 1.0 Priority: /case-studies/ 0.9 Priority: /blog/ 0.8 Priority: /docs/ 0.8 Priority: /product/ 0.7 Priority: /about/ 0.3 # 更新频率 Update-Frequency: /blog/ daily Update-Frequency: /guides/ weekly Update-Frequency: /docs/ weekly Update-Frequency: /case-studies/ monthly Update-Frequency: /product/ monthly Update-Frequency: /about/ yearly # 站点地图 Sitemap: https://yourdomain.com/sitemap.xml Sitemap: https://yourdomain.com/blog-sitemap.xml # 针对特定爬虫的特殊规则 # OpenAI GPTBot User-agent: GPTBot Train: Allow Citation: Required # Google Extended User-agent: Google-Extended Train: Allow Citation: Required # Perplexity User-agent: PerplexityBot Train: Allow Citation: Required # 如果你不想让某个爬虫爬可以这样设 # User-agent: SomeBot # Disallow: / # Train: Disallow五、配置步骤5 分钟搞定第一步创建 llms.txt 文件用上面的模板根据你自己的网站结构修改路径和规则。 保存为纯文本文件文件名llms.txt。第二步上传到网站根目录把文件上传到你网站的根目录确保可以通过https://yourdomain.com/llms.txt访问到。第三步验证是否生效在浏览器里访问https://yourdomain.com/llms.txt能正常显示内容就 OK 了。也可以用 curl 验证Bashcurl -I https://yourdomain.com/llms.txt返回 200 状态码就行。第四步提交给 AI 爬虫可选大部分 AI 爬虫会自动去找 llms.txt不用手动提交。 但你也可以主动去各平台的开发者中心提交加快被发现的速度。六、常见的坑坑 1跟 robots.txt 冲突llms.txt 和 robots.txt 是两个独立的文件各自管各自的。 但如果 robots.txt 里禁止了某个爬虫那它连你网站都进不来llms.txt 里的规则自然也没用。建议robots.txt 放开 AI 爬虫的访问具体的规则在 llms.txt 里配。坑 2路径写错路径要跟你网站的实际路径一致。 特别是 Allow/Disallow 的路径开头要有斜杠/。坑 3以为配了 AI 就一定遵守llms.txt 是君子协定不是强制的。 正规的大公司OpenAI、Google、Anthropic一般会遵守 但一些小的 AI 爬虫可能不理会。但主流的 AI 引擎都会遵守所以配置了还是很有必要的。坑 4只禁止不引导很多人配置 llms.txt就只写 Disallow这个不让爬那个不让爬。 但 Allow、Priority、Update-Frequency 这些引导性的配置才是更重要的。 它们能让 AI 爬虫更高效地抓取你最想推广的内容。llms.txt 不只是挡更是引。坑 5配置完就不管了网站结构会变、内容会增删llms.txt 也要跟着更新。 建议每季度检查一次看看有没有需要调整的地方。七、llms.txt 与 GEO 的关系最后说一下 llms.txt 在整个 GEO 体系里的位置。GEO生成式引擎优化是一个完整的体系包括内容、结构、技术、权威性等多个维度。 llms.txt 是技术基础维度里的一个重要组成部分。它的作用是打开大门— 让 AI 爬虫能顺利爬取你的内容指明重点— 告诉 AI 哪些内容最重要优先抓取规范引用— 确保 AI 引用你的时候给你带来流量技术基础是 GEO 的地基。 地基没打好内容再好AI 爬不到、读不懂也是白搭。llms.txt Schema 标记 结构化内容这三个加起来就是 GEO 技术基础的铁三角。 后面我会再写文章讲 Schema 标记怎么配以及怎么判断你的内容 AI 到底读不读得懂。写在最后llms.txt 是 AI 时代的 robots.txt。 5 分钟配置一下就能让你的网站在 AI 搜索时代占据一个有利位置。 这件事投入产出比极高建议所有重视流量的网站都配上。如果你不知道自己的网站该怎么配可以在评论区留言我帮你看看。自动检测网站geo基建给出建议的llm.txt可以直接复制 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
