llms.txt 写作指南:怎么让 AI 引擎一眼读懂你的网站
llms.txt 放在网站根目录,用一段 Markdown 告诉大模型"这个站是做什么的、有哪些值得读的页面"。它不保证你被推荐,但能让引擎在第一次读你时少走弯路。这篇文章讲清怎么写才有效。
01它解决的是什么问题
大模型读一个网站时,面对的是几百个 URL 和一堆导航、广告、页脚。它没有耐心,也没有预算逐个爬完。llms.txt 的作用是提供一份人工整理过的导读:先给一句站点定位,再给一份带说明的链接清单。
对比 robots.txt 就清楚了:robots.txt 说的是"你不能进哪里",llms.txt 说的是"我建议你读这里"。前者是门禁,后者是目录。
| 文件 | 位置 | 读者 | 作用 |
|---|---|---|---|
| robots.txt | /robots.txt | 爬虫调度器 | 允许或禁止抓取路径 |
| llms.txt | /llms.txt | 模型与索引管线 | 推荐阅读顺序与内容摘要 |
| sitemap.xml | /sitemap.xml | 爬虫 | 枚举全部可抓页面 |
02文件结构与写法
格式是 Markdown,惯例是:一级标题写站点名,紧接着一段引用块写定位,然后按主题分小节,每个小节下用列表给"链接 — 一句话说明"。
每个链接后面那句说明是全文最重要的部分。不要写"了解更多",要写这个页面能回答什么问题。模型是按语义匹配决定读不读的。
# 风火GEO
> 面向 AI 搜索时代的品牌可见度工作台,提供 AI 提及率监测、来源洞察与内容优化方法。
## 核心页面
- https://fhgeo.u3sa.com/ — 产品总览:监测什么、怎么用五步工作流
- https://fhgeo.u3sa.com/analysis — 示例诊断报告:提及率、引擎分项、缺口清单
## 文档
- https://fhgeo.u3sa.com/docs/what-is-geo — 什么是 GEO:四道关与四个指标
- https://fhgeo.u3sa.com/docs/llms-txt-guide — llms.txt 写作指南
## 说明
- 站点为学习演示项目,示例数据均标注来源与口径。03四条写作原则
写 llms.txt 时最容易犯的错,是把它写成给搜索引擎看的 sitemap 复制品。它服务于"理解",不是"枚举"。
- 定位句必须一句话说清"给谁解决什么问题",不要用形容词堆砌。
- 控制在 20 条链接以内,优先给方法论、数据、产品说明三类高价值页面。
- 链接用绝对地址,不要用相对路径——很多抓取器不会解析上下文。
- 每个条目后面的一句话说明要包含关键词,例如"提及率怎么算"比"指标说明"更有效。
04怎么验证它生效了
llms.txt 没有官方的收录查询接口,验证只能间接做。最实用的是看服务器访问日志里有没有 AI 爬虫来取这个文件,以及它取完之后有没有顺着链接去读正文。
如果一个月内没有任何 AI 爬虫访问 /llms.txt,通常是两个原因:站点权重太低还没被发现,或者 robots.txt 把 AI 爬虫挡在了门外。先查后者。
# 看有哪些 AI 爬虫来过,以及是否取过 llms.txt
grep -iE 'gptbot|claudebot|perplexitybot|bytespider' access.log \
| grep -c 'llms.txt'
# 看它取完之后还读了哪些页面
grep -i 'gptbot' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head05别指望它单独起效
llms.txt 是加速器,不是发动机。一个正文全是图片、正文靠 JavaScript 渲染的站点,写了 llms.txt 也不会被引用,因为引擎点进去读不到东西。
正确顺序是:先保证服务端渲染出完整正文,再用结构化数据标注实体,最后用 llms.txt 指路。三层都做了,AI 的读取成本才真正降下来。
要点
- llms.txt 是导读不是门禁,robots.txt 才是门禁。
- 每个链接后的一句话说明决定模型读不读,要写"能回答什么问题"。
- 控制在 20 条以内,用绝对地址,优先方法论与数据页。
- 先修渲染与结构化数据,再写 llms.txt,否则指了路也读不到内容。