自己搭的小站怎么让 AI 搜得到

这两年问 AI "这个东西怎么弄"的人越来越多。写博客的、做独立小工具的、开了个手作店挂了几页介绍的，都会遇到同一件事：站做好了，搜索引擎也收录了，可去 AI 里问相关的问题，答案里从来不见自己的站。

这事不玄。AI 读一个页面，要先能访问到，再谈读得懂、愿意用。多数小站卡在第一步，而且卡得毫无察觉，因为浏览器打开一切正常。

下面四步，全用免费手段，一个下午能走完。

一、先分清三件事：能读、能懂、能被用

能读，是爬虫访问得到，属于权限和网络层面。能懂，是页面结构清楚，机器知道哪句是结论、哪段是条件。能被用，是被选中放进答案，还要看是谁在说、说的时间。

三件事的顺序不能乱。第一件不通，后两件做多少都白搭。所以排查从"能不能读"开始，别一上来就改文案。

二、第一步：浏览器里打开 /robots.txt

在域名后面加 /robots.txt，回车。这个文件在网站根目录，纯文本，一般不到十行。

要看三样东西。有没有一行 Disallow: /，那代表整站禁止；有没有把你放文章的目录误关；末尾有没有 sitemap 地址。

小站最常见的坑是这条规则来得莫名其妙。装主题、装插件、换个建站工具，规则文件可能被自动改写，你自己没动过。

如果用的是托管博客平台，这个文件通常改不了，平台统一管。这种情况下你要做的是确认平台没把内容页挡住，而不是纠结自己能不能改。

User-agent: *
Allow: /
Disallow: /admin/

大概这个意思就对了：公开内容放行，后台关掉。后台真正该靠的是登录，不是这行字。

三、第二步：日志里有没有陌生访客

自己租服务器或虚拟主机的，能看到访问日志。虚拟主机一般在控制面板里有"访问统计"或"原始日志"入口。

做法是搜关键词。把常见的 AI 爬虫名字挨个搜一遍，看有没有记录。搜不到不代表一定没来，可能是日志只保留 7 天，也可能是被前置拦掉了。

这一步有个反直觉的地方：日志里 UA 是可以伪造的，出现某个名字不等于真来自那家平台。反过来，看不到也不等于没被读过。所以这一步只当参考，别当定论。

四、第三步：关掉 JavaScript 再看一眼

用浏览器开发者工具禁用 JS，或者直接用"查看网页源代码"。

如果源代码里能看到正文，说明没问题。如果只有标题、一堆脚本，正文一个字都没有，那就是纯前端渲染。用户看得见，机器读的是空壳。

这种站要么改渲染方式，要么给文章页补一份能被直接读到的内容。对个人小站来说，最简单的办法是换一个默认输出静态 HTML 的主题或模板，成本比改架构低得多。

五、第四步：sitemap 有没有交出去

sitemap 是一份地址清单，告诉爬虫站里有哪些页面。多数博客系统能自动生成，地址一般在 /sitemap.xml。

打开看一眼，里面的地址能不能正常访问。改过域名、换过路径的站，清单里常留着一批 404。

清单有了还要交出去。搜索引擎有站长平台可以主动提交，这一步免费，几分钟的事。不提交也能被发现，但慢。

六、训练和搜索，其实是两拨访客

这点很多人搞混，一看到"AI 爬虫"就整段封掉，结果把检索那只也关了。

按 OpenAI 的官方爬虫文档（2026 年 10 月核对过原文），它至少有三只：GPTBot 管训练，OAI-SearchBot 管搜索，ChatGPT-User 在用户提问时去访问页面。文档明确写着这三个设置彼此独立，允许检索、不允许训练是正常组合。

Google 的结构类似，把 Gemini 相关用途单独做成一个 token，普通搜索走的是另一只。Anthropic 也把训练和搜索分成了两条。

所以正确的问法不是"要不要让 AI 读"，而是"哪一种用途我愿意开放"。只想被引用、不想被拿去训练，完全做得到，只要按名字分开写。

另外记两个数值：官方说规则更新后到生效大约需要 24 小时；访问日志一般保留 7 到 30 天，超过这个窗口就查不到痕迹，想留证据要自己备份。

还有一层容易被漏掉。如果站上的内容有 AI 参与生成，按《人工智能生成合成内容标识办法》要加标识，该办法自 2025 年 9 月 1 日起施行。这一条和抓取权限无关，但它影响平台对你这一页的信任判断。

七、几件能马上做的小事

1. 把 /robots.txt 存成书签，换主题、换插件之后点一下确认没被改。
2. 给文章页加一行"本文更新于某年某月"，日期写在正文里，别只放在图片上。
3. 每篇文章开头三句话内给结论，别先铺垫背景。机器摘的时候优先摘这一句。
4. 站内互相链一下，别让新文章成为只有 sitemap 知道的孤页。
5. 装个免费日志分析工具，看清楚到底谁来过。

这几件事都不花钱，加起来两小时。

八、问答

Q1：小站没流量，值得折腾这些吗？

如果你的内容希望被人从 AI 那里问到，值得。这些配置是一次性的，改完不用维护，比持续写新稿的投入低得多。

Q2：托管博客平台改不了 robots.txt 怎么办？

先确认平台没有挡住内容页，再确认 sitemap 能正常访问。改不了的部分不用纠结，把能控的控住：结构、结论前置、更新时间。

Q3：禁止 AI 抓取，我的内容会更安全吗？

robots.txt 只是一段请求，愿意遵守的才遵守。真正的敏感内容不该放在公开目录，靠登录和权限隔离更可靠。

Q4：抓取频次太高，会不会拖慢站点？

会有压力。可以在防护层设频率上限，超出时返回 429 让爬虫退让，比整只封掉更合理。封掉之后，检索入口也一起消失。

Q5：怎么知道自己的站到底有没有被 AI 读到？

两个办法互相印证：看日志里的 UA，核对方公布的 IP 段；再到 AI 里问一个只有你站上才有的具体说法，看答案里有没有出现。

Q6：改完多久能看出变化？

官方给的参考是规则生效约 24 小时，抓取另有节奏。给自己留两到四周，别当天就下判断。

写在最后

小站的优势是人少、改得快。这几步加起来不到半天，但它决定了你后面写的每一篇东西有没有人读得到。

本文含 AI 辅助创作内容，已由人工核对事实与表述。

作者提示含AI生成内容。作者声明本文存在利益相关性，请大家尊重作者及分享的内容，友善沟通，理性决策~