robots.txt 设置指南：搜索引擎抓取规则详解与常见配置

📍 WDQWDWQD987AAAAA:216.73.217.109
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /370a02d6c03a.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的重要文件。它告诉爬虫哪些页面可以抓取，哪些需要避开。这份指南会为你解释它的基础语法、主流搜索引擎的特性差异以及实际配置中的常见问题。

1. robots.txt 的基础语法与核心指令

一个标准的 robots.txt 文件需要放在网站的根目录下。文件内容由若干条记录组成，每条记录以 User-agent 开头，后接对应的 Disallow 或 Allow 指令。

• User-agent：指定指令针对哪个爬虫。例如，User-agent: Googlebot 仅适用于谷歌爬虫；User-agent: * 则适用于所有爬虫。
• Disallow：禁止爬虫抓取的路径。例如，Disallow: /admin/ 表示禁止抓取 admin 目录下的所有文件。
• Allow：允许爬虫抓取的路径，通常用于覆盖 Disallow 规则。例如，Allow: /admin/public/ 可以在禁止整个 admin 目录的情况下，开放其下的 public 子目录。
• Sitemap：声明站点的 XML 地图位置，帮助爬虫更快发现新内容。例如，Sitemap: https://www.example.com/sitemap.xml。

2. 针对不同搜索引擎的设置差异

不同搜索引擎对 robots.txt 的解析规则不完全一致。了解这些差异可以避免因误配置导致页面意外漏抓或误禁。

Googlebot 会严格遵守 Allow 和 Disallow 规则，并优先处理 Allow 指令。对于不明确的路径，Googlebot 倾向于不抓取。

Bingbot 的规则与 Googlebot 相似，但它对一些不规范语法（如缺少斜杠）的容忍度较低。配置时尽量使用完整路径。

Baiduspider 对部分高级规则（如 Allow 的覆盖优先级）支持不完整。使用百度站长平台验证是最安全的方法，直接依赖 robots.txt 可能产生不可控结果。

3. 常见配置场景与避坑建议

这里列出几个常见的 robots.txt 使用场景，以及容易出错的点。

1. 禁止抓取后台路径：例如 Disallow: /wp-admin/（对 WordPress 站点）。注意如果后台使用了别名，也需要一并禁止。
2. 禁止抓取特定文件类型：例如 Disallow: /*.pdf$ 可以阻止 PDF 文件被抓取。但要注意，如果这些文件需要被用户找到，应通过 Allow 开放首页内链指向的 PDF。
3. 允许抓取特定子目录：例如 Disallow: /usercontent/ 再配合 Allow: /usercontent/public/。
4. 避免误伤重要页面：在规则末尾不要使用 Disallow: / 禁用整个网站，除非你真的想屏蔽所有爬虫。
5. 使用通配符要谨慎：Googlebot 支持 * 匹配任意字符，但频繁使用可能导致规则覆盖预期之外的路径。

4. 如何检测 robots.txt 是否生效

写完文件后，需要验证它是否按预期工作。可以使用以下方法：

1. 直接访问：在浏览器打开 https://你的域名/robots.txt，查看文件内容是否正确。
2. Google Search Console：在“检查网址”功能中输入一个被禁止的 URL，查看 Google 是否报告“被 robots.txt 禁止”。
3. Bing Webmaster Tools：同样有类似工具测试 URL 的可抓取性。
4. 在线验证工具：如“Robots.txt Checker”，输入文件 URL 和测试路径，即能获知允许或禁止状态。

注意：修改 robots.txt 后，搜索引擎爬虫不会立即更新缓存。通常需要等待 24-48 小时才会完全生效。

5. 常见问题

5.1 问：我在 robots.txt 里禁止了一个页面，为什么它还在搜索结果中？

robots.txt 只是禁止爬虫抓取该页面，并不阻止它显示在搜索结果中。如果页面之前已经被收录，搜索引擎可能会保留其摘要，但无法读取更新的内容。要彻底移除已收录页面，应使用 noindex 标签或删除页面内容。

5.2 问：Disallow: / 会阻止所有搜索引擎吗？

是的，这个指令告诉所有爬虫不要抓取任何页面。对于被明确信任的爬虫（如 Googlebot），还可能因为站点整体内容缺失而降低排名。通常只在开发或测试环境中使用。

5.3 问：如果一个路径同时被 Allow 和 Disallow 匹配，结果是什么？

对主流搜索引擎，优先执行 Allow 规则。例如，Disallow: /a/ 和 Allow: /a/b/ 同时存在，则 /a/b/ 目录下的页面会被允许抓取。但要注意，部分搜索引擎（如百度）不支持这种 override 逻辑，建议写规则时尽量避免冲突。

6. 总结

理解并正确使用 robots.txt 是网站内容管理的起点。建议从简单的规则开始：明确禁止后台目录、敏感文件，并通过验证工具确认规则生效。定期查看搜索引擎工具中的抓取报告，可以及时修正因规则变更导致的问题。