robotstxt 是什么？robots.txt 写法与 SEO 爬虫规则详解

📍 WDQWDWQD987AAAAA:216.73.217.179
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a2622d140804.html
📄

robotstxt 通常指网站根目录下的 robots.txt 文件，它是搜索引擎爬虫与网站之间的一份“访问约定”。当搜索引擎蜘蛛访问一个站点时，会先请求 /robots.txt，读取其中的规则，再决定哪些页面可以抓取、哪些应当避开。对于做 SEO 的站点来说，理解 robotstxt 的写法与限制，是技术优化中非常基础的一环。

robotstxt 的基本结构

一个标准的 robots.txt 由若干条记录组成，每条记录通常包含 User-agent、Disallow、Allow 和 Sitemap。User-agent 指定规则适用的爬虫，例如 User-agent: Baiduspider 或 User-agent: * 表示所有爬虫。Disallow 用来禁止抓取某路径，Allow 则用于在禁止范围内开放特定目录。Sitemap 用于告诉爬虫站点地图地址，方便发现页面。

常见写法示例

• User-agent: *
• Disallow: /admin/
• Disallow: /search/
• Allow: /public/
• Sitemap: https://www.example.com/sitemap.xml

上面的写法表示允许所有爬虫访问，但禁止抓取 /admin/ 与 /search/，同时允许 /public/，并提交站点地图。实际使用中应根据站点结构灵活调整。

robotstxt 与 SEO 的关系

robotstxt 本身不是排名因素，但它会直接影响爬虫对页面的抓取。若错误地屏蔽了重要栏目，可能导致页面无法被收录；若开放了后台、购物车、筛选参数等低质页面，则可能浪费抓取预算。因此，建议定期检查 robots.txt，确保规则与网站当前结构一致。

注意事项

1. robots.txt 应放在网站根目录，文件名必须为小写 robots.txt。
2. 它只是协议，不能阻止恶意采集，敏感内容应使用登录或权限控制。
3. 不要用 Disallow 屏蔽 CSS、JS 等渲染资源，以免影响搜索引擎理解页面。
4. 修改后可通过百度搜索资源平台或 Google Search Console 的 robots 测试工具验证。

总结来说，robotstxt 是站点与爬虫沟通的重要文件。合理配置它可以引导爬虫高效抓取，保护无关页面，提升 SEO 效果；配置不当则可能造成收录问题。上线前检查、改版后更新，是维护 robotstxt 的良好习惯。