robots txt怎么写？从零开始掌握robots.txt编写方法与常见错误

📍 WDQWDWQD987AAAAA:216.73.217.179
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /af5c278e74d0.html
📄

robots txt怎么写是许多站长和SEO从业者必须掌握的基础技能。一个配置正确的robots.txt文件可以引导搜索引擎蜘蛛高效抓取，而错误的写法则可能导致页面被误屏蔽，直接影响收录和排名。本文将从语法、实例到常见错误，帮你彻底搞懂robots.txt的编写方法。

一、robots.txt的基本语法

robots.txt是一个纯文本文件，必须放在网站根目录下，文件名全小写。它由若干条记录组成，每条记录包含字段和值，字段名不区分大小写，但值通常区分大小写。

• User-agent：指定规则适用的搜索引擎蜘蛛，*代表所有蜘蛛。
• Disallow：禁止抓取的路径，留空表示允许所有。
• Allow：允许抓取的路径，通常与Disallow配合使用，优先级更高。
• Sitemap：声明网站地图地址，必须是完整URL。

二、robots.txt怎么写：实用示例

下面是一个最常用的通用写法，允许所有蜘蛛抓取全站，并指定站点地图：

User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xml

如果只想屏蔽后台目录和临时文件，可以这样写：

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /

针对特定蜘蛛设置不同规则也很常见，例如禁止百度蜘蛛抓取某个目录：

User-agent: Baiduspider
Disallow: /private/

三、编写robots.txt的注意事项

1. 路径必须使用英文斜杠/开头，且区分大小写。
2. Disallow: /表示屏蔽全站，发布前务必检查，避免误操作。
3. 不要用robots.txt屏蔽CSS、JS文件，否则会影响搜索引擎渲染页面。
4. 每条记录之间用空行分隔，同一User-agent的多条规则写在一起。
5. robots.txt只是协议，不能阻止恶意爬虫，敏感内容应使用密码保护。

四、常见错误与检查方法

很多新手会犯以下错误：把文件命名为Robots.txt（大写R）、放在子目录、使用通配符*但不被所有蜘蛛支持、或者忘记写Sitemap地址。编写完成后，可以通过搜索引擎的站长平台工具测试，或直接在浏览器访问你的域名/robots.txt确认可访问。定期检查robots.txt是否被误改，是保障网站SEO健康的重要习惯。