robots协议是什么？robots.txt写法与SEO收录规则详解

📍 WDQWDWQD987AAAAA:216.73.217.127
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a3114609dc44.html
📄

robots 是搜索引擎爬虫访问网站时首先查看的协议文件，通常以 robots.txt 的形式放在网站根目录。它告诉爬虫哪些页面可以抓取、哪些目录应当避开，是网站与搜索引擎之间最基础的沟通方式。理解 robots 的作用，能帮助站长减少无效抓取，把爬虫预算留给真正重要的内容。

robots.txt 的基本写法

robots.txt 是纯文本文件，由若干条记录组成，每条记录以 User-agent 开始，后接 Allow 或 Disallow 规则。例如：

需要强调：robots 规则按最长匹配优先，Allow 与 Disallow 冲突时，更具体的路径规则生效。

robots 与 SEO 收录的关系

很多新手误以为在 robots.txt 中屏蔽页面就能阻止页面被收录，事实并非如此。robots 只限制抓取，不限制索引。如果其他站点链接了被屏蔽的 URL，搜索引擎仍可能将其收录，只是无法获取页面内容。因此，对于不希望出现在搜索结果中的页面，更稳妥的做法是使用 noindex 元标签，并确保该页面允许被抓取。

常见注意事项

  1. robots.txt 必须放在域名根目录，且文件名大小写敏感；
  2. 不要用 robots 屏蔽 CSS、JS 等渲染资源，否则会影响搜索引擎理解页面；
  3. 测试环境应整体屏蔽抓取，避免测试内容被索引；
  4. 修改 robots 后，可在搜索引擎站长平台更新缓存，加快生效速度。

合理使用 robots，是网站技术 SEO 的基础工作。它既能保护敏感目录，也能引导爬虫高效抓取，但必须与 noindex、站点地图等机制配合，才能达到理想的收录效果。

图1 图2
nginx