讲清常用指令、容易写错的场景，以及 robots 管不了的事。下面按“先判断、再动手、最后验证”的顺序展开，每一步都给出可核对的检查点。

涉及 robots.txt、爬虫协议、屏蔽抓取 的关键动作都写成了具体命令或配置项，可以照着走，也可以当检查表用。

基本指令

User-agent 定对象，Disallow 定路径，Allow 放行例外；路径是前缀匹配，写错一位就是全站屏蔽。

必查三处

别屏蔽 CSS 与 JS，否则渲染抓取不完整。

• 别把 sitemap 屏蔽。
• 后台路径可屏蔽但不是安全措施。

参数页处理

搜索结果页、排序页、翻页过深用 Disallow 收敛，避免无限抓取。

robots 的边界

它只是声明，恶意爬虫不会遵守；真要挡要靠限频与 WAF。

验证

用搜索平台的 robots 测试工具检查，改完再看抓取统计确认生效。

速查表

常见问题

Q：按文中写法改完，怎么确认真的生效？
不要只看配置文件，用对应的验证命令或从外部视角复测一次；改完先小流量观察一段，再全量推进，出问题能马上回退。

Q：按文中的步骤做完，还需要注意什么？
把处理过程和最终生效的参数记下来。同类问题再出现时直接对照记录，比重查一遍快得多。

Q：业务规模小，也要按这套标准来吗？
不需要一次到位。先把影响最大的两项做到位，剩余的随着业务增长逐步补齐，比一开始就追求完美更容易落地。

小结

回到这篇的 5 个环节：基本指令、必查三处、参数页处理、robots 的边界、验证。把这几个动作写进检查表，下次遇到同类问题按顺序过一遍，比凭经验跳步骤稳。

相关阅读：网站防盗用：水印、右键与图片保护、网站日志分析：从访问日志看真实流量、落地页设计：从流量到转化的六个环节。

延伸阅读：sitemap与收录提交：让新页尽快被发现、404页面设计：别让用户进来就走、网站被降权怎么恢复：从掉收录到重新索引。