写错一个斜杠，可能整站被拒。看着是小事，踩一次坑往往要花掉半天，提前把判断依据弄清楚最省时间。

下面按“先判断范围、再处理、最后防复发”的顺序展开，涉及 robots、爬虫 的关键动作都给了具体做法，可以照着走。

基础

User-agent 与 Disallow 配对。

拿不准的时候先做备份再做变更，成本最低。

开放

Disallow 留空表示全部允许。

容易踩的坑：常见的坑是只处理表象：症状消失就收工，根因还在，过几天又复发。

限制

屏蔽后台与搜索结果页。

同一时间只改一项，改完立刻验证，出问题也好定位。

注意

不要屏蔽 CSS 与 JS。

速查表

常见问题

Q：robots这类问题，最快的判断办法是什么？
先确认现象的范围：只有单台还是全部、只在某个时段还是持续。范围一缩小，原因基本就浮出来了。

Q：按文中的步骤做完，还需要注意什么？
把处理过程和最终生效的参数记下来。同类问题再出现时直接对照记录，比重查一遍快得多。

小结

回到这篇的四个环节：基础、开放、限制、注意。把这几步走完，绝大多数同类问题都能自己解决；确实卡住的，把日志时间点和报错原文一起提交工单会快很多。

相关阅读：站点地图 sitemap 怎么生成、百度站长平台怎么提交、网站统计代码怎么装。