讲清爬虫的合规边界与反爬的尺度，两边都别越线。下面按“先判断、再动手、最后验证”的顺序展开，每一步都给出可核对的检查点。

涉及 爬虫合规、反爬、数据合规 的关键动作都写成了具体命令或配置项，可以照着走，也可以当检查表用。

爬虫合规

遵守 robots、不破解鉴权、不抓取个人信息、控制频率不影响对方服务，这四条是红线。

个人信息的边界

公开可查不等于可以收集，姓名加手机号组合就是个人信息，落库前要评估。

反爬的尺度

限频、验证码、账号封禁都是正当手段；故意植入虚假数据陷阱可能涉及对方权益，慎用。

对等原则

你想抓别人时想想别人怎么抓你，这是最简单的合规测试。

留证习惯

自己的反爬策略与封禁记录留存，发生纠纷时这是主要证据。

速查表

常见问题

Q：按文中写法改完，怎么确认真的生效？
不要只看配置文件，用对应的验证命令或从外部视角复测一次；改完先小流量观察一段，再全量推进，出问题能马上回退。

Q：按文中的步骤做完，还需要注意什么？
把处理过程和最终生效的参数记下来。同类问题再出现时直接对照记录，比重查一遍快得多。

Q：业务规模小，也要按这套标准来吗？
不需要一次到位。先把影响最大的两项做到位，剩余的随着业务增长逐步补齐，比一开始就追求完美更容易落地。

小结

回到这篇的 5 个环节：爬虫合规、个人信息的边界、反爬的尺度、对等原则、留证习惯。把这几个动作写进检查表，下次遇到同类问题按顺序过一遍，比凭经验跳步骤稳。

相关阅读：权限定期审计：每季度做一次的检查、备份防勒索：3-2-1与不可变存储、企业防钓鱼：识别与演练。

延伸阅读：恶意采集怎么拦：识别特征与限频策略、出海合规：数据出境与基础要求、IP黑名单怎么建：从日志到规则的闭环。