讲清爬虫的合规边界与反爬的尺度，两边都别越线。下面按“先判断、再动手、最后验证”的顺序展开，每一步都给出可核对的检查点。
涉及 爬虫合规、反爬、数据合规 的关键动作都写成了具体命令或配置项，可以照着走，也可以当检查表用。
遵守 robots、不破解鉴权、不抓取个人信息、控制频率不影响对方服务，这四条是红线。
公开可查不等于可以收集，姓名加手机号组合就是个人信息，落库前要评估。
限频、验证码、账号封禁都是正当手段；故意植入虚假数据陷阱可能涉及对方权益，慎用。
你想抓别人时想想别人怎么抓你，这是最简单的合规测试。
自己的反爬策略与封禁记录留存，发生纠纷时这是主要证据。
| 环节 | 关键动作 |
|---|---|
| 爬虫合规 | 遵守 robots、不破解鉴权、不抓取个人信息、控制频率不影响对方服务，这四条是红线 |
| 个人信息的边界 | 公开可查不等于可以收集，姓名加手机号组合就是个人信息，落库前要评估 |
| 反爬的尺度 | 限频、验证码、账号封禁都是正当手段；故意植入虚假数据陷阱可能涉及对方权益，慎用 |
| 对等原则 | 你想抓别人时想想别人怎么抓你，这是最简单的合规测试 |
Q：按文中写法改完，怎么确认真的生效？
不要只看配置文件，用对应的验证命令或从外部视角复测一次；改完先小流量观察一段，再全量推进，出问题能马上回退。
Q：按文中的步骤做完，还需要注意什么？
把处理过程和最终生效的参数记下来。同类问题再出现时直接对照记录，比重查一遍快得多。
Q：业务规模小，也要按这套标准来吗？
不需要一次到位。先把影响最大的两项做到位，剩余的随着业务增长逐步补齐，比一开始就追求完美更容易落地。
回到这篇的 5 个环节：爬虫合规、个人信息的边界、反爬的尺度、对等原则、留证习惯。把这几个动作写进检查表，下次遇到同类问题按顺序过一遍，比凭经验跳步骤稳。
微信公众号
微信客服
