从日志特征识别采集行为,给出限频、指纹与内容层三层递进的处理办法。下面按“先判断、再动手、最后验证”的顺序展开,每一步都给出可核对的检查点。
涉及 恶意采集、爬虫拦截、反爬 的关键动作都写成了具体命令或配置项,可以照着走,也可以当检查表用。
识别特征
单 IP 高频访问详情页却不加载 css/js、UA 为空或伪装成老版本浏览器、访问间隔精确到毫秒。
第一层限频
按 IP 与 UA 双维度限频,详情页 30 次/分钟足够正常用户;注意给搜索引擎单独放行。
第二层指纹
校验收 Referer、Cookie 与 TLS 指纹,静态资源不加载的直接挑战验证码,误伤率很低。
第三层内容层
对高频来源返回降级内容或延迟响应,比直接封禁更不容易被绕过。
长期策略
把命中规则写进日志并每周复盘,采集方换 IP 很快,只有规则跟得上才有意义。
速查表
| 环节 | 关键动作 |
|---|---|
| 识别特征 | 单 IP 高频访问详情页却不加载 css/js、UA 为空或伪装成老版本浏览器、访问间隔精确到毫秒 |
| 第一层限频 | 按 IP 与 UA 双维度限频,详情页 30 次/分钟足够正常用户;注意给搜索引擎单独放行 |
| 第二层指纹 | 校验收 Referer、Cookie 与 TLS 指纹,静态资源不加载的直接挑战验证码,误伤率很低 |
| 第三层内容层 | 对高频来源返回降级内容或延迟响应,比直接封禁更不容易被绕过 |
常见问题
Q:按文中写法改完,怎么确认真的生效?
不要只看配置文件,用对应的验证命令或从外部视角复测一次;改完先小流量观察一段,再全量推进,出问题能马上回退。
Q:按文中的步骤做完,还需要注意什么?
把处理过程和最终生效的参数记下来。同类问题再出现时直接对照记录,比重查一遍快得多。
Q:业务规模小,也要按这套标准来吗?
不需要一次到位。先把影响最大的两项做到位,剩余的随着业务增长逐步补齐,比一开始就追求完美更容易落地。
小结
回到这篇的 5 个环节:识别特征、第一层限频、第二层指纹、第三层内容层、长期策略。把这几个动作写进检查表,下次遇到同类问题按顺序过一遍,比凭经验跳步骤稳。
相关阅读:WAF怎么选:云WAF、软WAF与高防的边界、SSH被爆破怎么办:日志特征与封禁策略、端口暴露面收敛:从nmap扫描到防火墙。
延伸阅读:WAF怎么选:云WAF、软WAF与高防的边界、IP黑名单怎么建:从日志到规则的闭环、服务器被CC攻击怎么办:识别、拦截与复盘。