Nginx日志分析与正则统计
讲清日志格式定制、常用统计口径与正则写法,让日志变成可查的数据。下面按“先判断、再动手、最后验证”的顺序展开,每一步都给出可核对的检查点。
涉及 nginx日志、日志正则、访问统计 的关键动作都写成了具体命令或配置项,可以照着走,也可以当检查表用。
格式定制
把响应时间与上游耗时加进 log_format,排障价值远高于默认格式。
常用统计
按状态码、按 URI、按 IP 聚合,awk 与 sort 加 uniq -c 组合就能出日报。
正则要点
先精确匹配路径再匹配参数,贪婪匹配会吃掉后半段,用非贪婪或限定字符集。
蜘蛛识别
按 UA 与验证过的 IP 段双重判断,伪造 UA 的流量单独归类。
留存
按天切割加压缩,保留 30–90 天,分析脚本做成定时任务。
速查表
| 环节 | 关键动作 |
|---|---|
| 格式定制 | 把响应时间与上游耗时加进 log_format,排障价值远高于默认格式 |
| 常用统计 | 按状态码、按 URI、按 IP 聚合,awk 与 sort 加 uniq -c 组合就能出日报 |
| 正则要点 | 先精确匹配路径再匹配参数,贪婪匹配会吃掉后半段,用非贪婪或限定字符集 |
| 蜘蛛识别 | 按 UA 与验证过的 IP 段双重判断,伪造 UA 的流量单独归类 |
常见问题
Q:按文中写法改完,怎么确认真的生效?
不要只看配置文件,用对应的验证命令或从外部视角复测一次;改完先小流量观察一段,再全量推进,出问题能马上回退。
Q:按文中的步骤做完,还需要注意什么?
把处理过程和最终生效的参数记下来。同类问题再出现时直接对照记录,比重查一遍快得多。
Q:业务规模小,也要按这套标准来吗?
不需要一次到位。先把影响最大的两项做到位,剩余的随着业务增长逐步补齐,比一开始就追求完美更容易落地。
小结
回到这篇的 5 个环节:格式定制、常用统计、正则要点、蜘蛛识别、留存。把这几个动作写进检查表,下次遇到同类问题按顺序过一遍,比凭经验跳步骤稳。
相关阅读:rsync异地备份:脚本与增量同步、内核参数调优:文件句柄与网络队列、文件权限与属主:chmod踩坑与修复。
延伸阅读:Nginx的502与504排查路径、日志切割与清理:logrotate实战、grep与awk:日志查错的实用组合。