Python 日志分析入门:30 行代码写一个日志统计小工具
为什么要自己写日志分析工具
线上服务一出问题,第一件事往往是翻日志。几百兆的 access.log 靠肉眼翻不现实,用 grep 拼命令又容易漏。Python 自带的标准库就能写一个够用的日志统计工具:不用装第三方依赖,几十行代码,跑在笔记本上就能用。
先看日志长什么样
以常见的 Nginx 访问日志为例:
192.168.1.10 - - [09/Nov/2026:10:12:03 +0800] "GET /api/user HTTP/1.1" 200 512
一行里藏着四个关键信息:访问者 IP、请求时间、请求路径和状态码。我们的目标就是把它们拆出来再汇总。
核心思路:逐行读 + 正则拆 + 计数器汇总
完整代码不到 30 行,核心只有三步:
import re
from collections import Counter
LOG_RE = re.compile(r'(?P<ip>\S+) .*?"(?P<method>\w+) (?P<path>\S+) .*?" (?P<status>\d{3})')
def analyze(path):
status_count = Counter()
path_count = Counter()
with open(path, encoding='utf-8', errors='ignore') as f:
for line in f:
m = LOG_RE.search(line)
if not m:
continue
status_count[m.group('status')] += 1
path_count[m.group('path').split('?')[0]] += 1
return status_count, path_count
status, paths = analyze('access.log')
print('状态码分布:', status.most_common(5))
print('最热接口 Top5:', paths.most_common(5))
三个细节值得留意:一是逐行读取而不是一次性 read(),大文件也不会爆内存;二是 errors='ignore',遇到个别脏字符直接跳过,不让整次分析崩掉;三是统计前先把 URL 的查询参数去掉,否则 /api/user?id=1 和 ?id=2 会被当成两个接口。
从结果里能看出什么
跑完之后重点看三类数字:
- 状态码分布:
200占比突然下降、5xx抬头,往往是后端故障的第一信号; - 最热接口 Top5:结合耗时看,哪个接口最值得做缓存一目了然;
- 单个 IP 的请求数:某个 IP 的量是平均值的几十倍,就要怀疑是不是爬虫在刷接口。
三个新手常踩的坑
第一,正则写得太贪心。.* 一时爽,遇到超长行会拖慢整个解析,可以先用 split() 粗切,再对关键字段用正则校验。第二,忽略时区,日志里的时间是 +0800,做跨天统计前先统一转成本地时间。第三,只看总量不看趋势,把每小时的请求数画成折线,毛刺和拐点才看得出来。
还能往哪扩展
这个小工具是很好的起点:加上 argparse 支持传文件路径和日期过滤;把结果输出成 CSV,就能导入表格做透视;再进一步,定时跑一次并把异常比例推送到群里,就是一个最简陋也最实用的日志巡检。
对初学者来说,日志分析是个很好的练手项目:输入输出都真实,数据规模可大可小,写完马上能在工作中用上。先跑通 30 行,再慢慢加功能,就是最好的学习路径。
- 点赞
- 收藏
- 关注作者
评论(0)