Python 日志分析入门:30 行代码写一个日志统计小工具

举报
yd_257782158 发表于 2026/11/09 11:15:45 2026/11/09
【摘要】 为什么要自己写日志分析工具线上服务一出问题,第一件事往往是翻日志。几百兆的 access.log 靠肉眼翻不现实,用 grep 拼命令又容易漏。Python 自带的标准库就能写一个够用的日志统计工具:不用装第三方依赖,几十行代码,跑在笔记本上就能用。 先看日志长什么样以常见的 Nginx 访问日志为例:192.168.1.10 - - [09/Nov/2026:10:12:03 +0800...

为什么要自己写日志分析工具

线上服务一出问题,第一件事往往是翻日志。几百兆的 access.log 靠肉眼翻不现实,用 grep 拼命令又容易漏。Python 自带的标准库就能写一个够用的日志统计工具:不用装第三方依赖,几十行代码,跑在笔记本上就能用。

先看日志长什么样

以常见的 Nginx 访问日志为例:

192.168.1.10 - - [09/Nov/2026:10:12:03 +0800] "GET /api/user HTTP/1.1" 200 512

一行里藏着四个关键信息:访问者 IP、请求时间、请求路径和状态码。我们的目标就是把它们拆出来再汇总。

核心思路:逐行读 + 正则拆 + 计数器汇总

完整代码不到 30 行,核心只有三步:

import re
from collections import Counter

LOG_RE = re.compile(r'(?P<ip>\S+) .*?"(?P<method>\w+) (?P<path>\S+) .*?" (?P<status>\d{3})')

def analyze(path):
    status_count = Counter()
    path_count = Counter()
    with open(path, encoding='utf-8', errors='ignore') as f:
        for line in f:
            m = LOG_RE.search(line)
            if not m:
                continue
            status_count[m.group('status')] += 1
            path_count[m.group('path').split('?')[0]] += 1
    return status_count, path_count

status, paths = analyze('access.log')
print('状态码分布:', status.most_common(5))
print('最热接口 Top5:', paths.most_common(5))

三个细节值得留意:一是逐行读取而不是一次性 read(),大文件也不会爆内存;二是 errors='ignore',遇到个别脏字符直接跳过,不让整次分析崩掉;三是统计前先把 URL 的查询参数去掉,否则 /api/user?id=1 和 ?id=2 会被当成两个接口。

从结果里能看出什么

跑完之后重点看三类数字:

  • 状态码分布:200 占比突然下降、5xx 抬头,往往是后端故障的第一信号;
  • 最热接口 Top5:结合耗时看,哪个接口最值得做缓存一目了然;
  • 单个 IP 的请求数:某个 IP 的量是平均值的几十倍,就要怀疑是不是爬虫在刷接口。

三个新手常踩的坑

第一,正则写得太贪心。.* 一时爽,遇到超长行会拖慢整个解析,可以先用 split() 粗切,再对关键字段用正则校验。第二,忽略时区,日志里的时间是 +0800,做跨天统计前先统一转成本地时间。第三,只看总量不看趋势,把每小时的请求数画成折线,毛刺和拐点才看得出来。

还能往哪扩展

这个小工具是很好的起点:加上 argparse 支持传文件路径和日期过滤;把结果输出成 CSV,就能导入表格做透视;再进一步,定时跑一次并把异常比例推送到群里,就是一个最简陋也最实用的日志巡检。

对初学者来说,日志分析是个很好的练手项目:输入输出都真实,数据规模可大可小,写完马上能在工作中用上。先跑通 30 行,再慢慢加功能,就是最好的学习路径。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。