awk 入门:用一行命令读懂日志与表格
刚学 Linux 时,很多人先学会 grep 找行、sort 排个序,可真到了要看日志、算数字的时候,还是得把文件拷出来用表格软件慢慢处理。其实,Linux 自带一个专门干这活的工具 awk:它按行读文件,按列切分,再按你写的规则筛选、计算,一行命令就能把一堆杂乱的文本变成想要的结果。
awk 是怎么工作的
awk 的基本写法是:awk ‘条件 {动作}’ 文件名。它先把文件逐行读进来,每读一行,就按分隔符切成一列列字段。默认分隔符是空格和制表符,第一列记作 $1,第二列记作 $2,依此类推;$0 代表整行。NR 是当前行号,NF 是当前行的列数。条件成立时才执行花括号里的动作,不写条件就是对每一行都执行,print 负责输出。
先准备一个练习文件,存几行成绩数据:
cat > scores.txt << 'EOF'
张三 数学 92
李四 数学 78
王五 语文 85
张三 语文 88
李四 语文 81
EOF
姿势一:只取想要的列
只想看姓名和分数,不想看科目,用 print 指定列:
awk '{print $1, $3}' scores.txt
输出只有姓名和分数两列。想把姓名和科目调换位置也很简单,print $2, $1 就可以了。$0 则可以原样输出整行,常用来在筛选后保留完整记录。
姿势二:按条件筛出行
分数高于 85 分的有哪些人?在花括号前面加一个条件:
awk '$3 > 85' scores.txt
只有分数大于 85 的行会被输出。条件可以写相等、比较和组合,比如 $2 == “数学” 只取数学成绩,$2 == “数学” && $3 >= 80 再加一个分数下限。筛选写在前面,输出动作可以省略,默认就是打印整行。
姿势三:换分隔符读结构化文件
不是所有文件都用空格分列。/etc/passwd 用冒号分隔,CSV 用逗号分隔,这时用 -F 指定分隔符:
awk -F: '{print $1, $3}' /etc/passwd
awk -F, '{print $1, $2}' data.csv
第一条取出用户名和用户编号,第二条取出 CSV 的前两列。分隔符也可以是正则表达式,比如 -F’[ ,]+’ 同时按空格和逗号切分,写一次就能应付不太规整的分隔。
姿势四:求和、计数、算平均
awk 不只是取列和筛选,它还能在读完全部行之后做汇总。BEGIN 在读第一行之前执行,用来初始化变量;END 在读完最后一行之后执行,用来输出结果:
awk '{sum += $3; n++} END {print "总分:", sum, "人数:", n, "平均:", sum/n}' scores.txt
sum 累加每一行的分数,n 数行数,最后算出平均分。同样的写法可以统计日志里的请求总数、错误次数、传输字节总和,是日常巡检里很实用的套路。
姿势五:按值分组计数
想知道每个科目各有多少条记录,可以用关联数组按字段值分组计数:
awk '{count[$2]++} END {for (k in count) print k, count[k]}' scores.txt
count[$2] 以科目为下标累加,读完文件后遍历输出每个科目的条数。把 $2 换成访问日志里的状态码,就能立刻数出 200、404、500 各出现了多少次;换成 IP,就能找出访问最频繁的来源。
两个容易踩的坑
第一个坑是引号。awk 程序要用单引号包起来写在 shell 里,否则 $1、$3 会被 shell 当成自己的变量先展开,awk 收到的是空内容,什么都取不到。第二个坑是分隔符:文件里明明是制表符分隔,肉眼却看不出来,这时可以先用 cat -A 看一眼,确认分隔符再写 -F。
小结
awk 的学习路径可以记成一句话:先会取列,再会筛选,然后换分隔符,最后学 BEGIN 和 END 做汇总。这四个姿势覆盖了日志分析的大多数日常需求,比每次都写脚本或者拷到表格里处理快得多。今天可以拿自己的一个日志文件练一练:先用 print 取出关键列,再加一个条件筛出异常行,最后用 END 算一个总数。练上三次,awk 就从一个陌生的命令变成随手可用的工具了。
- 点赞
- 收藏
- 关注作者
评论(0)