Linux 文本处理三剑客:grep、sed、awk 的日常用法
【摘要】 在 Linux 服务器上工作,日志、配置、输出文本几乎无处不在。grep、sed、awk 被称为文本处理三剑客:grep 负责找,sed 负责改,awk 负责算。三者分工不同,组合起来能解决日常大部分文本处理需求。 一、grep:先把目标找出来grep 按模式搜索文本行。最常用的三个选项是 -i 忽略大小写、-n 显示行号、-r 递归目录。grep -rn "ERROR" /var/log/...
在 Linux 服务器上工作,日志、配置、输出文本几乎无处不在。grep、sed、awk 被称为文本处理三剑客:grep 负责找,sed 负责改,awk 负责算。三者分工不同,组合起来能解决日常大部分文本处理需求。
一、grep:先把目标找出来
grep 按模式搜索文本行。最常用的三个选项是 -i 忽略大小写、-n 显示行号、-r 递归目录。
grep -rn "ERROR" /var/log/app/
grep -i "timeout" access.log | head -20
grep -v "^#" nginx.conf
^ 匹配行首,$ 匹配行尾,. 匹配任意单个字符。想排除注释和空行,可以组合使用:
grep -v "^#" /etc/ssh/sshd_config | grep -v "^$"
查进程、查端口时也常和管道配合:
ps aux | grep -v grep | grep nginx
二、sed:按行做替换和删除
sed 是流编辑器,最常用的是替换 s/旧/新/ 和按行删除。加 -i 直接改文件,操作前建议先备份。
sed -i.bak 's/8080/9090/' app.conf
sed -n '10,20p' error.log
sed '/^$/d' data.txt
默认只替换每行第一个匹配,加上 g 替换整行全部:
sed 's/localhost/127.0.0.1/g' hosts.txt
sed -n '10,20p' 只打印第 10 到 20 行,排查日志时比翻整文件快得多。
三、awk:按列算账
awk 按列处理文本,默认以空白分隔,$1、$2 是第几列,$0 是整行,NF 是列数。统计接口访问量、汇总磁盘占用都很方便:
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head
awk '{sum+=$5} END {print sum}' data.txt
df -h | awk '$5+0 > 80 {print $0}'
$5+0 的小技巧是把 “80%” 这样的字符串转成数字再比较。awk 还能做简单的分组统计:
awk '{count[$1]++} END {for (k in count) print k, count[k]}' access.log
四、三剑客怎么配合
日常排查通常是一条管道走到底:grep 缩小范围,awk 取列统计,sed 做最后的格式整理。
grep " 500 " access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -10
这条命令先找出状态码 500 的请求,再按 URL 分组计数,排在前面的就是最常出错的接口。
五、几个容易踩的坑
grep默认是基本正则,+、?、|需要转义或改用grep -E。sed -i在 macOS 和 Linux 上参数写法不同,写脚本时注意兼容。awk的字段分隔符默认是空白,处理 CSV 时要加-F','。- 管道前先确认数据量:先在小文件上验证命令,再对生产日志动手;改文件前先备份。
grep 找得到,sed 改得了,awk 算得清。把这三把剑用熟,日常的日志排查、配置修改和数据统计,大多一条命令就能完成。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)