Linux 文本处理三剑客:grep、sed、awk 的日常用法

举报
yd_69240880 发表于 2026/11/15 06:09:51 2026/11/15
【摘要】 在 Linux 服务器上工作,日志、配置、输出文本几乎无处不在。grep、sed、awk 被称为文本处理三剑客:grep 负责找,sed 负责改,awk 负责算。三者分工不同,组合起来能解决日常大部分文本处理需求。 一、grep:先把目标找出来grep 按模式搜索文本行。最常用的三个选项是 -i 忽略大小写、-n 显示行号、-r 递归目录。grep -rn "ERROR" /var/log/...

在 Linux 服务器上工作,日志、配置、输出文本几乎无处不在。grep、sed、awk 被称为文本处理三剑客:grep 负责找,sed 负责改,awk 负责算。三者分工不同,组合起来能解决日常大部分文本处理需求。

一、grep:先把目标找出来

grep 按模式搜索文本行。最常用的三个选项是 -i 忽略大小写、-n 显示行号、-r 递归目录。

grep -rn "ERROR" /var/log/app/
grep -i "timeout" access.log | head -20
grep -v "^#" nginx.conf

^ 匹配行首,$ 匹配行尾,. 匹配任意单个字符。想排除注释和空行,可以组合使用:

grep -v "^#" /etc/ssh/sshd_config | grep -v "^$"

查进程、查端口时也常和管道配合:

ps aux | grep -v grep | grep nginx

二、sed:按行做替换和删除

sed 是流编辑器,最常用的是替换 s/旧/新/ 和按行删除。加 -i 直接改文件,操作前建议先备份。

sed -i.bak 's/8080/9090/' app.conf
sed -n '10,20p' error.log
sed '/^$/d' data.txt

默认只替换每行第一个匹配,加上 g 替换整行全部:

sed 's/localhost/127.0.0.1/g' hosts.txt

sed -n '10,20p' 只打印第 10 到 20 行,排查日志时比翻整文件快得多。

三、awk:按列算账

awk 按列处理文本,默认以空白分隔,$1、$2 是第几列,$0 是整行,NF 是列数。统计接口访问量、汇总磁盘占用都很方便:

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head
awk '{sum+=$5} END {print sum}' data.txt
df -h | awk '$5+0 > 80 {print $0}'

$5+0 的小技巧是把 “80%” 这样的字符串转成数字再比较。awk 还能做简单的分组统计:

awk '{count[$1]++} END {for (k in count) print k, count[k]}' access.log

四、三剑客怎么配合

日常排查通常是一条管道走到底:grep 缩小范围,awk 取列统计,sed 做最后的格式整理。

grep " 500 " access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -10

这条命令先找出状态码 500 的请求,再按 URL 分组计数,排在前面的就是最常出错的接口。

五、几个容易踩的坑

  1. grep 默认是基本正则,+、?、| 需要转义或改用 grep -E。
  2. sed -i 在 macOS 和 Linux 上参数写法不同,写脚本时注意兼容。
  3. awk 的字段分隔符默认是空白,处理 CSV 时要加 -F','。
  4. 管道前先确认数据量:先在小文件上验证命令,再对生产日志动手;改文件前先备份。

grep 找得到,sed 改得了,awk 算得清。把这三把剑用熟,日常的日志排查、配置修改和数据统计,大多一条命令就能完成。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。