sort 与 uniq 入门:给文本排个序、去个重
日志文件、名单、成绩表……很多文本文件第一眼看起来乱糟糟的,其实只要排个序、去个重,马上就能看清规律。sort 和 uniq 就是 Linux 里专门干这两件事的小工具,经常和管道一起使用。学会它们,处理文本会省很多力气。
一、sort:先把顺序理清楚
sort 默认按字典顺序排序,一行一行比较字符。最简单的用法就是直接跟文件名:
sort names.txt
如果想反过来排,加上 -r;如果排的是数字,一定要加上 -n,否则 10 会排在 2 前面,因为字典顺序是先比较第一个字符:
sort -r names.txt
sort -n scores.txt
文本常常不止一列,比如每行是“姓名 分数”这样的两列数据。-k 可以指定按第几列排序。下面这条命令按第二列的数字从大到小排:
sort -k 2 -nr scores.txt
sort 本身也可以去重:-u 会在排序的同时去掉完全相同的行,适合只需要一份干净名单的场景。
二、uniq:去重之前先排序
uniq 的作用是去掉重复行,但它有一个容易踩的坑:它只去掉相邻的重复行。如果相同的行中间隔着别的行,uniq 是发现不了的。所以 uniq 几乎总是先经过 sort:
sort names.txt | uniq
加上 -c,还能顺便统计每一行出现了几次,结果前面会多一列次数:
sort names.txt | uniq -c
只想看重复出现过的行,用 -d;只想看只出现过一次的行,用 -u:
sort names.txt | uniq -d
sort names.txt | uniq -u
三、组合用法:找出出现次数最多的名字
把 sort 和 uniq 连起来,就能做简单的统计。先排序,再计数,最后再按次数从大到小排一次:
sort names.txt | uniq -c | sort -nr
这条命令分三步走:第一步 sort 把相同的名字排到一起,第二步 uniq -c 数出每个名字出现几次,第三步 sort -nr 按次数倒序。想只看前五名,再在后面接上 head 命令取前五行:
sort names.txt | uniq -c | sort -nr | head -5
同样的思路也能用在日志上:先把日志里的访问地址或错误信息抽出来,排序计数,就能快速看到最常出现的那几条。
四、容易踩的四个坑
第一,数字排序忘记加 -n,结果 10 排在 2 前面,还以为是文件错了。第二,uniq 之前没有先 sort,重复行没有挨在一起,去重就不彻底。第三,排序结果受大小写和空格影响,大写字母默认排在小写前面;需要忽略大小写时可以用 -f,需要忽略行首空格时可以用 -b。第四,sort 默认不会改动原文件,它只是把结果输出到屏幕上。想保存结果,要用重定向写到一个新文件里,检查无误后再决定是否替换原文件:
sort names.txt > sorted-names.txt
结尾
sort 管顺序,uniq 管重复,再加上管道,就组成了一套轻量又好用的文本分析方法。不用装软件,不用写脚本,几条命令就能把一堆乱糟糟的行变成一张清晰的清单。下次再遇到需要整理名单、统计次数、查看排名的场景,不妨先试试 sort 再 uniq -c,往往一眼就能看到答案。
- 点赞
- 收藏
- 关注作者
评论(0)