sort 与 uniq 入门:给文本排个序、去个重

举报
yd_250779715 发表于 2026/11/12 06:10:25 2026/11/12
【摘要】 日志文件、名单、成绩表……很多文本文件第一眼看起来乱糟糟的,其实只要排个序、去个重,马上就能看清规律。sort 和 uniq 就是 Linux 里专门干这两件事的小工具,经常和管道一起使用。学会它们,处理文本会省很多力气。 一、sort:先把顺序理清楚sort 默认按字典顺序排序,一行一行比较字符。最简单的用法就是直接跟文件名:sort names.txt如果想反过来排,加上 -r;如果排的...

日志文件、名单、成绩表……很多文本文件第一眼看起来乱糟糟的,其实只要排个序、去个重,马上就能看清规律。sort 和 uniq 就是 Linux 里专门干这两件事的小工具,经常和管道一起使用。学会它们,处理文本会省很多力气。

一、sort:先把顺序理清楚

sort 默认按字典顺序排序,一行一行比较字符。最简单的用法就是直接跟文件名:

sort names.txt

如果想反过来排,加上 -r;如果排的是数字,一定要加上 -n,否则 10 会排在 2 前面,因为字典顺序是先比较第一个字符:

sort -r names.txt
sort -n scores.txt

文本常常不止一列,比如每行是“姓名 分数”这样的两列数据。-k 可以指定按第几列排序。下面这条命令按第二列的数字从大到小排:

sort -k 2 -nr scores.txt

sort 本身也可以去重:-u 会在排序的同时去掉完全相同的行,适合只需要一份干净名单的场景。

二、uniq:去重之前先排序

uniq 的作用是去掉重复行,但它有一个容易踩的坑:它只去掉相邻的重复行。如果相同的行中间隔着别的行,uniq 是发现不了的。所以 uniq 几乎总是先经过 sort:

sort names.txt | uniq

加上 -c,还能顺便统计每一行出现了几次,结果前面会多一列次数:

sort names.txt | uniq -c

只想看重复出现过的行,用 -d;只想看只出现过一次的行,用 -u:

sort names.txt | uniq -d
sort names.txt | uniq -u

三、组合用法:找出出现次数最多的名字

把 sort 和 uniq 连起来,就能做简单的统计。先排序,再计数,最后再按次数从大到小排一次:

sort names.txt | uniq -c | sort -nr

这条命令分三步走:第一步 sort 把相同的名字排到一起,第二步 uniq -c 数出每个名字出现几次,第三步 sort -nr 按次数倒序。想只看前五名,再在后面接上 head 命令取前五行:

sort names.txt | uniq -c | sort -nr | head -5

同样的思路也能用在日志上:先把日志里的访问地址或错误信息抽出来,排序计数,就能快速看到最常出现的那几条。

四、容易踩的四个坑

第一,数字排序忘记加 -n,结果 10 排在 2 前面,还以为是文件错了。第二,uniq 之前没有先 sort,重复行没有挨在一起,去重就不彻底。第三,排序结果受大小写和空格影响,大写字母默认排在小写前面;需要忽略大小写时可以用 -f,需要忽略行首空格时可以用 -b。第四,sort 默认不会改动原文件,它只是把结果输出到屏幕上。想保存结果,要用重定向写到一个新文件里,检查无误后再决定是否替换原文件:

sort names.txt > sorted-names.txt

结尾

sort 管顺序,uniq 管重复,再加上管道,就组成了一套轻量又好用的文本分析方法。不用装软件,不用写脚本,几条命令就能把一堆乱糟糟的行变成一张清晰的清单。下次再遇到需要整理名单、统计次数、查看排名的场景,不妨先试试 sort 再 uniq -c,往往一眼就能看到答案。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。