文章标签 ‘uniq’

linux的uniq命令

2011年11月21日 没有评论

使用uniq命令可以过滤掉文本文件中重复的行以及统计等等功能,同时它也接受来着管道的输入。借助awk,甚至可以对行中的列进行操作,例如统计nginx日志信息中独立ip数、列出访问次数最多的ip等。需要注意的地方是uniq只对相连的行进行处理,所以一般情况下要先进行sort操作。

假设有名为test.txt文本文件,其信息为:

ab
ac
ab
ac
ac
ad
ac

执行命令

uniq test.txt

此时得到的结果为:

ab
ac
ab
ac
ad
ac

从结果可以看到,这里只对3,4行的ac进行过滤,这显然不是我们需要的结果,原因就是uniq只对相连的行进行运算了,现在先用sort排序,然后再执行uniq,例如:

sort test.txt | uniq

这时的结果为:

ab
ac
ad

可以看到再没有重复行了。

例如通过nginx日志统计独立ip的个数:

awk '{print $1}' /path-to-log-dir/access.log | sort | uniq | wc -l

查询访问最多的前10个ip

awk '{print $1}' /path-to-log-dir/access.log  | sort | uniq -c | sort -nr | head -10
分类: Linux 标签: ,

无觅相关文章插件,快速提升流量