网络进行时

使用uniq命令可以过滤掉文本文件中重复的行以及统计等等功能，同时它也接受来着管道的输入。借助awk，甚至可以对行中的列进行操作，例如统计nginx日志信息中独立ip数、列出访问次数最多的ip等。需要注意的地方是uniq只对相连的行进行处理，所以一般情况下要先进行sort操作。

假设有名为test.txt文本文件，其信息为：

ab
ac
ab
ac
ac
ad
ac

执行命令

uniq test.txt

此时得到的结果为：

ab
ac
ab
ac
ad
ac

从结果可以看到，这里只对3,4行的ac进行过滤，这显然不是我们需要的结果，原因就是uniq只对相连的行进行运算了，现在先用sort排序，然后再执行uniq，例如：

sort test.txt | uniq

这时的结果为：

ab
ac
ad

可以看到再没有重复行了。

例如通过nginx日志统计独立ip的个数：

awk '{print $1}' /path-to-log-dir/access.log | sort | uniq | wc -l

查询访问最多的前10个ip

awk '{print $1}' /path-to-log-dir/access.log  | sort | uniq -c | sort -nr | head -10