使用 Linux 查找重复文件
要领一：使用Find下令
本部分算是对find强盛功效的扩展使用要领说明 。在find的基础上，我们可与（如xargs下令）等其它基本Linux下令相团结，即能创立出无限的下令行功效，好比：可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表 。要实现这个功效在流程上是较量简朴的，只要查找遍历出所有文件，再通过下令去较量每个文件的MD5就OK啦 。
听起来似乎较量笼统，着实下令就一条：
find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate
登录后复制
find -not -empty -type f -printf “%sn” 体现使用find下令搜索出所有非空文件，再打印出他们的巨细
sort -rn 下令不必多说了把，这条下令就噬洗文件巨细举行反向排序
uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 体现只打印了重复的行，这里使用代表打印出文件名相同的文件
uniq -w32 –all-repeated=separate 最后这里体现对MD5的前32个字节举行比照，以筛选出重复文件 使用下令行的整个历程就是这么简朴和容易 。
要领二：使用dupeGuru工具
DupeGuru是一个跨平台应用，有Linux、Windows和Mac OS X版本，它可以通过文件巨细、MD5和文件名等多种标准来资助用户找出Linux中的重复文件 。Ubuntu用户可以直接通过添加如下PPA源来方法来举行装置：
sudo add-apt-repository ppa:hsoft/ppasudo apt-get updatesudo apt-get install dupeguru*
登录后复制
要领三：使用Find下令剖析
在事情生涯当中，我们很可能会遇到查找重复文件的问题 。好比从某游戏提取的游戏文本有重复的，我们希望找出所有重复的文本，让翻译只翻译其中一份，而其他的直接替换 。那么这个问题该怎么做呢？虽然要领多种多样，并且无论那种要领应该都不会太难，但笔者第一次遇到这个问题的时间第一反应是是用Linux的Shell剧本，以是文本先容这种方法 。
先上代码：
find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36-
登录后复制
各人先cd到自己想要查找重复文件的文件夹，然后copy上面代码就可以了，系统会对目今文件夹及子文件夹内的所有文件举行查重 。
下面剖析一下上面的下令 。
首先看第一句：
find -not -empty -type f -printf "%sn"
登录后复制
find是查找下令；-not -empty是要寻找非空文件；-type f是指寻找通例文件；-printf “%sn”较量具有疑惑性，这里的%s并非C语言中的输出字符串，它现实体现的是文件的巨细，单位为bytes（不懂就man，man一下find，就可以看到了），n是换行符 。以是这句话的意思是输出所有非空文件的巨细 。
搜索公众号GitHub猿后台回复“UML”，获取一份惊喜礼包 。
通过管道，上面的效果被传到第二句：
sort -rn
登录后复制
sort是排序，-n是指按巨细排序，-r是指从大到小排序（逆序reverse） 。
第三句：
uniq -d
登录后复制
uniq是把重复的只输出一次，而-d指只输出重复的部分（如9泛起了5次，那么就输出1个9，而2只泛起了1次，并非重复泛起的数字，故不输出） 。
第四句：
xargs -I{} -n1 find -type f -size {}c -print0
登录后复制
这一部分分两部分看，第一部分是xargs -I{} -n1，xargs下令将之前的效果转化为参数，供后面的find挪用，其中-I{}是指把参数写成{}，而-n1是指将之前的效果一个一个输入给下一个下令（-n8就是8个8个输入给下一句，不写-n就是把之前的效果一股脑的给下一句） 。后半部分是find -type f -size {}c -print0，find指令我们前面见过，-size{}是指找出巨细为{}bytes的文件，而-print0则是为了避免文件名里带空格而写的参数 。
第五句：
xargs -0 md5sum
登录后复制
xargs我们之前说过，是将前面的效果转化为输入，那么这个-0又是什么意思？man一下xargs，我们看到-0体现读取参数的时间以null为脱离符读取，这也不难明确，事实null的二进制体现就是00 。后面的md5sum是指盘算输入的md5值 。
第六句：sort是排序，这个我们前面也见过 。
第七句：
uniq -w32 --all-repeated=separate
登录后复制
uniq -w32是指寻找前32个字符相同的行，缘故原由在于md5值一定是32位的，此后面的–all-repeated=separate是指将重复的部分放在一类，分类输出 。
第八句：
cut -b 36-
登录后复制
由于尊龙凯时效果带着md5值，不是很悦目，以是我们截取md5值后面的部分，cut是文本处置惩罚函数，这里-b 36-是指只要每行36个字符之后的部分 。
我们将上述每个下令用管道链接起来，存入result.txt：
find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36- >result.txt
登录后复制
虽然效果很悦目，可是有一个问题，这是在Linux下很悦目，现实上若是有朋侪把输出文件放到Windows上，就会发明换行全没了，这是由于Linux下的换行是n，而windows要求nr，为相识决这个问题，我们最后执行一条指令，将n转换为nr：
cat result.txt | cut -c 36- | tr -s 'n'
登录后复制
以上就是使用 Linux 查找重复文件的详细内容，更多请关注本网内其它相关文章！
