Como encontrar e apagar arquivos duplicados

Se você faz regularmente um backup de seus arquivos e acaba superlotando seu sistema com material repetido, aqui vai uma dica. Na verdade, são três dicas de programas para apagar arquivos duplicados. Eles são úteis e podem evitar que se apaguem arquivos importantes. Portanto, se você  está nesta situação, com várias cópias dos mesmos arquivos em diferentes diretórios de backup, é possível encontrar e excluir arquivos duplicados usando as ferramentas listadas abaixo em sistemas operacionais Linux. Neste post, saiba como encontrar e apagar arquivos duplicados.

Uma precaução:

Tenha cuidado ao excluir arquivos duplicados. Portanto, isso poderá levar à perda acidental de dados. Assim, fique atento ao usar estas ferramentas:

• Rdfind,
• Fdupes,
• FSlint.

Esses três utilitários são gratuitos, de código aberto e funcionam na maioria dos sistemas operacionais baseados em Linux.

1. Rdfind

Rdfind, significa descoberta de dados redundantes. É um utilitário de código aberto e gratuito para localizar arquivos duplicados e/ou dentro de diretórios e subdiretórios. Ele compara arquivos com base em seu conteúdo, não nos nomes.

Rdfind usa algoritmo de classificação para classificar arquivos originais e duplicados. Se você tiver dois ou mais arquivos idênticos, o Rdfind é inteligente o suficiente para localizar o arquivo original e considera o restante dos arquivos como duplicados. Depois de encontrar as duplicatas, você será informado. Você pode optar por removê-los ou substituí-los por links físicos ou simbólicos.

Instalando o Rdfind

Rdfind está disponível em  AUR . Portanto, você pode instalá-lo em sistemas baseados em Arch usando qualquer programa AUR auxiliar, como Yay, conforme mostrado abaixo.

$ yay -S rdfind

No Debian, Ubuntu, Linux Mint:

$ sudo apt-get install rdfind

No Fedora:

$ sudo dnf install rdfind

No RHEL, o CentOS:

$ sudo yum instala epel-release

$ sudo yum install rdfind

Use

Uma vez instalado, basta executar o comando Rdfind junto com o caminho do diretório para localizar os arquivos duplicados.

$ rdfind ~/Downloads

Como você pode ver na imagem acima, o comando Rdfind varrerá o diretório ~ /Downloads e salvará os resultados em um arquivo chamado results.txt no diretório de trabalho atual. Você pode ver o nome dos possíveis arquivos duplicados no arquivo results.txt.

$ cat results.txt 
# Automatically generated
# duptype id depth size device inode priority name
DUPTYPE_FIRST_OCCURRENCE 1469 8 9 2050 15864884 1 /home/sk/Downloads/tor-browser_en-US/Browser/TorBrowser/Tor/PluggableTransports/fte/tests/dfas/test5.regex
DUPTYPE_WITHIN_SAME_TREE -1469 8 9 2050 15864886 1 /home/sk/Downloads/tor-browser_en-US/Browser/TorBrowser/Tor/PluggableTransports/fte/tests/dfas/test6.regex
[...]
DUPTYPE_FIRST_OCCURRENCE 13 0 403635 2050 15740257 1 /home/sk/Downloads/Hyperledger(1).pdf
DUPTYPE_WITHIN_SAME_TREE -13 0 403635 2050 15741071 1 /home/sk/Downloads/Hyperledger.pdf
# end of file

Analisando o arquivo results.txt, você pode encontrar facilmente as duplicatas. Assim, é possível excluir as duplicatas manualmente, se desejar.

Além disso, você pode usar a opção -dryrun para encontrar todas as repetições em um determinado diretório sem alterar nada no Terminal:

$ rdfind -dryrun true ~/Downloads

Depois de encontrar as duplicatas, você pode substituí-las por links físicos ou simbólicos.

Para substituir todas as duplicatas por links físicos, execute:

$ rdfind -makehardlinks true ~/Downloads

Para substituir todos os duplicados por links simbólicos, execute:

$ rdfind -makesymlinks true ~/Downloads

Você pode ter alguns arquivos vazios em um diretório e você deseja ignorá-los. Nesse caso, use a opção –ignoreempty como abaixo.

$ rdfind -ignoreempty true ~/Downloads

Se você não deseja mais os arquivos antigos, simplesmente exclua os arquivos duplicados em vez de substituí-los.

Para eliminar todas as duplicações, basta executar:

$ rdfind -deleteduplicates true ~/Downloads

Se você não quiser ignorar os arquivos vazios e excluí-los junto com todas as repetições, execute:

$ rdfind -deleteduplicates true -ignoreempty false ~/Downloads

Para mais detalhes, veja a seção de ajuda:

$ rdfind --help

E as páginas do manual:

$ man rdfind

2. Fdupes

O Fdupes  é outro utilitário de linha de comando para identificar e remover arquivos duplicados em diretórios e subdiretórios específicos. É um utilitário gratuito de código aberto escrito em linguagem de programação C. Então, o Fdupes identifica duplicações comparando tamanhos de arquivos, assinaturas MD5 parciais, assinaturas MD5 completas e, finalmente, executando uma comparação byte a byte para verificação.

Semelhante ao utilitário Rdfind, o Fdupes vem com muitas opções para executar operações, como:

• encontrar arquivos duplicados em diretórios e subdiretórios;
• excluir arquivos vazios e arquivos ocultos;
• mostrar tamanho dos arquivos duplos;
• remover arquivos duplicados  com diferentes grupos/proprietários;
• remover imediatamente os aquivos encontrados.

Instalação do Fdupes

O Fdupes está disponível nos repositórios padrão da maioria das distribuições Linux.

No Arch Linux e suas variantes, como Antergos, Manjaro Linux, instale-o usando o Pacman como mostrado abaixo.

$ sudo pacman -S fdupes

No Debian, Ubuntu, Linux Mint:

$ sudo apt-get install fdupes

No Fedora:

$ sudo dnf install fdupes

No RHEL, o CentOS:

$ sudo yum install epel-release

$ sudo yum install fdupes

Use

O uso de Fdupes é bem simples. Basta executar o seguinte comando para encontrar os arquivos duplicados em um diretório, por exemplo ~ /Downloads.