Desvendando os segredos do Wget via terminal no GNU/Linux!

Desvendando os segredos do Wget via terminal no GNU/Linux!

Naturalmente o wget já é o mais rápido e eficiente que qualquer outro get desenvolvido para GUI (grafic user interface) para o seu GNU/Linux, e possui diversos atrativos para iniciar sua utilização. E por padrão é bem simples de ser executado em qualquer distribuição GNU/Linux.

A sintaxe básica é:
wget [opção] [URL]Exemplos:
wget http://ftp.gnu.org/pub/gnu/wget/wget-1.20.tar.gz
Neste exemplo, o download é exibido em barra de progresso, na tela do usuário.
wget www.google.com

Neste comando o download é continuado exatamente no ponto onde foi interrompido:

wget -c http://ftp.gnu.org/pub/gnu/wget/wget-1.20.tar.gz
Neste comando o download é executado em background e gerado um arquivo de status com o nome “wget.log”.
$ wget -b http://ftp.gnu.org/pub/gnu/wget/wget-1.20.tar.gz
Aqui o download é executado em background e gerado um arquivo de status com o nome “wget.log”.
wget -r http://exemplo.com.br/sistema/linux/fedora/
Aqui o download é recursivo, ou seja, toda a estrutura abaixo da árvore.
wget -r -nd http://exemplo.com.br/sistema/linux/fedora/extras/30/i386/
Não cria a hierarquia de diretórios quando é recebida recursivamente.
wget -rnd http://exemplo.com.br/sistema/linux/fedora/extras/30/i386/
O mesmo exemplo acima em outra sintaxe.
wget -nH –cut-dirs=1 ftp.xemacs.org/pub/xemacs
Veja no exemplo abaixo como funciona esta opção.
Na opção -> ftp.xemacs.org/pub/xemacs/
-nH -> pub/xemacs/
-nH –cut-dirs=1 -> xemacs/
-nH –cut-dirs=2 -> .
–cut-dirs=1 -> ftp.xemacs.org/xemacs/
Se houver necessidade de autenticação o wget tem suporte, podendo ser usado http e ftp, com a mesma sintaxe.
Podemos também associar comandos em shell script para termos um melhor resultado.
wget –http-user=brito –http-passwd=123456 http://10.0.0.1/privado/lista.pdf

Aqui pode-se definir como será o indicador da barra de progresso do download, pontos (dot) ou barra (bar).

wget –progress=dot http://exemplo.com.br/sistema/linux/fedora/extras/30/i386/
wget -c –progress=bar http://exemplo.com.br/sistema/linux/fedora/extras/30/i386/

Podemos também associar comandos em shell script para termos um melhor resultado.

cat /tmp/download |while read a; do wget -b $a; done

Esta forma gera-se vários arquivos wget.log com as informações dos downloads.

cat /tmp/download | xargs wget -b

Desta forma gera apenas 1 arquivos wget.log com as informações dos downloads.

wget http://exemplo.com.br/sistema/linux/fedora/extras/30/i386/
sed -n ‘s/^
wget -i lista -F -B http://exemplo.com.br/sistema/linux/fedora/extras/30/i386/

Também pode-se associar as funcionalidades do get com o bookmarks de teu firefox. Procure e coloque os arquivos a serem baixados no favorito em teu firefox e no nome do link coloque algo que facilite a busca.

Ex:

nome: pentaho;

location: http://ufpr.dl.sourceforge.net/sourceforge/pentaho/Pentaho_Artigo_Tecnico_1_6.pdf

nome: pentaho1;

location: http://ufpr.dl.sourceforge.net/sourceforge/ajax/Pentaho_Artigo_Tecnico_1_6.pdf

nome: pentaho2;

location: http://ufpr.dl.sourceforge.net/sourceforge/ajax/Pentaho_Artigo_Tecnico_1_6.pdf

Após gravados os links no favorito, execute:

grep -i pentaho ~/.mozilla/firefox/
.default/bookmarks.html > lista2
wget -i lista2 -F lista2

Referências:

http://www.gnu.org/software/wget/

http://www.gnu.org/software/wget/manual/wget.html

http://gnuwin32.sourceforge.net/packages/wget.htm

http://ftp.gnu.org/pub/gnu/wget/

http://www.vivaolinux.com.br/dicas/verDica.php?codigo=9159

http://www.vivaolinux.com.br/dicas/verDica.php?codigo=6918