Wget - программное обеспечение для загрузки файлов по сети

Wget - текстовая программа для скачивания файлов. Если чуть подробнее - свободное программное обеспечение для загрузки файлов по сети. Поддерживает протоколы HTTP, FTP и HTTPS, а также поддерживает работу через HTTP прокси-сервер. 

Wget является не-интерактивной консольной программой. Это означает, что после её запуска пользователь не может повлиять на её работу, кроме как повлиять на выполнение программы посредством сигнала (утилита kill) или нажатием на клавиатуре Ctrl-C в терминале.

Wget позволяет загружать любые файлы в том числе и (X)HTML-страницы по протоколам http и https, а также файлы и списки директорий по протоколу ftp.

Файлы можно скачивать рекурсивно по ссылкам в html страницах, как с одного сайта с определённой глубиной следования по ссылкам, так и с нескольких. Помимо этого, при загрузке по ftp файлы можно скачивать «по маске» имени (то есть можно задавать с помощью «*» группу файлов).

Wget поддерживает докачку файла в случае обрыва соединения.

Wget -- это программа для "вытягивания" файлов из Internet при помощи протоколов HTTP или FTP.

Основные достоинства Wget:

• Wget -- неинтерактивная программа, что позволяет запускать ее в фоновом режиме или при помощи at.
• Wget может выкачивать файлы "рекурсивно", т.е. автоматически следовать по "ссылкам". Это позволяет, например, скачивать web-страницы вместе с имеющимися в них картинками, или выкачивать по FTP целые директории вместе с содержимым (включая поддиректории).
• Wget умеет "докачивать" файлы после обрыва соединений, что особо ценно при медленной или нестабильной связи 

Wget выдает список всех опций при вызове с ключом "--help", причем поскольку выдача довольно длинная, лучше пользоваться командой

wget --help | less

Для того, чтобы узнать все возможности Wget, следует заглянуть в info-документацию по нему.

Использование

Поскольку у wget есть огромное количество ключей, модифицирующих его поведение, мы рассмотрим на примерах несколько наиболее часто используемых случаев.

Скачивание при плохой связи

Для того, чтобы wget повторял попытки взять файл до тех пор, пока не скачает его целиком, надо указывать ключи "-c" и "-t 0". Первый означает "продолжать качать с того места, где соединение оборвалось" (continue), а второй позволяет указать число попыток, 0 -- бесконечно.

Например, чтобы скачать исходные тексты проигрывателя .mp3-файлов X11Amp, можно воспользоваться командой

wget -c -t 0 http://www.x11amp.bz.nu/files/x11amp-0.9-beta1.1.tar.gz

Реально ключи "-c -t 0" стоит указывать практически всегда, кроме как разве что в локальной сети.

Шаблоны

При перекачке по FTP можно в именах файлов указывать шаблоны (естественно, "закавычивая" их). Например, команда

wget ftp://rdist.inp.nsk.su/pub/Linux/redhat-5.2/updates/i386/XFree86*.rpm

скачает все обновления к системе XFree86.

Рекурсивное скачивание

Для рекурсивного скачивания используются ключи "-r", "-l" и "-np". Ключ "-r" (recursive) включает рекурсивность. Ключ "-l" (level) позволяет указать насколько "глубоко" программа должна следовать по ссылкам; 0 - бесконечно глубоко, по умолчанию - 5.

И, наконец, ключ "-np" (no parent) запрещает следовать ссылкам выше указанной директории.

При рекурсивном скачивании wget автоматически создает соответствующее дерево директорий.

К примеру, следующая команда могла бы использоваться для скачивания целого домашнего сайта (адрес вымышленный):

wget -r -l 0 -np http://www.ms.com/users/goofy/

При этом файлы будут помещаться в директорию ./www.h-hosts.com/users/goofy/.

Замечание
 Wget, будучи культурной программой, при рекуррентном скачивании использует "Протокол Web-роботов", и может пропускать часть файлов (запрещенных в файле robots.txt на сервере). Чтобы отключить эту особенность нужно воспользоваться ключом "-e robots=off". 

Лицензия:  GNU General Public License.

Сайт: http://www.gnu.org/software/wget/wget.html

Поддерживаемые платформы: Linux и другие семейства UNIX, а также Windows

Поделиться:

Оставьте свой комментарий!