Скачиваем сайты целиком — утилита wget на всех Linux

date_range 9 Июнь 2019 visibility31
add_alert Во всех дистрибутивах Linux можно скачать сайт целиком
create Называется утилита wget - она изначально встроена в каждый дистрибутив Linux- Ubuntu, Kubuntu, elementaryOS, Linux Mint, Arch Linux... В винде такого нет, может будет как нибудь) - но ее можно установить для всех версий Windows отдельно
hdr_strong Меньше слов, больше действий!

wget — это утилита, которая предназначена для загрузки файлов по сети (из интернета). Я расскажу, как использовать wget, чтобы скачивать сайты из интернета целиком и затем просматривать их в автономном режиме.

С помощью wget можно скачивать сайты, включая картинки, всего лишь указав адрес сайта и определенные параметры. wget будет автоматически переходить по ссылкам на сайте и скачивать страницу за страницей. Рассмотрим несколько примеров от простых к более сложным использования wget для скачивания сайтов.

Чтобы скачать сайт целиком с помощью wget нужно в терминале выполнить команду:

wget -r -k -l 7 -p -E -nc http://ru7lan.ru

После выполнения данной команды в домашнюю директорию будет загружена локальная копия сайта http://ru7lan.ru. Чтобы открыть главную страницу сайта нужно открыть файл index.html.

Рассмотрим используемые параметры:
  1. -r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.
  2. -k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).
  3. -p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).
  4. -l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l.
  5. -E — добавлять к загруженным файлам расширение .html.
  6. -nc — при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз

Мы рассмотрели лишь одно из возможных применений утилиты wget. На самом деле область применения wget значительно шире и wget обладает большим числом дополнительных параметров. За более подробной информацией обращайтесь к руководству, выполнив в командной строке: man wget.

beenhere Решено- осталиь вопросы ?
Хостинг сайта
Хостинг от Макхост