Команда wget linux

Працюючи в консолі, нам досить часто доводиться взаємодіяти з мережею, наприклад завантажувати файли або цілі інтернет сторінки. Якщо інтернет сторінки ми завантажуємо досить рідко, то з файлами справа йде зовсім по іншому. Це можуть бути різні скрипти, установчі пакети, програми, ключі, списки пакетів і багато іншого. Завантажити файл в консолі Linux можна за допомогою утиліти wget. Її ми і розглянемо в цій статті.

Це дуже потужна утиліта, здатна працювати по протоколах HTTP, HTTPS і FTP. Крім того підтримується робота через проксі. Команда wget linux, може виконувати завантаження файлів навіть у фоновому режимі - без участі користувача, на відміну від більшості веб браузерів.

Крім скачування файлів, є можливість зберігати веб сторінки або навіть цілі веб-сайти, завдяки функції відкриття посилань на сторінках. Таку можливість ще називають рекурсивної завантаженням. Це все ми і розглянемо в сьогоднішній статті, але почнемо, як завжди, з синтаксису і основних опцій утиліти.

синтаксис Wget

Команда wget linux має дуже простий синтаксис:

Відео: Веселі та кумедні команди Linux

$ wget опції аддресс_ссилкі

Можна вказати не один URL для завантаження, а відразу декілька. Опції вказувати не обов`язково, але в більшості випадків вони використовуються для настройки параметрів завантаження.

Опції

Синтаксис опцій дуже вільний. У кожної опції, як правило є як довге, так і коротке ім`я. Їх можна записувати як до URL, так і після. Між опцією і її значенням не обов`язково ставити пробіл, наприклад ви можете написати -o log або -olog. Ці значення еквівалентні. Також якщо у опцій немає параметрів, не обов`язково починати кожну з дефіса, можна записати їх всі разом: -drc і -d -r -c. Ці параметри wget теж еквівалентні.

А тепер давайте перейдемо до списку опцій. У wget занадто багато опцій, ми розберемо тільки основні.

-V (--version) - вивести версію програми

-h (--help) - вивести довідку

-b (--background) - працювати у фоновому режимі

-o файл (--out-file) - вказати лог файл

-d (--debug) - включити режим налагодження

-v (--verbose) - виводити максимум інформації про роботу утиліти

-q (--quiet) - виводити мінімум інформації про роботу

-i файл (--input-file) - прочитати URL з файлу

--force-html - читати файл вказаний в попередньому параметрі як html

-t (--tries) - кількість спроб з`єднатися з сервером

-O файл (--output-document) - файл в який будуть збережені отримані дані

-з (--continue) - продовжити раніше перервану завантаження

-S (--server-response) - вивести відповідь сервера

--spider - перевірити працездатність URL

-T час (--timeout) - таймаут з`єднання з сервером

--limit-rate - обмежити швидкість завантаження

-w (--wait) - інтервал між запитами

-Q (--quota) - максимальний розмір завантаження

-4 (--inet4only) - використовувати протокол ipv4

-6 (--inet6only) - використовувати протокол ipv6

-U (--user-agent)- рядок USER AGENT відправляється сервера

-r (--recursive) - рекурсивна робота утиліти

-l (--level) - глибина при рекурсивном скануванні

-k (--convert-links) - конвертувати посилання в локальні при завантаженні сторінок

-P (--directory-prefix) - каталог, в який будуть завантажуватися файли

-m (--mirror) - скачати сайт на локальну машину

-p (--page-requisites) - під час завантаження сайту завантажувати всі необхідні ресурси

Скінчено це не все ключі wget, але тут і так занадто багато теорії, тепер давайте перейдемо до практики. Приклади wget набагато цікавіше.

Використання wget Linux

Команда wget linux, зазвичай поставляється за замовчуванням в більшості дистрибутивів, але якщо немає, її можна дуже просто встановити. Наприклад установка за допомогою yum буде виглядати наступним чином:

$ Sudo apt install wget

Тепер перейдемо безпосередньо до прикладів:

Відео: WGET Command in Linux

1. Завантаження файлу

Команда wget linux завантажить один файл і збереже його в поточній директорії. Під час завантаження ми побачимо прогрес, розмір файлу, дату його останньої зміни, а також швидкість завантаження:

$ Wget -O wget.zip https://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

3. Завантажити кілька файлів

Ви можете завантажити декілька файлів однією командою навіть по різних протоколах, просто вказавши їх URL:

$ Wget -i /wget/tmp.txt

5. Продовж

Утиліта wget linux розрахована на роботу в повільних і нестабільних мережах. Тому якщо ви завантажували великий файл, і під час завантаження було втрачено з`єднання, то ви можете завантажити файл wget за допомогою опції -c.

$ Wget -b -o ~ / wget.log https://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

7. Обмеження швидкості завантаження

Команда wget linux дозволяє не тільки продовжувати завантаження файлів, але і обмежувати швидкість завантаження. Для цього є опція --limit-rate. Наприклад обмежимо швидкість до 100 кілобіт:

$ Wget --http-user = narad --http-password = password https://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

або:

$ Wget -O - http: //сайт/скріпт.sh | bash

Якщо опції -O не передати аргументів, то скачаний файл буде виведений в стандартний висновок, потім ми його можемо перенаправити з інтерпретатор bash, як показано вище.

Відео: How to use wget command in linux

10. Зберегти файл у папці

За замовчуванням wget зберігає файл в поточну папку, але це поведінка дуже легко змінити за допомогою опції -P:

$ Wget --refer = http: //google.com --user-agent = "Mozilla / 5.0 Firefox / 4.0.1" //inuasparwil.ru

12. Кількість спроб завантаження

За замовчуванням wget намагається повторити завантаження 20 раз, перед тим як завершити роботу з помилкою. Кількість разів можна змінити за допомогою опції --tries:

$ Wget -Q10m -i download-list.txt

Тут працюють ті ж індекси для вказівки розміру - k, m, g, і т д.

14. Завантажити сайт

Wget дозволяє не тільки скачувати поодинокі файли, але і цілі сайти, щоб ви могли їх потім переглядати в офлайні. Використання wget, щоб завантажити сайт в linux виглядає ось так:

Поділися в соціальних мережах:

Схожі