Як користуватися curl

Нам часто доводиться завантажувати різні файли з інтернету, наприклад, виконувані файли програм, файли скриптів, архіви з вихідними кодами. Але не завжди це потрібно робити через браузер. У багатьох ситуаціях набагато простіше виконати всі дії через термінал. Оскільки таким чином ви можете автоматизувати процес. З іншого боку, веб-майстрам час від часу доводиться тестувати доступність веб-сайтів, перевіряти відправляються і одержуються заголовки і багато іншого.

Для вирішення таких завдань і завдань подібного кола можна скористатися утилітою curl. Вона дозволяє вирішити набагато більш широке коло завдань, серед яких навіть імітація дій користувача на сайті. У цій статті ми розглянемо як користуватися curl, що це таке і навіщо потрібна ця програма.

Що таке curl?

Насправді, curl - це більше ніж просто утиліта командного рядка для Linux або Windows. Це набір бібліотек, в яких реалізуються базові можливості роботи з URL сторінками і передачі файлів. Бібліотека підтримує роботу з протоколами: FTP, FTPS, HTTP, HTTPS, TFTP, SCP, SFTP, Telnet, DICT, LDAP, а також POP3, IMAP і SMTP. Вона відмінно підходить для імітації дій користувача на сторінках і інших операцій з URL адресами.

Підтримка бібліотеки curl була додана в безліч різних мов програмування і платформ. Утиліта curl - це незалежна обгортка для цієї бібліотеки. Саме на цю утиліту ми і зупинимося в цій статті.

команда curl

Перед тим як перейти до опису того як може використовуватися команда curl linux, давайте розберемо саму утиліту і її основні опції, які нам знадобляться. Синтаксис утиліти дуже простий:

$ curl опції посилання

Тепер розглянемо основні опції:

• -# - відображати простий прогрес-бар під час завантаження;
• -0 - використовувати протокол http 1.0;
• -1 - використовувати протокол шифрування tlsv1;
• -2 - використовувати sslv2;
• -3 - використовувати sslv3;
• -4 - використовувати ipv4;
• -6 - використовувати ipv6;
• -A - вказати свій USER_AGENT;
• -b - зберегти Cookie в файл;
• -c - відправити Cookie на сервер з файлу;
• -C - продовжити завантаження файлу з місця розриву або зазначеного зсуву;
• -m - максимальний час очікування відповіді від сервера;
• -d - відправити дані методом POST;
• -D - зберегти заголовки, повернуті сервером в файл;
• -e - задати поле Referer-uri, вказує з якого сайту прийшов користувач;
• -E - використовувати зовнішній сертифікат SSL;
• -f - не виводити повідомлення про помилки;
• -F - відправити дані у вигляді форми;
• -G - якщо ця опція включена, то всі дані, зазначені в опції -d будуть передаватися методом GET;
• -H - передати заголовки на сервер;
• -I - отримувати тільки HTTP заголовок, а весь вміст сторінки ігнорувати;
• -j - прочитати і відправити cookie з файлу;
• -J - видалити заголовок із запиту;
• -L - приймати і обробляти перенаправлення;
• -s - максимальну кількість перенаправлень за допомогою Location;
• -o - виводити контент сторінки в файл;
• -O - зберігати контент в файл з ім`ям сторінки або файлу на сервері;
• -p - чудова ідея;
• --proto - вказати протокол, який потрібно використовувати;
• -R - зберігати час останньої зміни віддаленого файлу;
• -s - виводити мінімум інформації про помилки;
• -S - виводити повідомлення про помилки;
• -T - завантажити файл на сервер;
• -v - максимально детальний висновок;
• -y - мінімальна швидкість завантаження;
• -Y - максимальна швидкість завантаження;
• -z - скачати файл, тільки якщо він був модифікований пізніше зазначеного часу;
• -V - вивести версію.

Це далеко не всі параметри curl linux, але тут перераховано все основне, що вам доведеться використовувати.

Як користуватися curl?

Ми розглянули всі, що стосується теорії роботу інструменту curl, тепер прийшов час перейти до практики, і розглянути приклади команди curl.

Завантаження файлів

Найчастіша завдання - це завантаження файлів linux. Завантажити файл дуже просто. Для цього достатньо передати утиліті в параметрах ім`я файлу або html сторінки:

А якщо ви хочете, щоб отриманий файл називався так само, як і файл на сервері, використовуйте опцію -O:

Якщо потрібно, однією командою можна скачати кілька файлів:

Дана команда завантажить файл, тільки якщо він був змінений після 21 грудня 2017.

Обмеження швидкості

Ви можете обмежити швидкість завантаження до необхідної межі, щоб не перевантажувати мережу за допомогою опції -Y:

Відео: Автоматична плойка Babyliss Curl Secret / Красиві локони за 8 хвилин

передача файлів

Завантаження файлів, це досить просто, але утиліта дозволяє виконувати і інші дії, наприклад, передачу файлів на ftp сервер. Для цього існує опція -T:

Або перевіримо відправку файлу по HTTP, для цього існує спеціальний сервіс: