Как скачать файл по ссылке linux
Перейти к содержимому

Как скачать файл по ссылке linux

  • автор:

Использование команды Wget на простых примерах

Команда wget

Утилита wget (или команда wget) предназначена для скачивания файлов, веб страниц и других ресурсов из интернета. Рассмотрим основные возможности команды wget на примерах.

Синтаксис команды wget

Команда wget имеет следующий синтаксис:

В простейшем случае, чтобы скачать файл, достаточно указать URL-адрес:

Выполнив данную команду, вы скачаете файл filename.tar.bz2 , расположенный по адресу https://domain.ru/filename.tar.bz2, который будет сохранен в текущую директорию.

Указание нового имени файла

Используя опцию -O можно задать название результирующего файла.

Например, если файл, который вы скачиваете, имеет имя filename-1.3.0-release-branch.tar , вы можете сохранить его с именем filename.tar :

Скачивание в фоновом режиме

Чтобы скачать файл в фоновом режиме используется опция -b :

Скачивание нескольких файлов (по списку)

Команде wget можно передать текстовый файл, в котором на каждой строчке записаны URL-адреса, которые требуется скачать. Для этого используется опция -i :

Скачивание файлов по ссылкам в HTML-документе

Команда wget поддерживает скачивание файлов по ссылкам в HTML-документе. То есть она автоматически находит все ссылки в HTML-файле и скачивает их:

Ограничение скорости скачивания

Чтобы ограничить скорость скачивания используется опция —limit-rate .

500k означает 500KB/s.

В качестве значения —limit-rate можно указывать скорость загрузки в следующих форматах:

  • байтах в секунду — например: 300
  • килобайтах в секунду — например: 10k
  • мегабайтах в секунду- например: 10.5m

Продолжение загрузки

Чтобы продолжить прервавшуюся загрузку используется опция -c :

Проверка существования файла

Перед тем, как скачать файл, можно проверить существует ли он. Например, это может потребоваться, когда вы скачиваете большое количество файлов и хотите заранее знать, все ли из них доступны. Для проверки доступности файлов используется опция —spider .

Например, чтобы проверить доступность файлов в списке можно использовать команду:

Также можно проверить доступен ли конкретный файл:

При использовании опции —spider файлы не скачиваются, а только выполняется проверка.

Как скачать сайт

Инструкцию по скачиванию сайтов с помощью wget смотрите в отдельной статье: Скачиваем сайты целиком — утилита wget

Скачивание с FTP (указание логина и пароля)

Чтобы скачать файл с FTP-сервера, для которого требуется указание логина и пароля, используются опции —ftp-user и —ftp-password :

Скачивание с HTTP с указанием логина и пароля

Если для доступа к ресурсу по HTTP требуется указание имени пользователя и пароля, то для этого используются опции —http-user и —http-password :

Указание количества попыток

Если соединение нестабильное, то можно задать количество попыток, чтобы загрузка файла продолжалась в случае сбоя. Для указания количества попыток используется опция -t :

По умолчанию установлено количество попыток — 20. Но если при попытке загрузки файла получена ошибка 404 (файл не найден) или connection refused, то скачивание прерывается.

Ожидание между загрузкой файлов

При скачивании большого количества файлов, слишком частое обращение к удаленному серверу с вашей стороны может расцениваться сервером как DDoS атака. Опция -w позволяет задать количество секунд, которое требуется ожидать перед загрузкой очередного файла.

Некоторые веб-сайты умеют распознавать автоматические запросы к сайту, которые происходят с заданной периодичностью. Поэтому даже использование опции -w не всегда помогает. В таких случаях можно воспользоваться дополнительной опцией —random-wait . При ее использовании ожидание перед загрузкой очередного файла составляет случайное количество секунд от 0.5*wait до 1.5*wait. Пример использования (ожидание будет в диапазоне от 15 до 45 секунд):

Указание нескольких опций

В примерах выше мы использовали опции по отдельности. Можно использовать несколько опций в одной команде одновременно, например:

Заключение

Мы рассмотрели только базовые возможности команды wget по скачиванию файлов. Полный список всех опций и их описание можно получить, выполнив в командной строке:

Как скачать файл в Linux через терминал

Не редко при настройке сервера на Linux возникает необходимость в скачивании файлов. Например, это могут быть какие-то архивы или скрипты. Для решения такой задачи необходимо уметь скачивать файлы прямо через терминал Linux. В этой инструкции мы рассмотрим две команды, которые чаще всего используются для скачивания файлов через терминал Linux.

Команда wget

Wget – это мощная утилита для скачивания файлов, с ее помощью можно загружать файлы по протоколам HTTP, HTTPS и FTP. При этом поддерживается скачивание с использованием прокси, а также работа в фоновом режиме.

Кроме этого, с помощью wget можно скачивать веб страницы или даже целые веб-сайты. Для этого используется рекурсивный обход всех найденных на странице ссылок и создание локальной копии сайта с воссозданием его структуры.

Wget хорошо работает с медленным или нестабильным подключением к интернету. В случае разрыва соединения wget будет повторять попытки скачивания до тех пор, пока весь файл не будет загружен. При этом продолжение загрузки будет начинаться с того места, где она остановилась.

Синтаксис команды wget выглядит следующим образом:

Утилита wget доступна на большинстве дистрибутивов Linux. Но, если в вашей системе ее нет, то вы можете установить ее самостоятельно. В Ubuntu для этого нужно выполнить команду:

В общем случае для скачивания файла через терминал Linux достаточно ввести команду « wget » и через пробел указать URL адрес, после чего начнется загрузка указанного документа. Например, команда на скачивание файла может выглядеть вот так:

скачивание файла с помощью wget

Если нужно скачать несколько файлов подряд, то их адреса можно передать утилите wget за один раз. Для этого просто указываем их через пробел. Например:

скачивание нескольких файлов с помощью wget

При необходимости, для скачиваемого файла можно указать новое название. Для этого нужно использовать опцию « -O ». В этом случае команда для скачивания файла будет выглядеть так:

скачивание с указанием нового имени в wget

В случае прерывания загрузки ее можно продолжить. Для этого нужно запустить команду wget еще раз, но в этот раз с добавлением опции « -c ». Команда перезапуска загрузки выглядит примерно так:

продолжение скачивания в wget

Если во время скачивания файла вы хотите продолжить работу с терминалом Linux, то загрузку можно выполнить в фоновом режиме. Для этого нужно использовать опцию « -b ». Команда для скачивания файла в фоновом режиме выглядит примерно так:

скачивание в фоновом режиме в wget

Это основные опции команды « wget », которые используются чаще всего. Для того чтобы ознакомиться со всеми доступными опциями введите команду « man wget ».

Команда curl

Curl – еще одна мощная утилита для скачивания файлов, которая доступна из терминала Linux. С ее помощью можно скачивать файлы по протоколам HTTP, HTTPS, FTP, FTPS, TFTP, Telnet, SCP, SFTP, DICT, LDAP, а также POP3, IMAP и SMTP. Также curl поддерживает работу через прокси, веб-аутентификацию, отправку данных через http, работу с cookie-файлами и многое другое.

Синтаксис команды curl выглядит следующим образом:

Команда curl может отсутствовать в вашем дистрибутиве Linux. Но, вы можете установить ее самостоятельно. В Ubuntu для этого нужно выполнить следующую команду:

По умолчанию, команда curl выводит скачанное прямо в терминал. Это может быть полезно в некоторых случаях, но чаще всего требуется сохранение скачанного в виде файла. Для этого следует использовать опцию « -O ». Например, команда на скачивание файла с помощью curl может выглядеть примерно так:

скачивание с помощью curl

Если нужно скачать сразу несколько файлов, то их можно указать через пробел один за другим. При этом для каждого из файлов нужно указать опцию « -O ». Выглядит это примерно так:

скачивание нескольких файлов в curl

При желании можно изменить имя для скачиваемого файла. Для этого нужно использовать опцию « -o » и после нее указать новое имя для файла. Например:

скачивание с указанием имени файла в curl

Если загрузка была прервана, то ее можно продолжить с того места, где она остановилась. Для этого нужно еще раз выполнить команду « curl », но с добавлением опции « -C — ». Например:

возобновление скачивания в curl

Это основные опции команды « curl », которые применяются чаще всего. Для того чтобы посмотреть все доступные опции выполните команду « man curl ».

  • Как удалить папку в Linux через терминал (консоль)
  • Как открыть файл в терминале Linux
  • Как создать файл в Linux через терминал
  • Как скопировать файл в Linux через терминал
  • Как удалить файл в Linux через терминал

Создатель сайта comp-security.net, автор более 2000 статей о ремонте компьютеров, работе с программами, настройке операционных систем.

Задайте вопрос в комментариях под статьей или на странице «Задать вопрос» и вы обязательно получите ответ.

Загрузка файла в Linux с помощью командной строки

Командная строка Linux обеспечивает большую гибкость и контроль, чем графический интерфейс. Многие люди предпочитают использовать командную строку вместо графического интерфейса, потому что она проще и быстрее в использовании, чем графический интерфейс. Используя командную строку, легче автоматизировать задачи с помощью одной строки. Кроме того, она использует меньше ресурсов, чем графический интерфейс.

Загрузка файлов — это рутинная задача, которая обычно выполняется каждый день и может включать такие типы файлов, как ZIP, TAR, ISO, PNG и т.д. Вы можете просто и быстро выполнить эту задачу с помощью терминала командной строки. Для этого нужно использовать только клавиатуру. Поэтому сегодня я покажу вам, как можно загрузить файл с помощью командной строки в Linux. Обычно существует два известных способа сделать это — использование утилиты wget и curl. В этой статье я использую Ubuntu для описания процедуры. Но эти же команды будут работать и в других дистрибутивах Linux, таких как Debian, Gentoo и CentOS.

linux

Загрузка файлов с помощью Curl

Curl можно использовать для передачи данных по ряду протоколов. Он поддерживает множество протоколов, включая HTTP, HTTPS, FTP, TFTP, TELNET, SCP и т.д. Используя Curl, вы можете загружать любые удаленные файлы. Он также поддерживает функции паузы и возобновления.

Чтобы приступить к работе, сначала необходимо установить curl.

Установите curl

Запустите приложение командной строки в Ubuntu — Terminal, нажав комбинацию клавиш Ctrl+Alt+T. Затем введите следующую команду для установки curl.

После завершения установки введите приведенную ниже команду для загрузки файла.

Загрузка и сохранение файла с использованием имени исходного файла

Чтобы сохранить файл с тем же именем, что и исходный файл на удаленном сервере, используйте -O (верхний регистр O), а затем команду curl, как показано ниже:

Вместо -O можно также указать «—remote-name». Оба варианта работают одинаково.

Загрузка и сохранение файла с другим именем

Если вы хотите загрузить файл и сохранить его под именем, отличным от имени файла на удаленном сервере, используйте -o (строчная буква o), как показано ниже. Это полезно, когда удаленный URL не содержит имени файла в URL, как показано в примере ниже.Advertisement

[filename] — это новое имя выходного файла.

Загрузка нескольких файлов

Чтобы загрузить несколько файлов, введите команду в следующем синтаксисе:

Загрузка файлов с FTP-сервера

Чтобы загрузить файл с FTP-сервера, введите команду в следующем синтаксисе:

Чтобы загрузить файлы с FTP-серверов, аутентифицированных пользователями, используйте следующий синтаксис:

Приостановка и возобновление загрузки

Во время загрузки файла вы можете вручную приостановить ее с помощью Ctrl+C, а иногда она автоматически прерывается и останавливается по какой-либо причине, тогда вы можете возобновить ее. Перейдите в тот же каталог, где вы ранее загружали файл, затем введите команду в следующем синтаксисе:

Скачивание файлов с помощью Wget

Используя wget, вы можете скачивать файлы и содержимое с Web- и FTP-серверов. Wget — это комбинация www и get. Он поддерживает такие протоколы, как FTP, SFTP, HTTP и HTTPS. Также он поддерживает функцию рекурсивной загрузки. Эта функция очень полезна, если вы хотите загрузить весь сайт для просмотра в автономном режиме или для создания резервной копии статического сайта. Кроме того, вы можете использовать ее для получения содержимого и файлов с различных веб-серверов.

Установите wget

Запустите приложение командной строки в Ubuntu — терминал, нажав комбинацию клавиш Ctrl+Alt+T. Затем введите следующую команду для установки wget.

Загрузка файла или веб-страницы с помощью wget

Чтобы загрузить файл или веб-страницу, откройте Терминал и введите команду в следующем синтаксисе:

Чтобы сохранить одну веб-страницу или файл, введите команду в следующем синтаксисе:

Загрузка файлов с другим именем

Если вы хотите загрузить и сохранить файл с именем, отличным от имени исходного удаленного файла, используйте -O (верхний регистр O), как показано ниже. Это полезно, особенно когда вы загружаете веб-страницу, которая автоматически сохраняется с именем «index.html».

Чтобы загрузить файл с другим именем, введите команду в следующем синтаксисе:

Загрузка файлов с FTP

Чтобы загрузить файл с FTP-сервера, введите команду в следующем синтаксисе:

Чтобы загрузить файлы с FTP-серверов, аутентифицированных пользователями, используйте следующий синтаксис:

Рекурсивная загрузка файлов

Вы можете использовать функцию рекурсивной загрузки, чтобы загрузить все файлы из указанного каталога, будь то веб-сайт или FTP-сайт. Чтобы воспользоваться функцией рекурсивной загрузки, введите команду в следующем синтаксисе:

Загрузка нескольких файлов

Вы можете использовать команду wget для загрузки нескольких файлов. Создайте текстовый файл со списком URL-адресов файлов, а затем используйте команду wget в следующем синтаксисе для загрузки этого списка.

Например, у меня есть текстовый файл с именем «downloads.txt», в котором находится список из двух URL, которые я хочу загрузить с помощью wget. Вы можете увидеть содержимое моего текстового файла на рисунке ниже:

Приостановка и возобновление загрузки

Вы можете нажать Ctrl + C, чтобы приостановить загрузку. Чтобы возобновить приостановленную загрузку, перейдите в тот же каталог, откуда вы ранее скачивали файл, и используйте опцию -c после wget, как показано ниже:

Используя приведенную выше команду, вы заметите, что ваша загрузка возобновилась с того места, где она была приостановлена.

Итак, в этой статье мы рассмотрели основные способы использования двух командных строк, с помощью которых можно загрузить файл. Обратите внимание, что если вы не укажете каталог при загрузке файла, файлы будут загружены в текущий каталог, в котором вы работаете.

How to download a file from a website via terminal?

I would like to go without installing a new software. Is it possible?

6 Answers 6

Open terminal and type

to download the file to the current directory.

will download the file to /home/omio/Desktop

will download the file to /home/omio/Desktop and give it your NewFileName name.

David Foerster's user avatar

you can do it by using curl .

The -O saves the file with the same name as in the url rather than dumping the output to stdout

Raja G's user avatar

I use axel and wget for downloading from terminal, axel is download accelerator

syntax

for more details type man axel , man wget in terminal

Just to add more flavor to this question, I’d also recommend that you take a look at this:

history -d $((HISTCMD-1)) && echo ‘[PASSWORD]’ | sudo -S shutdown now

You could use this to shutdown your computer after your wget command with a ; perhaps or in a bash script file.

This would mean you don’t have to stay awake at night and monitor until your download as (un)successfully run.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *