it-swarm.xyz

Как я могу скачать весь сайт?

Как я могу скачать все страницы с сайта?

Любая платформа в порядке.

341
joe

HTTRACK работает как чемпион по копированию содержимого всего сайта. Этот инструмент может даже захватить части, необходимые, чтобы веб-сайт с активным содержимым кода работал в автономном режиме. Я поражен тем, что он может воспроизводить в автономном режиме.

Эта программа сделает все, что от вас требуется.

Хорошей охоты!

319
Axxmasterr

Wget это классический инструмент командной строки для такого рода задач. Он поставляется с большинством систем Unix/Linux, и вы можете получить его для Windows тоже. На Mac Homebrew это самый простой способ установить его (brew install wget).

Вы бы сделали что-то вроде:

wget -r --no-parent http://site.com/songs/

Для получения более подробной информации см. Wget Manual и его примеры или, например, эти:

264
Jonik

Используйте wget:

wget -m -p -E -k www.example.com

Варианты объяснены:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.
143
user9437

Internet Download Manager имеет утилиту Site Grabber с множеством опций - которая позволяет полностью загрузить любой веб-сайт, который вы хотите, так, как вы этого хотите.

  1. Вы можете установить ограничение на размер загружаемых страниц/файлов.

  2. Вы можете установить количество посещаемых филиалов.

  3. Вы можете изменить поведение скриптов/всплывающих окон/дубликатов

  4. Вы можете указать домен, только под этим доменом будут загружены все страницы/файлы, соответствующие требуемым настройкам.

  5. Ссылки могут быть преобразованы в автономные ссылки для просмотра

  6. У вас есть шаблоны, которые позволяют вам выбрать вышеуказанные настройки для вас

enter image description here

Однако программное обеспечение не является бесплатным - посмотрите, подходит ли оно вам, используйте ознакомительную версию.

8
Lazer

Вы должны взглянуть на ScrapBook , расширение Firefox. Он имеет углубленный режим захвата .

enter image description here

8
webjunkie

itucks- это название программы!

7
kmarsh

Я расскажу об онлайн буферизации, которую используют браузеры ...

Как правило, большинство браузеров используют кеш просмотра, чтобы некоторое время хранить файлы, которые вы загружаете с веб-сайта, чтобы вам не приходилось загружать статические изображения и контент снова и снова. Это может немного ускорить процесс при некоторых обстоятельствах. Вообще говоря, большинство кешей браузера ограничены фиксированным размером, и когда он достигает этого предела, он удаляет самые старые файлы в кеше.

Интернет-провайдеры, как правило, имеют кэширующие серверы, на которых хранятся копии часто используемых веб-сайтов, таких как ESPN и CNN. Это избавляет их от необходимости посещать эти сайты каждый раз, когда кто-то из их сети посещает их. Это может привести к значительной экономии в количестве дублированных запросов к внешним сайтам к провайдеру.

5
Axxmasterr

Мне нравится Offline Explorer .
Это условно-бесплатная программа, но она очень хорошая и простая в использовании.

5
Eran

Я не делал этого много лет, но есть еще несколько утилит там. Возможно, вы захотите попробовать Web Snake . Я считаю, что использовал это много лет назад. Я сразу вспомнил имя, когда прочитал твой вопрос.

Я согласен со Стейси. Пожалуйста, не забивайте их сайт. Очень плохой.

4
Bobby Ortiz

WebZip также хороший продукт.

4
Herb Caudill

Для Linux и OS X: я написал grab-site для архивирования целых веб-сайтов в WARC файлы. Эти файлы WARC могут быть просмотрены или извлечены. grab-site позволяет вам контролировать, какие URL-адреса пропустить, используя регулярные выражения, и их можно изменить, когда выполняется сканирование. Он также поставляется с обширным набором значений по умолчанию для игнорирования нежелательных URL.

Существует веб-панель мониторинга слежения, а также дополнительные опции для пропуска видеоконтента или ответов определенного размера.

3
Ivan Kozik

DownThemAll является надстройкой Firefox, которая загружает весь контент (например, аудио- или видеофайлы) для определенной веб-страницы одним щелчком мыши. Это не загружает весь сайт, но это может быть то, что вопрос искал.

3
Will M

Teleport Pro это еще одно бесплатное решение, которое будет копировать все файлы из любой целевой области (также есть платная версия, которая позволит вам извлекать больше страниц контента).

3
Pretzel

Попробуйте BackStreet Browser .

Это бесплатный, мощный автономный браузер. Высокоскоростная многопоточная программа для загрузки и просмотра веб-сайтов. Делая несколько одновременных запросов к серверу, BackStreet Browser может быстро загрузить весь веб-сайт или часть сайта, включая HTML, графику, Java-апплеты, звуковые и другие определяемые пользователем файлы, и сохраняет все файлы на жестком диске, в их исходном формате, или в виде сжатого файла Zip и просмотра в автономном режиме.

enter image description here

3
joe

ДосточтимыйFreeDownloadManager.orgтакже имеет эту функцию.

Free Download Manager имеет две формы в двух формах: Site Explorer и Site Spider :

Site Explorer
Site Explorer позволяет просматривать структуру папок веб-сайта и легко загружать необходимые файлы или папки.
HTML Spider
Вы можете загрузить целые веб-страницы или даже целые веб-сайты с помощью HTML Spider. Инструмент можно настроить для загрузки файлов только с указанными расширениями.

Я считаю, что Site Explorer полезен для просмотра папок, которые нужно включить/исключить, прежде чем пытаться загрузить весь сайт, особенно когда на сайте скрывается целый форум, который вы, например, не хотите загружать.

1
David d C e Freitas

Результат Wget

Хотя wget уже упоминался, этот ресурс и командная строка были настолько просты, что я подумал, что это заслуживает упоминания: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

См. Этот код объяснен на оболочке объяснения

1
Shwaydogg