Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Vasily90
> Пробовал Teleport Pro, Free Download Manager и wget
У Вэ-гета есть ключ --load-cookies.

Цитата:
--load-cookies file
Load cookies from file before the first HTTP retrieval.  file is a textual file in the format originally used by Netscape's cookies.txt file.

У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширением «Export Cookies»; у Хрома — «Cookie.txt export».

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 19:13 15-10-2011
Emisdee

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ПОдскажите, в какой из оффлайн бразуеров можно настроить так, чтобы он выкачивал только по определенным маскам юрлов не суясь в ненужные разделы сайта? Как ни странно тот же Оффлайн Эксплрер такого не может!

Всего записей: 3 | Зарегистр. 08-12-2007 | Отправлено: 10:58 03-11-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Emisdee
HTTrack точно можно. Wget с некоторыми ограничениями. Да и, извините, но полагаю, что Офлайн-эксплорер тоже можно — это же самый базовый функционал.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 11:16 03-11-2011 | Исправлено: ASE_DAG, 11:17 03-11-2011
Emisdee

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ASE_DAG
Но как?
 
По идее должнен быть функционал, который бы позволил скачивать зааднные паттерны и НЕ СКАЧИВАТЬ все остальное! В оффлайн експлорере самый богатый набор функций но там нужно проиписывать вручную все кейворды которые не должны попасть в зеркало. Вот как задать такое условие - скачивать www.site.com/pattern*** но не скачивать www.site.com/* т.е. все остальное.

Всего записей: 3 | Зарегистр. 08-12-2007 | Отправлено: 12:58 03-11-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Emisdee
> Вот как задать такое условие - скачивать www.site.com/pattern*** но не скачивать www.site.com/* т.е. все остальное.
$ httrack '-* +example.org/path*' 'http://example.org/path/index.html'

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 15:12 03-11-2011
Alatena



Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Такой же вопрос:

Цитата:
ПОдскажите, в какой из оффлайн бразуеров можно настроить так, чтобы он выкачивал только по определенным маскам юрлов не суясь в ненужные разделы сайта?

Например, архив газеты в pdf, ссылки на которые на сайте, или по таким ссылкам.  
 
Только мне бы что-нибудь попроще, чем можно пользоваться без специализированных знаний. С интуитивно понятным интерфесом или fan-made аддоном.
 

Всего записей: 537 | Зарегистр. 03-06-2008 | Отправлено: 14:56 06-11-2011
biko3

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ни как не получается сграбить этот сайт http://base.lol-game.ru/champions/
 
всё что скачивается это одна строчка (© 2010 Riot Games Inc. All rights reserved. | © 2010-2011 Gorby | Language: ru |   ) , и всё  
Это сайт конструктор  и хотелось бы пользоваться им оффлайн.
Помогите разобраться с проблемой  
Может какие нибудь настройки нужно ввести?

Всего записей: 119 | Зарегистр. 10-10-2009 | Отправлено: 14:34 13-11-2011
ruboardusr2010

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
использую WinHTTrack.exe , настроил запустил для пробы загрузил Х файлов - в папке проекта  они появились как .temp - вроде все нормально.
поставил на паузу, закрыл программу - при закрытии все эти файлы удалились!
 
в чем тут дело?
 
 

Всего записей: 44 | Зарегистр. 15-08-2010 | Отправлено: 13:48 08-12-2011
andreyyyy

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Люди добрые, подскажите, существует ли в природе софт, который умеет скачивать сайты, и при этом на лету производить замену участков html-кода (например, как прога Text Replacer)?
 
Спасибо.

Всего записей: 25 | Зарегистр. 31-07-2004 | Отправлено: 01:54 26-01-2012
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
andreyyyy
Не припомню.
А что за задача стоит? И «на лету» — это как? Не после всех операций по загрузке — понятно, а между какими точками алгоритма именно? Если можно до всех операций, что выполняют рекурсивные качалки, то и используйте что-нибудь типа Privoxy.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:15 26-01-2012 | Исправлено: ASE_DAG, 02:16 26-01-2012
andreyyyy

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А что за задача стоит? И «на лету» — это как? Не после всех операций по загрузке — понятно, а между какими точками алгоритма именно? Если можно до всех операций, что выполняют рекурсивные качалки, то и используйте что-нибудь типа Privoxy.

 
Задача стоит - делать зеркало сайта, но некоторые фрагменты кода, ссылки - заменять на свои.
 
Гляну Privoxy.

Всего записей: 25 | Зарегистр. 31-07-2004 | Отправлено: 02:20 26-01-2012
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
andreyyyy
> делать зеркало сайта, но некоторые фрагменты кода, ссылки - заменять на свои
В данной формулировке не вижу ничего, что бы мешало провести замену после окончания загрузки.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:25 26-01-2012
andreyyyy

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
>>В данной формулировке не вижу ничего, что бы мешало провести замену после окончания загрузки.
 
Зеркало сайта будет смотреть в интернет. Поэтому делать замену "после" никак нельзя.
Надо либо сразу "на лету".
Либо скачать, модифицировать, скопировать в директорию сайта. Что несколько труднее, особенно если планируется делать это несколько раз в сутки.

Всего записей: 25 | Зарегистр. 31-07-2004 | Отправлено: 02:39 26-01-2012
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
andreyyyy
> Поэтому делать замену "после" никак нельзя.
> никак нельзя
И в следующем абзаце вы описываете очевидный алгоритм с заменой после загрузки. ;-)
 
> Либо скачать, модифицировать, скопировать в директорию сайта. Что несколько труднее
Да что вы, это значительно проще, чем поднимать фильтрующий прокси. Хотя по-хорошему, энциклонжить сайты надо именно связкой фильтрующего (Привокси) и кэширующего (Сквид, например) прокси, безо всяких рекурсивных загрузок.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 03:28 26-01-2012 | Исправлено: ASE_DAG, 03:29 26-01-2012
andreyyyy

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
С Privoxy разбирался - терпения не хватило в конфигах копаться.
 
Зато приглянулся фильтрующий прокси Proxomitron. У него интерфейс настроек фильтров намного дружелюбнее.
 
Добавлено:
>Сквид, например
Нет уж, сквидов мне точно не надо )))
 
Обойдусь связкой Proxomitron + качалка сайтов.
 
Кстати какую качалку посоветуете, которая лучше всего делает зеркала?
 
Спасибо.

Всего записей: 25 | Зарегистр. 31-07-2004 | Отправлено: 04:19 26-01-2012
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
andreyyyy
> Нет уж, сквидов мне точно не надо
Ну, как знаете. Если все страницы на источнике частопосещаемые, нагрузка при рекурсивной выгрузке выше будет не намного, наверное.
 
> Кстати какую качалку посоветуете, которая лучше всего делает зеркала?  
Да все они со своей задачей справляются. Я при необходимости пользуюсь HTTrack’ом.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 09:27 26-01-2012
andreyyyy

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
HTTrack складывает файлы сайта в папку C:\Мои Web Сайты\site.ru\site.ru
Можно ли заставить его складывать файлы в C:\Мои Web Сайты\site.ru?

Всего записей: 25 | Зарегистр. 31-07-2004 | Отправлено: 12:45 26-01-2012
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Offline Explorer Pro обладает такой возможностью. В настройках проекта есть секция Обработка - кнопка Замена URL. Там можно настроить правила замены кусков HTML. Сложные вещи вряд-ли удастся сделать. Для такого можно использовать TextPipe Pro. В Offline Explorer Pro в меню Сервис есть кнопка Обработка Данных. Можно создать фильтр для TextPipe и потом запустить обработку всех HTML страниц в TextPipe с помощью этого фильтра.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:12 26-01-2012
Petrik_Pjatochkin



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кто-то уже решил как закачивать странички с спойлерами с rutracker.ort? Ни один оффлайн браузер их не берет Пичалька...

Всего записей: 771 | Зарегистр. 04-12-2007 | Отправлено: 18:33 12-02-2012
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Я исправил это в Offline Explorer. На следующей неделе выпустим версию 6.2, которая их будет скачивать и показывать без проблем.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 16:12 16-02-2012
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru