Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео
Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
STAR4ak

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем доброго времени суток. Недавно столкнулся с задачей отслеживания объявлений в одном из разделов на сайте avito. Планирую применить следующий подход: выкачивать с определенной периодичностью раздел сайта и затем, по необходимости, искать объявление по разным датам сохраненного раздела. Подскажите, может кто сталкивался с аналогичной задачей, как решили. Что лучше использовать для решения данной задачи, есть ли бесплатные средства?
Всего записей: 3 | Зарегистр. 29-07-2015 | Отправлено: 23:11 29-07-2015
OlegChernavin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
STAR4ak
 
Я думаю, любой оффлайн браузер может скачать разделы и объявления. А вот насчет поиска - что именно Вы имеете в виду?
Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 23:41 29-07-2015
AntikillerPM

Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
STAR4ak
может тебе WebSite подойдет
http://forum.ru-board.com/topic.cgi?forum=5&topic=2071
Всего записей: 303 | Зарегистр. 01-05-2009 | Отправлено: 04:30 30-07-2015
STAR4ak

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо, что обратили внимание на мою проблему.
 
AntikillerPM, обязательно посмотрю.
 
OlegChernavin, идея в том, чтобы настроить скачивание раздела по расписанию, а татем, когда понадобиться отследить историю того или иного объявления, брать и вручную находить данное объявление в сохраненных версиях. Я понимаю что вариант не самый лучший. но пока в голову приходит только он. Кстати, а поиск по сохраненному разделу будет работать, тот что реализован на сайте avito?
Всего записей: 3 | Зарегистр. 29-07-2015 | Отправлено: 20:24 30-07-2015
OlegChernavin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
STAR4ak
 
В Offline Explorer Pro есть функция делать копии файлов, если они изменились. Таким образом, можно будет поднять историю изменений простым способом.  
 
Одно "но" - сначала надо будет создать проект для закачивания одного объявления и скачать его 3-4 раза, чтобы посмотреть, будет ли программа определять, что оно не изменилось, или блоки рекламы и динамический контент будут менять файл при каждом скачивании.
Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 23:14 30-07-2015
AnTul

Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
http://www.cyotek.com/cyotek-webcopy/features
- я никак не разобрался с этой программой. Может ли она скачать отдельные файлы (аудио/видео...)?
http://forum.ru-board.com/topic.cgi?forum=5&topic=47932#lt

----------
Василий Великий: «Кто смотрит на зло без отвращения, тот скоро будет смотреть на него с удовольствием».
Всего записей: 5631 | Зарегистр. 13-07-2004 | Отправлено: 22:03 31-07-2015 | Исправлено: AnTul, 11:24 01-08-2015
1ANP



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, каким оффлайн-браузером можно выкачивать файлы с сайтов используя поиск например в Гугле (или любом другом поисковике).
Например в гугле я могу задать поисковую строку такого типа:  
site:____ filetype:___, в поисковике отобразятся результаты запроса в виде ссылок на файлы - на первые десять файлов.
Как мне выкачать все файлы нужного расширения с нужного сайта (из нужного подкаталога) таким образом?
---
upd: разобрался -  OfflineExplorer
Всего записей: 796 | Зарегистр. 30-05-2007 | Отправлено: 00:57 17-09-2015 | Исправлено: 1ANP, 02:58 17-09-2015
SSergew



Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Какой программой или браузером выкачать этот сайт, без видео и аудио, только текст:
http://azbyka.ru/
?
Всего записей: 508 | Зарегистр. 11-01-2009 | Отправлено: 16:45 15-11-2015
ASE_DAG



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SSergew, в чем проблема? Любой. У этой «Азбыки» предельно простой и машино-дружественный гипертекст — проще могло бы быть, только если б они полное файловое дерево наружу выдали.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]
Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 17:31 15-11-2015
moivhod

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Качаю с http-сервера. Потом в папке скачивания вижу кучу файлов с длинными именами типа _25d1_2583_25d1_2587_25d0_25b5 без всякого расширения, никакой структуры каталогов, какая должна быть на сервере. С чем это связано?
Всего записей: 35 | Зарегистр. 26-03-2012 | Отправлено: 10:12 01-12-2015
ASE_DAG



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
moivhod, с тем, что вы что-то делаете не так.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]
Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 10:28 01-12-2015
moivhod

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
moivhod, с тем, что вы что-то делаете не так.

 
Хахаха! Это и ежу понятно) Есть какие догадки, что надо посмотреть и что поменять в настройках? Я вижу скачивание идет по нужным url, но в папке скачивания набор файлов без расширения...
 
 
Кстати, в папках на сервере есть кириллица, это не может быть причиной?  
Всего записей: 35 | Зарегистр. 26-03-2012 | Отправлено: 10:56 01-12-2015
ASE_DAG



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
moivhod> Есть какие догадки, что надо посмотреть и что поменять в настройках?
 
Нет, конечно — телепаты в зимней спячке; а я даже не знаю, о настройках чего вы говорите (если вы не заметили, вы пишете в ветке, посвященной вопросу вообще, а не конкретной программе), не говоря уж о том, какие они у вас там.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]
Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 11:54 01-12-2015 | Исправлено: ASE_DAG, 11:54 01-12-2015
moivhod

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Качаю с помощью MetaProducts Offline Browser. И похоже проблема действительно в кириллице. Поставил на закачку папку только с латиницей и все закачалось как надо. Но опять какой-то косяк. Выборочно пропускает некоторые файлы - ни с их уровнем, ни с их расширением не связано. Просто типа: хочу качаю, хочу нет)
Всего записей: 35 | Зарегистр. 26-03-2012 | Отправлено: 12:15 01-12-2015
ASE_DAG



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
moivhod, ага. Ну я этой проприетарщиной не пользуюсь и не собираюсь, поэтому, если вы желаете использовать именно ее, то могу подсказать только адрес ветки, где обсуждается именно она: тыц — там вам, может быть, помогут.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]
Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 14:27 01-12-2015
Kspeh

Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
При чём тут проприетарщина? Реально самая крутая программа. Я все перебрал, более-менее нормальный - заброшенный Teleport, которого можно хоть как-то с ней сравнивать. И разработчик очень быстро и толково объясняет, как её настроить конкретно под такой-то сайт. Тёплых чувств к разработчику не питаю. Когда-то просил у него скидочку - он даже не ответил. Впрочем, возможно не прочёл личку. Программа очень дорогая - мне не по карману никак. Но, я не как та лиса - "виноград зелен". Прога действительно классная и почти всё умеет скачать, в отличии от кривой, и, похоже уже тоже заброшенной (разработчик даже на своём оффоруме не отвечает) HTTrack, который я вообще не понял, что умеет делать и на нескольких форумах мне никто не смог объяснить.

----------
----------
Великие умы обсуждают идеи. Средние умы обсуждают события. Мелкие умы обсуждают людей.
Всего записей: 384 | Зарегистр. 17-11-2015 | Отправлено: 16:24 01-12-2015
ASE_DAG



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kspeh> При чём тут проприетарщина?
 
В смысле «при чем»? Offline Explorer / Offine Browser — об’ективно несвободны, и я ими не пользуюсь, поэтому ничего кроме ссылки на ветку не подскажу. Найти эту ветку самому сейчас задача нетривиальная, поскольку у нее «смыло» тему. Вот и все.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]
Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 18:38 01-12-2015 | Исправлено: ASE_DAG, 18:42 01-12-2015
OlegChernavin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
moivhod
 

Цитата:
Качаю с http-сервера. Потом в папке скачивания вижу кучу файлов с длинными именами типа _25d1_2583_25d1_2587_25d0_25b5 без всякого расширения, никакой структуры каталогов, какая должна быть на сервере. С чем это связано?  

 
Тут дело в кириллице, в настройках проекта можно отметить галку использовать Unicode в именах файлов.  
 

Цитата:
Но опять какой-то косяк. Выборочно пропускает некоторые файлы - ни с их уровнем, ни с их расширением не связано. Просто типа: хочу качаю, хочу нет)  

 
А можете рассказать с примерами, что должно загрузиться и пропустилось?
 

Цитата:
Когда-то просил у него скидочку - он даже не ответил. Впрочем, возможно не прочёл личку.

 
Да, к сожалению, личку не читаю последнее время Лучше напрямую спрашивать в этой ветке или в обсуждении Offline Explorer - их я постоянно монитюрю и отписываюсь.
 
Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 02:46 02-12-2015
moivhod

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вот например - целые папки пропущены: 5E и 5G, хотя все остальные скачены
 
 
 
А вот из этих 4х файлов, лежащих на сервере, скачался только verbs.doc
 
Всего записей: 35 | Зарегистр. 26-03-2012 | Отправлено: 11:05 02-12-2015
OlegChernavin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
moivhod
 
Мне нужен адрес сайта и адреса страниц со ссылками на эти файлы, чтобы увидеть, что не так со ссылками.
 
Кроме того, попробуйте выбрать проект и нажать Ctrl+F5 - это запустит закачку в режиме пропуска скачанных файлов, возможно, все отсутствующие будут скачаны.  
 
Есть шанс, что просто сервер из-за нагрузки не отдает часть файлов.
Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 14:20 02-12-2015
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru