RAM Главный информатор Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Offline Explorer - офлайн-браузер. Программа предназначена для загрузки целых сайтов и веб-страниц на жёсткий диск компьютера.   Home Page Таблица сравнения оффлайн-браузеров Файл помощи на Русском языке             Выпускается в трёх версиях: Offline Explorer™ - 400 рублей Offline Explorer Pro™ - 800 рублей Offline Explorer Enterprise™ -  $400.00 Shareware. Длительность бесплатного периода - 30 дней.   MetaProducts Offline Explorer (OE) is a Windows 9x/ME/NT/2000/XP/2003 program that allows you to download an unlimited number of your favorite Web and FTP sites for later offline viewing, editing, browsing. (HTTPS, RTSP, PNM, MMS and MMST downloads are supported in Offline Explorer Pro and Enterprise versions.)     Download Offline Explorer™ 4.3.2441 SR1 Trial Download Offline Explorer Pro™ 4.3.2442 SR1 Trial Download Offline Explorer Enterprise™ 4.3.2442 SR1 Trial Статьи об Offline Explorer: http://www.ohct.com/content/122/ http://www.zipsites.ru/mine/article/oe/ http://hostinfo.ru/tree/internet/programs/offline/explorer/ Настройки для закачивания всего топика в Offline Explorer Pro/Enterprise: Адрес - http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=1455&start={:0..1800|20} Уровень: 0   Все остальное - по умолчанию. Всего записей: 831 | Зарегистр. 03-09-2001 | Отправлено: 20:50 17-01-2002 | Исправлено: OlegChernavin, 17:51 14-09-2006

unreal666 Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору asder   Причина в неправильной обработке скрипта. Пример для ссылки http://www.desktopwallpapers.ru/women/view/?pic=866: - оригинальный кусок Код:  sowind=window.open('http://www.smsonline.ru/s/s.cgi?id=369'+    '&f=http://www.desktopwallpapers.ru/women/pics/cinthia_moura.jpg'+pl, 'smsonline'+parseInt(Math.random()*10000),    'width=780,height=560,status=1,resize=0');    sowind.focus(); - вот так преобразовывает OE (если трансляция ссылок 'он-лайн') Код:  sowind=window.open('http://www.smsonline.ru/s/s.cgi?id=369'+    '&f=../pics/cinthia_moura.jpg'+pl, 'smsonline'+parseInt(Math.random()*10000),    'width=780,height=560,status=1,resize=0');    sowind.focus(); Хотя при сборке скрипта оригинальнаяя ссылка получается такой http://www.smsonline.ru/s/s.cgi?id=369&f=http://www.desktopwallpapers.ru/women/pics/cinthia_moura.jpg + какие-то там переменные. Т.е. OE перед преобразованием ссылки в скриптах не смотрит, что находится до этой ссылки. ---------- MSI PRO B650-P WIFI / Ryzen 5 7600X / RAM 32Gib / 4 HDD = 10Tib + 1 NVME 2Tib / Radeon RX 560 2Gib / Win 10 x64 // POB, PVD Всего записей: 6671 | Зарегистр. 14-02-2005 | Отправлено: 21:21 20-04-2006 | Исправлено: unreal666, 21:23 20-04-2006

chupakabra Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Подскажите что можно сделать: Начал закачку сайта с помощью OE. Поначалу вроде все нормально было. Но чем дальше, тем выше поднималась загрузка CPU, и что самое плохое - тем тяжелее реагировал пользовательский интерфейс. В общем сейчас ситуация такая: загрузилось примерно 20000 документов, в очереди - 100000, интерфейс не реагирует на команды вообще (такое впечатление что программа зависла). Если это исправить никак нельзя то посоветуйте рабочий аналог. Да, версия Pro последняя триальная с офсайта, никаких кряков / ключей не применял. Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 15:43 24-04-2006

chupakabra Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору OlegChernavin, спасибо за совет, попробую. Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 21:26 24-04-2006

chupakabra Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору OlegChernavin Да, помогло, спасибо. Теперь просто другое впечатление от работы программы. Поставил задержку в 1 и GUI больше не тормозит, более того - скорость закачки существенно увеличилась. Т.е. с нулем я замечал максимум где-то 70 Кб/с, а с единицей до 500 Кб/с доходит. В результате закачал ~40000 файлов за пару часов, тогда как ранее качал ~20000 целые сутки. Правда надо сказать что я увеличил число потоков с 15 до 40. В качестве быстрого решения думаю стоит запретить пользователю устанавливать нулевую задержку. Может также стоит иметь возможность задавать ее миллисекундах, т.к. подозреваю что к примеру 0.5 секунды будет работать еще быстрее чем 1 сек. Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 14:58 25-04-2006

chupakabra Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору OlegChernavin Привет, возникло несколько комментариев к программе: 1. В процессе закачки заметил что в списке соединений иногда появляются что-то типа: 403 Forbidden. Как я понял, файлы, для которых сервер вернул код ошибки, не были закачаны, причем судя по всему OE сдается сразу, даже не пытаясь выполнить указанное в настройках число попыток. Это плохо, т.к. в проекте на 100000 файлов вручную нереально выявить какие файлы были закачаны, а какие нет - хотелось бы чтобы программа хотя бы сообщала где-то что именно она не смогла закачать и по какой причине. Пробовал для этого включать лог, но он тут же заполняется огромным количеством информации, заметить там что-то нереально. Вообще, хорошая качалка не должна сдаваться независимо от того какой ответ вернул сервер. К примеру, я не раз встречал сервера, которые возвращают код 404 чтобы ограничить число одновременных подключений, тогда как файл реально существует. Думаю лучший алгоритм в этом случае - выполнить указанное в настройках количество попыток, причем при каждой неудачной попытке перемещать файл в конец очереди (т.к. может конечно быть и так что сервер не врет и файла действительно нет ), ну а после того как число попыток исчерпано занести файл и причину отказа в лог, так чтобы пользователь мог наглядно увидеть что и по какой причине не было скачано. 2. Заметил такую хитрую вещь: есть несколько ссылок разного вида, все он устанавливают куку и затем возвращают код 302 Moved temporarily, при этом URL файла - один и тот же. Т.е. сервер запоминает в сессионных данных какой именно контент возвращать по этому URL. Таким образом получается что OE закачивает первую ссылку, а остальные нет, т.к. он думает что они уже закачаны раз есть файл с таким именем. Если возможно, было бы неплохо научить программу этой хитрости. 3. Заметил что иногда довольно сложно остановить проект. Т.е. сколько не давлю на кнопку Stop - счетчик файлов продолжает что-то отсчитывать. Закрываю окно - процесс остается висеть в памяти. Единственный выход - убить процесс из Task Manager. Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 07:05 26-04-2006

chupakabra Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата: Можно отключить прогресс и детали в логе и получится довольно компактно.   Отключал, но все равно много лишней информациию. Вот если бы можно было оставить только ошибки...   Цитата: Проблема только с тем, что если кол-во попыток неограничено, то закачка никогда не остановится. Да и вообще таких сайтов чрезвычайно мало. А на всех остальных такое поведение будет выглядеть ошибочным и будет много нареканий от пользователей.     Ну можно это опцией задавать "Что делать при ошибках сервера": - Сразу прекратить попытки (по умолчанию). - Перенести файл в конец очереди и продолжать попытки.   Просто сейчас существует такая проблема, что нельзя даже сказать точно скачался проект целиком или нет.   Цитата: А можно пример такой ссылки?   Ссылка Обратите внимание на то как реализованы ссылки на страницы 2 и 3 Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 16:02 26-04-2006 | Исправлено: chupakabra, 16:05 26-04-2006

chupakabra Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору OlegChernavin Цитата: Да вроде обычные ссылки, каждая с разным URL. В том то и дело, что URL - разные, а имена файлов в результате получаются одинаковые (из-за редиректа). Соответсвенно OE закачивает только первую страницу, а страницы 2 и 3 не закачивает, т.к. считает что такой файл уже есть на диске. Кстати, у этих ссылок есть еще одна особенность - их нельзя качать одновременно, т.к. сервер запоминает данные о загружаемом контенте в одной и той же сессионной переменной. Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 17:14 27-04-2006

Funt123 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору OlegChernavin   намек понят, разобрался. Спасибо. Всего записей: 161 | Зарегистр. 09-11-2005 | Отправлено: 22:41 27-04-2006

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103

Компьютерный форум Ru.Board » Компьютеры » Программы » Offline Explorer

Widok (17-01-2007 18:44): лимит страниц. продолжаем здесь

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование