serg1040
Junior Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
К вопросам о формировании очереди на закачку...
Цитата: Нет, все проще.
1. Скачали страницу, есть изначально сортированный список найденных адресов.
2. ...
3. Обработка идет по HTML коду, сначала и до конца его (последовательно). Каждый найденный адрес сначала проверяется на соответствие фильтрам и уровню.
Если проходит условия, добавляем в сортированный список. Это для более быстрого алгоритма проверки на дубликаты. Если не сортировать,
то придется более долго просматривать список при добавлении каждого из адресов.
4. ...
5. После обработки, список передается в очередь загрузки. Он там просматривается и удаляются все адреса, которые уже были до этого добавлены в очередь или загружены.
6. ...
Поэтому такой переключатель в карте не будет иметь смысла, потому что в общем случае файлы будут сохранены на диск примерно в соответствии с их добавлением в очередь - по алфавиту. |
Прошу пояснить по пунктам:
1. По какому признаку и чем создан изначально сортированный адресный список(предполагаю, что по алфавиту)?
Он сортируется программно ОЕ (без записи на диск) или по умолчанию самой файловой системой (это возможно только при записи на диск - где ж эта директория)?
Ведь при сохранении страницы на диск обычным способом сами файлы сортируются по имени, но в коде сохраненной страницы сохраняют оригинальную последовательность.
3. Ссылки появляются в очереди по алфавиту. Т.е. ОЕ обрабатывает код страницы до конца, сравнивает имена,выделяет первую по алфавиту и вставляет в список, потом вторую по алфавиту и т.д.
Т.е. сортированный по имени список создает под себя сам ОЕ ?
Цитата:| Если не сортировать,то придется более долго просматривать список при добавлении каждого из адресов. |
Может быть имеет смысл предоставить пользователю возможность выбора для сохранения файлов отдельных форматов (в основном, графических) в оригинальной последовательности?
А длительность скачивания и сейчас зависит от количества соединений, которое выбирает пользователь.
- Есть ли возможность применить "последовательность запуска" не только к целым проектам,но и к их отдельным файлам.
Как пример, - при скачивании видео клипов с сайта в 10 соединений ОЕ захватывает по клипу на поток и перегружает общий канал с сайтом.
В результате сайт обрывает соединение по разным соединениям в любом порядке и скачивание клипов начинается снова - с нуля, и так далее.
ОЕ будет начинать качать одно и то же много раз, но не докачать до конца ни разу.
Препочтительнее будет создать из клипов последовательность и выкачивать их по очереди или только те, какие нужны.
- Как добавить в очередь свой отредактированный список ссылок для сайта из txt? Ведь сохранить очередь в txt можно.
Кстати, после отслеживания уточненного времени создания (секунды, до 5-ти знаков после запятой) экспортных копий файлов получилось, что экспорт происходит настолько быстро, что одномоментно может экспортироваться от 1 до 6-8 файлов. Которые, в свою очередь, вновь упорядочиваются системой по имени.
Отсюда возникает еще и пересортица экспортных копий файлов - система штатными средствами не может отображать время создания до долей секунды и давать возможность сортировки по нему. |
