ogenry
Advanced Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nag
dtSearch Support
Contents Search Download dtSearch Home
Using dtSearch with network storage devices
Last Reviewed: March 15, 2016
Article: DTS0221
Applies to: dtSearch Desktop, dtSearch Network, dtSearch Engine
Indexing data on network drives
dtSearch can index documents in any accessible network share, and only read access is needed. When indexing data on a network drive, each document indexed has to be read once, so the amount of network traffic generated will approximately equal the size of the documents being indexed. Because the documents are accessed read-only, there is no risk of damage to the documents being indexed.
Building indexes on network drives
Indexes can be located in any writable folder, including network drives and external drives.
Building an index requires a great deal of network I/O, and data is both read and written. When writing data across a network connection, data errors can occur, and data errors are much more likely when the amount of network I/O exceeds the capacity of the network or storage hardware. Writes to external devices can fail on the external device without any notification to the calling application (for example, delayed write errors on network drives). Because of this, network I/O errors can cause corrupt indexes even though dtSearch uses a transaction wrapper to protect the index against failed updates.
To minimize the risk of index corruption when building an index on a network drive:
(1) Set up dtSearch to locate temporary files created during indexing on a local drive. This will reduce the amount of network I/O required by over 50%. In dtSearch Desktop, click Options > Preferences > Indexing Resources, and set the location for "Temporary Files" to a location on the C: drive or another internal drive. In applications using the dtSearch Engine API, use IndexJob.TempFileDir to specify a folder that is located on an internal drive.
(2) Avoid updating multiple indexes on the same network drive at the same time.
On external drives, data errors are more likely with USB and Firewire drives. We have not had reports of data errors with eSATA drives.
For more information on indexing large document collections, see Optimizing indexing of large document collections.
Symptoms of network indexing problems
The exceptions.ix file in the index folder will log any I/O errors during indexing that dtSearch detected and was able to log in the index. Errors logged in exceptions.ix do not necessarily mean that the index is corrupt, because the logged errors are the ones that dtSearch was able to detect and handle.
The most common symptom of network indexing problems is the error "The specified network name is no longer available (64)" during an index update. This error indicates that dtSearch has detected that the network connection was lost during the indexing operation, and cancelled the index update. The error will only be logged in exceptions.ix if the dropped connection was intermittent (otherwise dtSearch would have no way to write the message to the log).
Searching indexes on network drives
Searching reads from indexes but does not write anything, so delayed write errors are not possible. However, some Windows network settings can cause intermittent "Unable to access index" errors searching indexes with a high volume of concurrent updates. Windows can be set to cache network metadata for relatively long periods of time, which can prevent search users from seeing a consistent view of the index folder. If intermittent "Unable to access index" errors occur during searches, and if the index is being updated frequently, change the DirectoryCacheLifetime, FileNotFoundCacheLifetime, and FileInfoCacheLifetime settings as described in this Microsoft article:
SMB2 Client Redirector Caches Explained
https://technet.microsoft.com/en-us/library/ff686200%28WS.10%29.aspx
Поддержка dtSearch
Содержание Поиск Скачать dtSearch Home
Использование dtSearch с сетевыми устройствами хранения
Последняя проверка: 15 марта 2016 г.
Статья: DTS0221
Применяется к: dtSearch Desktop, dtSearch Network, dtSearch Engine
Индексирование данных на сетевых дисках
dtSearch может индексировать документы в любом доступном сетевом ресурсе, и необходим только доступ для чтения. При индексации данных на сетевом диске каждый проиндексированный документ необходимо прочитать один раз, поэтому объем генерируемого сетевого трафика будет приблизительно равен размеру индексируемых документов. Поскольку документы доступны только для чтения, нет риска повреждения индексируемых документов.
Создание индексов на сетевых дисках
Индексы могут быть расположены в любой доступной для записи папке, включая сетевые диски и внешние диски.
Создание индекса требует большого количества операций ввода-вывода в сети, а данные считываются и записываются. При записи данных по сетевому соединению могут возникать ошибки данных, и ошибки данных гораздо более вероятны, когда объем сетевого ввода-вывода превышает емкость сетевого или аппаратного обеспечения хранения. Запись на внешние устройства может прерваться на внешнем устройстве без уведомления вызывающего приложения (например, ошибки отложенной записи на сетевых дисках). Из-за этого ошибки сетевого ввода-вывода могут привести к повреждению индексов, даже если dtSearch использует оболочку транзакции для защиты индекса от неудачных обновлений.
Чтобы минимизировать риск повреждения индекса при создании индекса на сетевом диске:
(1) Настройте dtSearch для поиска временных файлов, созданных во время индексации на локальном диске. Это уменьшит количество сетевых операций ввода-вывода более чем на 50%. В dtSearch Desktop выберите «Параметры»> «Установки»> «Индексирование ресурсов» и задайте для «Временных файлов» местоположение на диске C: или другом внутреннем диске. В приложениях, использующих API движка dtSearch, используйте IndexJob.TempFileDir, чтобы указать папку, расположенную на внутреннем диске.
(2) Избегайте одновременного обновления нескольких индексов на одном сетевом диске.
На внешних накопителях ошибки данных чаще встречаются на накопителях USB и Firewire. У нас не было сообщений об ошибках данных на дисках eSATA.
Для получения дополнительной информации об индексации больших коллекций документов см. Оптимизация индексации больших коллекций документов.
Симптомы проблем с индексацией сети
Файл exceptions.ix в папке index будет регистрировать все ошибки ввода-вывода во время индексации, которые обнаружил dtSearch и смог войти в индекс. Ошибки, зарегистрированные в файле exceptions.ix, не обязательно означают, что индекс поврежден, поскольку зарегистрированные ошибки - это те, которые dtSearch смог обнаружить и обработать.
Наиболее распространенным признаком проблем с индексацией сети является ошибка «Указанное имя сети больше не доступно (64)» во время обновления индекса. Эта ошибка указывает, что dtSearch обнаружил, что сетевое соединение было потеряно во время операции индексации, и отменил обновление индекса. Ошибка будет регистрироваться только в файле exceptions.ix, если разорванное соединение было прерывистым (в противном случае dtSearch не смог бы записать сообщение в журнал).
Поиск индексов на сетевых дисках
Поиск читает по индексам, но ничего не записывает, поэтому ошибки отложенной записи невозможны. Однако некоторые сетевые параметры Windows могут вызывать периодические ошибки «Не удается получить доступ к индексу» при поиске индексов с большим количеством одновременных обновлений. В Windows можно настроить кеширование сетевых метаданных на относительно длительные периоды времени, что может помешать пользователям поиска видеть согласованное представление папки индекса. Если при поиске возникают периодические ошибки «Невозможно получить доступ к индексу», и если индекс часто обновляется, измените параметры DirectoryCacheLifetime, FileNotFoundCacheLifetime и FileInfoCacheLifetime, как описано в этой статье Microsoft:
--------------------------------------------------------------------------------
Copyright 1991-2015 dtSearch Corp. All rights reserved. Click here for terms of use.
|
Варезник » dtSearch
