Если эти газеты рассчитаны на одну аудиторию, то существенное различие в частотах позволит судить о различиях в политике, проводимой людьми, стоящими за ними.
Вторая задача — отслеживание динамики изменения нагрузки на определенные категории. Например, выяснить частоту упоминания темы внешнего долга России в фиксированном наборе центральных газет на протяжении какого-то времени и соотнести ее с колебаниями курса доллара путем простого корреляционного анализа.
Из истории разведки известно, как по изменению в специальной литературе частоты упоминания определенных научных тем и фамилий ученых делались достоверные выводы об успехах, достигнутых в конкретных областях исследований.
Так, например, после того как в США был учрежден Консультативный комитет по урану, который стал наблюдать за ядерными исследованиями, была введена строгая цензура на все научные публикации в этой области. Последняя открытая работа американского ученого Макмиллана была напечатана в «Физикал ревью» 15 июня 1940 года.
На этот факт обратил внимание начальник научно-технической разведки СССР Леонид Романович Квасников. Вскоре этот факт подтвердил нью-йоркский резидент Г.Б.Овакимян. Предварительный вывод советской разведки был однозначен: американцы всерьез занялись созданием ядерного оружия, что впоследствии подтвердила агентурная информация.
Относительные частоты позволяют сравнивать два и более текстов, но иногда требуется сделать вывод на основе анализа лишь одного текста.
Например, имеется текст выступления депутата Думы, и требуется оценить, насколько оно агрессивно. Прежде всего для решения этой задачи должна быть составлена категория агрессивно окрашенной лексики. После этого мы можем сравнить текст выступления нашего депутата с выступлениями других и сказать, кто из них агрессивнее. Но от нас требуется не это, от нас требуется оценить степень агрессивности выступления. Очевидно, что для ответа на этот вопрос нам потребуется некоторая норма, своеобразная нулевая отметка агрессивности. Мы получим ее, если выясним относительную частоту употребления агрессивно окрашенных слов средним носителем русского языка. Помощь в этом могут оказать частотные словари. Сравнивая относительную частоту употребления агрессивно окрашенной лексики в выступлении депутата с частотой ее употребления средним носителем русского языка, мы как раз и можем сделать вывод о степени агрессивности. Но и это еще не все. Небольшие отклонения частот в большую или меньшую сторону могут быть следствием случайных колебаний. На вопрос о значимости отклонения частот позволяет ответить статистическая оценка, известная под названием z-score и вычисляемая по формуле
( N -Е)/(стандартное отклонение),
где N — количество слов данной категории, реально встретившихся в тексте, а Е — ожидаемое число вхождений слов данной категории в текст. Величина Е вычисляется путем умножения нормальной частоты категории на число слов в анализируемом тексте.
При аналитической обработке прессы применяется и так называемый метод «окон фактов». Его во время Второй мировой войны активно использовала американская разведка для изучения немецкой промышленности по открытым публикациям. Смысл метода состоит в том, чтобы из каждой конкретной публикации извлечь только несомненные факты, часто совершенно неинтересные и тривиальные. Сопоставление подобных «атомарных» фактов способно дать совершенно неожиданные новые знания.
В нашей стране еще с советских времен любят и умеют читать между строк, поэтому в качестве курьезного примера применения метода сопоставления фактов можно привести старый анекдот про землетрясение, когда средства массовой информации сообщают, что жертв и разрушений нет. А некоторое время спустя в центральной прессе под заголовком «Очевидное — невероятное» появляется статья о вернувшейся домой собаке, которая пропала во время последнего землетрясения со стадом овец и пятью пастухами.
В 70-80-е годы этот метод был применен для анализа развития американской промышленности, в результате чего на свет появилась весьма интересная книга Дж. Нэсбитта (Naisbitt, J. Megatrends. Ten New Directions Transforming our Lives), описывающая десять главных тенденций в развитии США того времени, которые не были видны простым глазом, но стали совершенно очевидны при обработке исходной фактуры по данной методике.
А теперь в качестве примера давайте рассмотрим следующее сообщение в прессе: «Новый директор Apple Стив Джобе заявил, что компания стала возрождаться и в 1999 год перейдет с прибылью 100 млн. долларов». Из этой фразы можно извлечь только тот несомненный факт, что в 1998 году директором Apple был некто Джобе. Далее по газетным публикациям о Джобсе можно составить описание его жизненного пути, а заодно провести анализ прибыльности возглавляемых им компаний в зависимости от его прихода и ухода.
Поскольку факты, собираемые подобным образом, имеют простую структуру, то по ним достаточно легко построить причинно-следственную цепочку, например «К — продукт компании „А“ 1997 г.», «Д — технический директор компании „А“ с 1996 по 1998 годы», следовательно, можно создать новый факт: «Д руководил выпуском продукта К в компании „А“. Или при наличии факта „Н — сотрудник компании „А“ с 1995 года“ можно автоматически создать факт „Н и Д знакомы“, имеющий определенную степень достоверности, и попробовать продлить цепочку знакомств дальше.
Системный подход (метод мозаики) к обработке прессы можно проиллюстрировать следующим примером. В 30-е годы в Лондоне вышла книга эмигрировавшего в Англию немецкого журналиста Бертольда Якоба. В ней он охарактеризовал 168 генералов и ведущих работников гитлеровского генерального штаба. По личному приказу Гитлера гестапо выкрало журналиста и доставило в Берлин с целью выяснения источников секретной информации Якоба. «Все, что опубликовано в моей книге, — заявил он на допросе, — я почерпнул из газет. Основание для утверждения, что генерал-майор Гаазе командует 17-й дивизией, расположенной в Нюрнберге, я извлек из некролога, помещенного в местной газете. В ней говорилось, что на похоронах присутствовал генерал Гаазе, командующий 17-й дивизией. В ульмской газете среди светских новостей я нашел данные о свадьбе дочери полковника Вирова с неким Штеммерманом. В заметке упоминалось, что Виров командует 30б-м полком 25-й дивизии. Майор Штеммерман был назван офицером службы связи этой дивизии. В газете сообщалось, что он приехал из Штутгарта, где расквартирована его дивизия…». На этом допрос закончился*. {Сергеев Ф.М. Тайное орудие агрессии: Подрывная деятельность США против СССР.-М.: Мысль, 1984.}
Еще один интересный пример можно найти в книге Г.Р. Берндорфа «Шпионаж». Накануне Первой мировой войны военную разведку Германии очень сильно интересовали данные об изменениях в итальянских береговых укреплениях. Для решения этой задачи в июле 1914 года в Милане было открыто бюро объявлений, которое выписывало практически все выходящие в Италии газеты, вплоть до самых мелких деревенских листков. Хозяйкой бюро являлась весьма эффектная дама — Анна Мари Лессер, больше известная под псевдонимом «Мадемуазель Доктор». Не тратя время на сон, она в течение нескольких суток, днем и ночью наносила на крупномасштабную карту Италии сведения из газетных объявлений военных комендатур о наборе персонала на земляные и бетонные работы. Более детально масштабы строительства оценивались по месту проведения работ агентами-маршрутниками.
Сегодня горячей порой сбора различной открытой информации являются предвыборные кампании кандидатов в законодательные и исполнительные органы власти. Интересен анализ публикаций «за» и «против» различных кандидатов, фиксация факта поддержки того или иного кандидата. При квалифицированном сборе и компьютерной обработке информации в ИБД можно выстроить очень интересные схемы, особенно четко это можно отследить в регионах, где вопросам оперативного легендирования уделяют значительно меньше внимания, чем в центре. Так, установление взаимосвязей по предвыборным штабам и партийным спискам позволяет заранее выявить возможный расклад групп «поддержки» того или иного хозяйствующего субъекта в органах законодательной или исполнительной власти. Пример приведен в приложении 2.
Приложение 1
Системы полнотекстного поиска
Сегодня рынок предлагает значительный перечень всевозможных поисковых утилит, программ и систем разного уровня. Программное обеспечение этого класса бывает двух типов*. {Градский П. Поисковые системы. // Санкт-Петербургские ведомости //, 26 июня 2002 года; Дериев И. Особенности национального поиска. // Компьютерное Обозрение // №15,17 — 23 апреля 2002. Уваров С. Ищущие да обрящут. http://nrd.pnpi.spb.ru/UseSoft/Journals/IntemetZone/izone229/pub/izone8.htm www.cronos.ru}
Программные продукты использующие технологию прямого поиска, просто перебирают файлы и выполняют поиск в каждом из них. Недостатком этой технологии являются значительные временные затраты. Аналогичные утилиты традиционно присутствуют во всех операционных системах, файловых менеджерах и инструментальных пакетах.
1. Поисковик AVSearch . Если у вас совсем нет денег, то вам может помочь бесплатная программа Анатолия Вознюка — AVSearch (www.avtlab.ru). Однако этот программный продукт умеет работать только с текстовыми файлами и файлами формата RTF, правда во всех кодировках от СР866 до Unicode, что, в частности, обеспечивает «поддержку» и формата DOC, т.к. документы Microsoft Word исследуются как обычный текст. Программа осуществляет поиск во всех популярных архивах без использования внешних модулей. Ее интерфейс достаточно прост и удобен. В общем программа неплохая, но ее существенным недостатком является медлительность.
2. Поисковик SSScanner с достаточно высокой скоростью работает с документами Word, WordPerfect, PDF, HLP, а также с несколькими десятками языков и кодировок.
Имеется возможность нечеткого поиска (по контексту) с оценкой релевантности и формальный. Результаты отображаются в отдельном окне с выдержками из оригинальных документов. SSScanner стоит около $30, условно-бесплатная версия имеет ряд ограничений.
В настоящее время программы прямого поиска уходят на второй план, их активно вытесняют программные продукты, использующие технологию поиска с индексированием. Программное обеспечение этого типа просматривает и анализирует указанные текстовые файлы, создавая собственную базу данных («индекс»), по которой затем и осуществляется поиск. Индексирование -процесс достаточно длительный, но зато поиск занимает считанные секунды. До недавнего времени основными недостатками данного ПО считались продолжительность операции первичного создания индекса и дополнительный расход дискового пространства. Однако для мощных современных компьютеров это не существенно. Некоторое неудобство по-прежнему связано с необходимостью регулярного обновления индексов, однако и это не проблема.
Начнем свое рассмотрение этого сегмента рынка полнотекстовых поисковиков с западных образцов.
1. Поисковик Advanced Document Server http://ads.newmail.ru/1 занимает немного дискового пространства, распространяется бесплатно, имеет массу возможностей: поддержка документов Microsoft Office, PDF, некоторых баз данных; поиск в архивных файлах; встроенный Web-сервер для удаленного доступа. Правда, имеется одно существенное «но»: для работы почти с каждым форматом необходимо «родное» ПО. Для DOC — Microsoft Word, для XLS — Excel, для PDF — полноценный Adobe Acrobat, а также Internet Explorer, архиваторы и пр.
И если многие, кто работает с документами Word, используют само приложение (хотя у Microsoft есть и специальная программа просмотра), то для PDF этот принцип уже не подходит. Помимо этого, применение средств автоматизации OLE в данном случае крайне негативно сказывается на производительности.
2. Программное обеспечение Greenstone предназначено для создания «цифровых библиотек», что подразумевает нечто большее, чем просто поиск с предварительным индексированием по документам DOC, PDF и пр. Этот программный продукт создает каталог документов, конвертирует их в HTML-формат, обеспечивает к библиотеке удаленный доступ посредством броузера. Распространяется бесплатно, с исходными текстами. Правда, работает довольно медленно.
3. Поисковик dtSearch Desktop (автоматически распознает различные кодировки, в том числе и кириллические (за исключением KOI-8), а также пару десятков форматов файлов, среди которых стоит выделить DOC, XLS, RTF, PDF, DBX (Outlook Express), XML, плюс популярные базы данных (через ODBC). В БД и гипертекстовых документах возможен поиск по содержимому конкретных полей и тегов. Даже защищенные PDF индексируются, но получить их названия и другие атрибуты программа не может. Несомненным достоинством программы является поиск в архивах ZIP.
По виду поиска используются: морфологический, фонетический, поиск синонимов, а также поиск в словах с орфографическими ошибками. Помимо этого, dtSearch Desktop предлагает пользователю словарь (построенный в процессе создания индекса) и при вводе запроса выполняет в нем автоматический поиск.
В качестве недостатка можно отметить только английский интерфейс программы. Стоит dtSearch Desktop около $200.
Российское программное обеспечение. По своим поисковым возможностям отечественные разработки имеют определенное преимущество перед западными, поскольку их разработчики априори лучше иностранцев разбираются во всевозможных лингвистических нюансах нашего государственного языка.
1. Поисковик " Ищейка " www.isleuthhound.com или http://www.isleuthhound.ru) (iSleuthHound Technologies).
«Ищейка» — это полнотекстовая персональная поисковая система, работа с которой напоминает работу в поисковых системах Интернета, таких как AltaVista, Yahoo, Rambler. При первом запуске она создает базу данных по имеющимся документам и индексирует ее. Каждая база данных представляет собой зону поиска — пространство на жестком диске, состоящее из каталогов, в пределах которого программа мгновенно находит документы и файлы. Тест-версия программы поддерживает возможность создания лишь двух зон поиска с индексированием в каждой максимально 500 файлов. Перед проведением поиска документов «Ищейке» необходимо указать зону поиска или создать новую, после чего ввести в окошке диалогового окна ключевые слова, которые должен содержать документ, и нажать кнопку Ищи!
Бесплатная версия «Ищейки» работает только с текстовыми и DOC-файлами, профессиональная ($15) еще с RTF и HTML. Помимо этого для профессиональной версии имеется набор дополнительных подключаемых фильтров — для текста во всех кодировках, документов других приложений Microsoft Office и PDF.
Поддержка PDF появилась в программе недавно, и пока этот модуль «не понимает» русского языка, хотя представители компании обещают устранить этот недостаток в самое ближайшее время. Зато модуль великолепно работает с защищенными документами — не только индексирует их содержимое, но и способен корректно определить название и даже извлечь текст.
2. Интеллектуальная поисковая система «Следопыт» ( («МедиаЛингва»). Последняя версия программы для хранения информации использует Microsoft SQL Server Desktop Edition. В ней устранены практически все замечания и вопросы, которые возникали прежде.
По своей функциональности «Следопыт» напоминает dtSearch. В распоряжении пользователей несколько вариантов поиска: нечеткий, т.е. «на естественном языке», система сама отбросит «шумовые» слова, а остальные приведет к морфологической основе; строгий, при котором ищутся в точности те слова, что указаны в запросе; формальный — с логическими и другими операторами и возможностью комбинирования двух предыдущих.
Поддерживаются текстовые файлы в самых разных кодировках, документы основных приложений Microsoft Office, PDF-файлы, в том числе и упакованные в zip-архивы, а также папки (как сами сообщения, так и вложения) Microsoft Outlook. Следует отметить, что используемые фильтры достаточно «честные», они работают с DOC-файлами именно как с документами Word, не индексируют PDF-файлы, защищенные от копирования информации, и т. д. — естественно, это может быть расценено двояко. Тем не менее PDF-фильтр из «Следопыта» показался одним из лучших при работе с русским языком.
Интерфейс программы достаточно удобен, за исключением нескольких нюансов. Например, окно просмотра найденных документов необходимо вызывать специально, при этом оно все время остается самым «верхним» и в некоторых случаях мешает работать с программой. Зато очень корректно извлекается текст из документов всех поддерживаемых форматов и подсвечиваются слова запроса.
Стоит только иметь в виду, что «Следопыт» работает лишь при запущенном приложении Microsoft SQL Server, это приложение устанавливается одновременно с установкой самого «Следопыта».
Программа распространяется в трех вариантах — персональном, профессиональном и корпоративном.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57
Вторая задача — отслеживание динамики изменения нагрузки на определенные категории. Например, выяснить частоту упоминания темы внешнего долга России в фиксированном наборе центральных газет на протяжении какого-то времени и соотнести ее с колебаниями курса доллара путем простого корреляционного анализа.
Из истории разведки известно, как по изменению в специальной литературе частоты упоминания определенных научных тем и фамилий ученых делались достоверные выводы об успехах, достигнутых в конкретных областях исследований.
Так, например, после того как в США был учрежден Консультативный комитет по урану, который стал наблюдать за ядерными исследованиями, была введена строгая цензура на все научные публикации в этой области. Последняя открытая работа американского ученого Макмиллана была напечатана в «Физикал ревью» 15 июня 1940 года.
На этот факт обратил внимание начальник научно-технической разведки СССР Леонид Романович Квасников. Вскоре этот факт подтвердил нью-йоркский резидент Г.Б.Овакимян. Предварительный вывод советской разведки был однозначен: американцы всерьез занялись созданием ядерного оружия, что впоследствии подтвердила агентурная информация.
Относительные частоты позволяют сравнивать два и более текстов, но иногда требуется сделать вывод на основе анализа лишь одного текста.
Например, имеется текст выступления депутата Думы, и требуется оценить, насколько оно агрессивно. Прежде всего для решения этой задачи должна быть составлена категория агрессивно окрашенной лексики. После этого мы можем сравнить текст выступления нашего депутата с выступлениями других и сказать, кто из них агрессивнее. Но от нас требуется не это, от нас требуется оценить степень агрессивности выступления. Очевидно, что для ответа на этот вопрос нам потребуется некоторая норма, своеобразная нулевая отметка агрессивности. Мы получим ее, если выясним относительную частоту употребления агрессивно окрашенных слов средним носителем русского языка. Помощь в этом могут оказать частотные словари. Сравнивая относительную частоту употребления агрессивно окрашенной лексики в выступлении депутата с частотой ее употребления средним носителем русского языка, мы как раз и можем сделать вывод о степени агрессивности. Но и это еще не все. Небольшие отклонения частот в большую или меньшую сторону могут быть следствием случайных колебаний. На вопрос о значимости отклонения частот позволяет ответить статистическая оценка, известная под названием z-score и вычисляемая по формуле
( N -Е)/(стандартное отклонение),
где N — количество слов данной категории, реально встретившихся в тексте, а Е — ожидаемое число вхождений слов данной категории в текст. Величина Е вычисляется путем умножения нормальной частоты категории на число слов в анализируемом тексте.
При аналитической обработке прессы применяется и так называемый метод «окон фактов». Его во время Второй мировой войны активно использовала американская разведка для изучения немецкой промышленности по открытым публикациям. Смысл метода состоит в том, чтобы из каждой конкретной публикации извлечь только несомненные факты, часто совершенно неинтересные и тривиальные. Сопоставление подобных «атомарных» фактов способно дать совершенно неожиданные новые знания.
В нашей стране еще с советских времен любят и умеют читать между строк, поэтому в качестве курьезного примера применения метода сопоставления фактов можно привести старый анекдот про землетрясение, когда средства массовой информации сообщают, что жертв и разрушений нет. А некоторое время спустя в центральной прессе под заголовком «Очевидное — невероятное» появляется статья о вернувшейся домой собаке, которая пропала во время последнего землетрясения со стадом овец и пятью пастухами.
В 70-80-е годы этот метод был применен для анализа развития американской промышленности, в результате чего на свет появилась весьма интересная книга Дж. Нэсбитта (Naisbitt, J. Megatrends. Ten New Directions Transforming our Lives), описывающая десять главных тенденций в развитии США того времени, которые не были видны простым глазом, но стали совершенно очевидны при обработке исходной фактуры по данной методике.
А теперь в качестве примера давайте рассмотрим следующее сообщение в прессе: «Новый директор Apple Стив Джобе заявил, что компания стала возрождаться и в 1999 год перейдет с прибылью 100 млн. долларов». Из этой фразы можно извлечь только тот несомненный факт, что в 1998 году директором Apple был некто Джобе. Далее по газетным публикациям о Джобсе можно составить описание его жизненного пути, а заодно провести анализ прибыльности возглавляемых им компаний в зависимости от его прихода и ухода.
Поскольку факты, собираемые подобным образом, имеют простую структуру, то по ним достаточно легко построить причинно-следственную цепочку, например «К — продукт компании „А“ 1997 г.», «Д — технический директор компании „А“ с 1996 по 1998 годы», следовательно, можно создать новый факт: «Д руководил выпуском продукта К в компании „А“. Или при наличии факта „Н — сотрудник компании „А“ с 1995 года“ можно автоматически создать факт „Н и Д знакомы“, имеющий определенную степень достоверности, и попробовать продлить цепочку знакомств дальше.
Системный подход (метод мозаики) к обработке прессы можно проиллюстрировать следующим примером. В 30-е годы в Лондоне вышла книга эмигрировавшего в Англию немецкого журналиста Бертольда Якоба. В ней он охарактеризовал 168 генералов и ведущих работников гитлеровского генерального штаба. По личному приказу Гитлера гестапо выкрало журналиста и доставило в Берлин с целью выяснения источников секретной информации Якоба. «Все, что опубликовано в моей книге, — заявил он на допросе, — я почерпнул из газет. Основание для утверждения, что генерал-майор Гаазе командует 17-й дивизией, расположенной в Нюрнберге, я извлек из некролога, помещенного в местной газете. В ней говорилось, что на похоронах присутствовал генерал Гаазе, командующий 17-й дивизией. В ульмской газете среди светских новостей я нашел данные о свадьбе дочери полковника Вирова с неким Штеммерманом. В заметке упоминалось, что Виров командует 30б-м полком 25-й дивизии. Майор Штеммерман был назван офицером службы связи этой дивизии. В газете сообщалось, что он приехал из Штутгарта, где расквартирована его дивизия…». На этом допрос закончился*. {Сергеев Ф.М. Тайное орудие агрессии: Подрывная деятельность США против СССР.-М.: Мысль, 1984.}
Еще один интересный пример можно найти в книге Г.Р. Берндорфа «Шпионаж». Накануне Первой мировой войны военную разведку Германии очень сильно интересовали данные об изменениях в итальянских береговых укреплениях. Для решения этой задачи в июле 1914 года в Милане было открыто бюро объявлений, которое выписывало практически все выходящие в Италии газеты, вплоть до самых мелких деревенских листков. Хозяйкой бюро являлась весьма эффектная дама — Анна Мари Лессер, больше известная под псевдонимом «Мадемуазель Доктор». Не тратя время на сон, она в течение нескольких суток, днем и ночью наносила на крупномасштабную карту Италии сведения из газетных объявлений военных комендатур о наборе персонала на земляные и бетонные работы. Более детально масштабы строительства оценивались по месту проведения работ агентами-маршрутниками.
Сегодня горячей порой сбора различной открытой информации являются предвыборные кампании кандидатов в законодательные и исполнительные органы власти. Интересен анализ публикаций «за» и «против» различных кандидатов, фиксация факта поддержки того или иного кандидата. При квалифицированном сборе и компьютерной обработке информации в ИБД можно выстроить очень интересные схемы, особенно четко это можно отследить в регионах, где вопросам оперативного легендирования уделяют значительно меньше внимания, чем в центре. Так, установление взаимосвязей по предвыборным штабам и партийным спискам позволяет заранее выявить возможный расклад групп «поддержки» того или иного хозяйствующего субъекта в органах законодательной или исполнительной власти. Пример приведен в приложении 2.
Приложение 1
Системы полнотекстного поиска
Сегодня рынок предлагает значительный перечень всевозможных поисковых утилит, программ и систем разного уровня. Программное обеспечение этого класса бывает двух типов*. {Градский П. Поисковые системы. // Санкт-Петербургские ведомости //, 26 июня 2002 года; Дериев И. Особенности национального поиска. // Компьютерное Обозрение // №15,17 — 23 апреля 2002. Уваров С. Ищущие да обрящут. http://nrd.pnpi.spb.ru/UseSoft/Journals/IntemetZone/izone229/pub/izone8.htm www.cronos.ru}
Программные продукты использующие технологию прямого поиска, просто перебирают файлы и выполняют поиск в каждом из них. Недостатком этой технологии являются значительные временные затраты. Аналогичные утилиты традиционно присутствуют во всех операционных системах, файловых менеджерах и инструментальных пакетах.
1. Поисковик AVSearch . Если у вас совсем нет денег, то вам может помочь бесплатная программа Анатолия Вознюка — AVSearch (www.avtlab.ru). Однако этот программный продукт умеет работать только с текстовыми файлами и файлами формата RTF, правда во всех кодировках от СР866 до Unicode, что, в частности, обеспечивает «поддержку» и формата DOC, т.к. документы Microsoft Word исследуются как обычный текст. Программа осуществляет поиск во всех популярных архивах без использования внешних модулей. Ее интерфейс достаточно прост и удобен. В общем программа неплохая, но ее существенным недостатком является медлительность.
2. Поисковик SSScanner с достаточно высокой скоростью работает с документами Word, WordPerfect, PDF, HLP, а также с несколькими десятками языков и кодировок.
Имеется возможность нечеткого поиска (по контексту) с оценкой релевантности и формальный. Результаты отображаются в отдельном окне с выдержками из оригинальных документов. SSScanner стоит около $30, условно-бесплатная версия имеет ряд ограничений.
В настоящее время программы прямого поиска уходят на второй план, их активно вытесняют программные продукты, использующие технологию поиска с индексированием. Программное обеспечение этого типа просматривает и анализирует указанные текстовые файлы, создавая собственную базу данных («индекс»), по которой затем и осуществляется поиск. Индексирование -процесс достаточно длительный, но зато поиск занимает считанные секунды. До недавнего времени основными недостатками данного ПО считались продолжительность операции первичного создания индекса и дополнительный расход дискового пространства. Однако для мощных современных компьютеров это не существенно. Некоторое неудобство по-прежнему связано с необходимостью регулярного обновления индексов, однако и это не проблема.
Начнем свое рассмотрение этого сегмента рынка полнотекстовых поисковиков с западных образцов.
1. Поисковик Advanced Document Server http://ads.newmail.ru/1 занимает немного дискового пространства, распространяется бесплатно, имеет массу возможностей: поддержка документов Microsoft Office, PDF, некоторых баз данных; поиск в архивных файлах; встроенный Web-сервер для удаленного доступа. Правда, имеется одно существенное «но»: для работы почти с каждым форматом необходимо «родное» ПО. Для DOC — Microsoft Word, для XLS — Excel, для PDF — полноценный Adobe Acrobat, а также Internet Explorer, архиваторы и пр.
И если многие, кто работает с документами Word, используют само приложение (хотя у Microsoft есть и специальная программа просмотра), то для PDF этот принцип уже не подходит. Помимо этого, применение средств автоматизации OLE в данном случае крайне негативно сказывается на производительности.
2. Программное обеспечение Greenstone предназначено для создания «цифровых библиотек», что подразумевает нечто большее, чем просто поиск с предварительным индексированием по документам DOC, PDF и пр. Этот программный продукт создает каталог документов, конвертирует их в HTML-формат, обеспечивает к библиотеке удаленный доступ посредством броузера. Распространяется бесплатно, с исходными текстами. Правда, работает довольно медленно.
3. Поисковик dtSearch Desktop (автоматически распознает различные кодировки, в том числе и кириллические (за исключением KOI-8), а также пару десятков форматов файлов, среди которых стоит выделить DOC, XLS, RTF, PDF, DBX (Outlook Express), XML, плюс популярные базы данных (через ODBC). В БД и гипертекстовых документах возможен поиск по содержимому конкретных полей и тегов. Даже защищенные PDF индексируются, но получить их названия и другие атрибуты программа не может. Несомненным достоинством программы является поиск в архивах ZIP.
По виду поиска используются: морфологический, фонетический, поиск синонимов, а также поиск в словах с орфографическими ошибками. Помимо этого, dtSearch Desktop предлагает пользователю словарь (построенный в процессе создания индекса) и при вводе запроса выполняет в нем автоматический поиск.
В качестве недостатка можно отметить только английский интерфейс программы. Стоит dtSearch Desktop около $200.
Российское программное обеспечение. По своим поисковым возможностям отечественные разработки имеют определенное преимущество перед западными, поскольку их разработчики априори лучше иностранцев разбираются во всевозможных лингвистических нюансах нашего государственного языка.
1. Поисковик " Ищейка " www.isleuthhound.com или http://www.isleuthhound.ru) (iSleuthHound Technologies).
«Ищейка» — это полнотекстовая персональная поисковая система, работа с которой напоминает работу в поисковых системах Интернета, таких как AltaVista, Yahoo, Rambler. При первом запуске она создает базу данных по имеющимся документам и индексирует ее. Каждая база данных представляет собой зону поиска — пространство на жестком диске, состоящее из каталогов, в пределах которого программа мгновенно находит документы и файлы. Тест-версия программы поддерживает возможность создания лишь двух зон поиска с индексированием в каждой максимально 500 файлов. Перед проведением поиска документов «Ищейке» необходимо указать зону поиска или создать новую, после чего ввести в окошке диалогового окна ключевые слова, которые должен содержать документ, и нажать кнопку Ищи!
Бесплатная версия «Ищейки» работает только с текстовыми и DOC-файлами, профессиональная ($15) еще с RTF и HTML. Помимо этого для профессиональной версии имеется набор дополнительных подключаемых фильтров — для текста во всех кодировках, документов других приложений Microsoft Office и PDF.
Поддержка PDF появилась в программе недавно, и пока этот модуль «не понимает» русского языка, хотя представители компании обещают устранить этот недостаток в самое ближайшее время. Зато модуль великолепно работает с защищенными документами — не только индексирует их содержимое, но и способен корректно определить название и даже извлечь текст.
2. Интеллектуальная поисковая система «Следопыт» ( («МедиаЛингва»). Последняя версия программы для хранения информации использует Microsoft SQL Server Desktop Edition. В ней устранены практически все замечания и вопросы, которые возникали прежде.
По своей функциональности «Следопыт» напоминает dtSearch. В распоряжении пользователей несколько вариантов поиска: нечеткий, т.е. «на естественном языке», система сама отбросит «шумовые» слова, а остальные приведет к морфологической основе; строгий, при котором ищутся в точности те слова, что указаны в запросе; формальный — с логическими и другими операторами и возможностью комбинирования двух предыдущих.
Поддерживаются текстовые файлы в самых разных кодировках, документы основных приложений Microsoft Office, PDF-файлы, в том числе и упакованные в zip-архивы, а также папки (как сами сообщения, так и вложения) Microsoft Outlook. Следует отметить, что используемые фильтры достаточно «честные», они работают с DOC-файлами именно как с документами Word, не индексируют PDF-файлы, защищенные от копирования информации, и т. д. — естественно, это может быть расценено двояко. Тем не менее PDF-фильтр из «Следопыта» показался одним из лучших при работе с русским языком.
Интерфейс программы достаточно удобен, за исключением нескольких нюансов. Например, окно просмотра найденных документов необходимо вызывать специально, при этом оно все время остается самым «верхним» и в некоторых случаях мешает работать с программой. Зато очень корректно извлекается текст из документов всех поддерживаемых форматов и подсвечиваются слова запроса.
Стоит только иметь в виду, что «Следопыт» работает лишь при запущенном приложении Microsoft SQL Server, это приложение устанавливается одновременно с установкой самого «Следопыта».
Программа распространяется в трех вариантах — персональном, профессиональном и корпоративном.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57