10.1. Информационно-поисковые тезаурусы в условиях сверхбольших электронных коллекций и автоматической обработки текстов. Тезаурус для автоматического концептуального индексирования как особый вид тезауруса

Отношения в информационно-поисковых ресурсах: альтернативы Традиционный информационно- поисковый тезаурус: выше-ниже, ассоциация Ассоциации – невозможно использовать в автоматической обработке Лингвистические исследования: наборы семантических ролей Наборы разные для разных областей часто сложно поставить точное отношение, как использовать различные отношения

Современные подходы к описанию отношений при разработке онтологий отношения – произвольный предикат, свойства задаются аксиомами P(x1,…xn) Для того, чтобы такая система отношений работала, нужно стабильно находить отношения в разнообразных текстах Но это проблема! Аргументы могут оказаться далеко друг от друга в тексте, между ними может быть другое отношение или совсем не быть отношений.

Наш подход к описанию отношений Отношения должна иметь максимально четкие правила установления Отношения должны позволять осуществлять вывод по тезаурусу в автоматическом режиме Ресурс должен начать работать в разумные сроки для неограниченных текстов в сложных предметных областях

Надежные отношения Цель: необходимо использовать отношения, не имея возможности подробно проанализировать контекст упоминания понятия в тексте. –При расширении запроса – это невозможно для текста –Возможности систем автоматической обработки текста для анализа релевантности контекста ограниченны Необходимо найти и описать для понятия те отношения, которые выполняются для понятия практически всегда: –для всех или большинства примеров понятия –в течение всего (или почти всего) времени существования примера Нужно описывать надежные отношения

Родовидовое отношение ВЫШЕ- НИЖЕ Проверочное правило: Х – это вид У Береза – это вид деревьев Дерево – это вид растений Транзитивное отношение: береза – это растение => можно использовать для выводов Свойства наследования: свойства вышестоящего наследуются на нижестоящее Надежное отношение: –Отношение выполняется для всех примеров понятия –Отношение выполняется все время существования примера

Между понятиями могут быть отношения, частично нарушающие свойства родовидового отношения Проверочное правило выполняется, но свойства отношения изменились. Проверочная фраза необходимое, но не достаточное условие

Отношения, похожие на родовидовое отношение - Не все свойства вышестоящего наследуются или значения свойств заменяются: мать – приемная мать Мебель – пианино Аванс - задаток Нужно отметить, что с отношением есть проблемы: пометка А – ВЫШЕ_А аспект, точка зрения

Семантическое смещение Река – водный объект – водные ресурсы – вода – вещество??? Каждая пара соседей может быть подставлена в проверочную фразу Река, водный объект имеют форму, границы, а вода, вещество – не имеют формы. Потеря семантического типа Родовидовое отношение не устанавливается

Отношения онтологической зависимости. Формальная онтология. N.Guarino может ли сущность (С1) существовать сама по себе, или подразумевает существование чего-либо еще (С2): подразумевает ли существование сущности существование чего-либо какой-либо конкретной сущности (строгая зависимость - rigid dependence), например, кипение (С1) - жидкост ь (С2); предполагается ли существование примеров некоторого класса (generic dependence – зависимость по классу) некоторых сущностей, гараж (С1) – автомобиль (С2); предполагает ли существование С1 в некоторый момент времени t 1, существования C2 в некоторый другой момент времени t 2 (историческая зависимость): солома (С1) – молотьба С2.

Отношения онтологической зависимости и семантические имена ГАРАЖ зависит_от АВТОМОБИЛЬ (назначение?) РЕКА зависит_от ПРЕСНАЯ ВОДА (часть?) ГИДРО- ЭЛЕКТРОСТАНЦИЯ зависит_от РЕКА (источник?) ЛЕС зависит_от ДЕРЕВО (часть?) ЛЕСНИЧЕСТВО зависит_от ЛЕС (место?) КИПЕНИЕ зависит_от ЖИДКОСТЬ (пациенс?) Семантические названия отношениям концептуальной зависимости придумать непросто, и они были бы достаточно разнообразны

Лес: части БУРЕЛОМ (ВЕТРОВАЛ; БУРЕЛОМНЫЙ) ГРУППА ЛЕСА ЗАРОСЛЬ (ЗАРОСЛЕВЫЙ) ЛЕСНАЯ КУЛЬТУРА (ЛЕСНАЯ ПОРОДА; ЛЕСОХОЗЯЙСТВЕННАЯ КУЛЬТУРА) ЛЕСНАЯ ПОЧВА (ЛЕСНАЯ ПОДСТИЛКА) ЛЕСНЫЕ ЗЕМЛИ (ЛЕСНЫЕ УГОДЬЯ; ЛЕСНАЯ ТЕРРИТОРИЯ; ЛЕСОРАСТИТЕЛЬНЫЙ РАЙОН; ЛЕСОРАСТИТЕЛЬНАЯ ЗОНА; ЛЕСОПОКРЫТЫЕ ПЛОЩАДИ; ЛЕСОПОКРЫТЫЕ ЗЕМЛИ; ЗЕМЛИ ЛЕСНОГО ФОНДА; ЗЕМЛИ, ПОКРЫТЫЕ ЛЕСОМ; ПОКРЫТЫЕ ЛЕСОМ ПЛОЩАДИ) ОПУШКА (ОПУШЕЧНЫЙ) ПОДЛЕСОК (ПОДЛЕСОЧНЫЙ) ПОДРОСТ (МОЛОДНЯК) ПРОДУКТИВНОСТЬ ЛЕСА (БОНИТЕТ ЛЕСА) СУХОСТОЙ (СУХОСТОЙНЫЙ)

Лес: зависимые понятия ЛЕСНОЙ ПОЖАР (ЛЕСОПОЖАРНЫЙ; ПОЖАР В ЛЕСУ)ЛЕСНОЙ ПОЖАР (ЛЕСОПОЖАРНЫЙ; ПОЖАР В ЛЕСУ) ЛЕСНАЯ НАУКА (НАУКА О ЛЕСЕ)ЛЕСНАЯ НАУКА (НАУКА О ЛЕСЕ) ЛЕСОВЛАДЕНИЕЛЕСОВЛАДЕНИЕ ЛЕСОПОЛЬЗОВАНИЕ (ЛЕСНОЕ ПОЛЬЗОВАНИЕ; ПОЛЬЗОВАНИЕ УЧАСТКАМИ ЛЕСНОГО ФОНДА)ЛЕСОПОЛЬЗОВАНИЕ (ЛЕСНОЕ ПОЛЬЗОВАНИЕ; ПОЛЬЗОВАНИЕ УЧАСТКАМИ ЛЕСНОГО ФОНДА)

Отношения онтологической зависимости и реальные проекты Отношения строгой и родовой онтологической зависимости –Общественно- политический тезаурус, по н.в – 28 тысяч понятий –Тезаурус русского языка РуТез – 1997-по н.в. – 45 тысяч понятий – 177 тысяч отношений –АвиаОнтология – – 1.5 тысячи понятий –Тезаурус по компьютерной безопасности – тысячи понятий Онтология по естественным наукам (2004-…)

Оценка эффективности поиска по тезаурусу по сравнению с контекстным поиском по векторной модели Запросы: рубрики из каждого из 20 подразделов Классификатора правовых актов. Пример рубрики «Использование атомной энергии». Массив документов: Нормативные акты Поиск релевантных документов для запроса: Сокращение интервала – просмотр документов Методика оценки: TREC вычисление средней точности в трех точках полноты: 0.2, 0.5, 0.8.

Сравнение поисковых механизмов

АЛОТ Автоматизированная Лингвистическая Обработка Текста

Автоматическая обработка текстов на основе Тезауруса Концептуальное индексирование Ранжированный информационный поиск: Тестирование (методика TREC): значительное увеличение полноты при сохранении точности поиска. Интегральная оценка: средняя точность поиска по терминам в 1.2 раза выше. Автоматическая рубрикация текстов - более 10 различных рубрикаторов - количество рубрик от 35 до рубрика как сложный запрос Автоматическое аннотирование (summarization) текстов (первое место в номинации «Индикативная аннотация наилучшей длины» конференции по автоматическому аннотированию SUMMAC (1998)) Тематическая аннотация

Обработка документов в УИС РОССИЯ Автоматизированная Автоматизированная Лингвистическая Лингвистическая Обработка Обработка Текстов Текстов *.POD*.OUT*.PLM*.HDR ORACLE WEB (Apache; OAS) Администр. источники конверторы *.HTM

АЛОТ: основные этапы Конвертация файлов: формальные характеристики и неиндексируемые фрагменты Графематический и морфологический анализ Терминологический анализ: сопоставление с тезаурусом. Терминологический индекс Разрешение многозначности терминов Тематический анализ: формирование тематических узлов Построение тематического представления: основные и локальные тематические узлы. Определение весов терминов Определение рубрик по заданным рубрикаторам Построение аннотации

Формирование тезаурусной проекции текста Для понятий текста (в том числе неподвержденных от многозначных текстовых входов) –Из тезауруса выгружаются все непосредственные отношения –устанавливаются те отношения, которые могут быть сведены к одному отношению по свойствам отношений Получаем «проекцию» тезауруса на текст – сеть понятий сложной формы или совокупность нескольких сетей

Разрешение многозначности терминов Термин => Варианты понятий –Есть ли у понятия отношения с другими понятиями текста в тезаурусной проекции –Есть ли у понятия отношения с другими понятиями тезаурусной проекции в абзаце –Связаны ли варианты понятий между собой – выбирается более высокое по иерархии (заем) –Невыбранное понятие отражается сдвигом Термин => Понятие с подтверждением (образование)

Покрытие терминологией Тезауруса лексики НА РФ (Постановление Правительства РФ от 26 июня 1995 г. N 604) О порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы Во исполнение Закона Российской Федерации "О статусе военнослужащих" и в целях обеспечения прав на жилище военнослужащих и граждан, уволенных с военной службы, Правительство Российской Федерации п о с т а н о в л я е т : 1. Утвердить прилагаемое Положение о порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы. 2. Министерству обороны Российской Федерации и иным федеральным органам исполнительной власти, в которых предусмотрена военная служба: в месячный срок разработать и утвердить формы и перечень документов, необходимых для принятия решения об оказании военнослужащим безвозмездной финансовой помощи на строительство (покупку) жилья и о выплате денежной компенсации за наем (поднаем) жилых помещений; расходы, связанные с оказанием военнослужащим безвозмездной финансовой помощи и выплатой денежной компенсации за наем (поднаем) жилых помещений, производить за счет и в пределах средств, выделяемых из федерального бюджета по сметам этих федеральных органов исполнительной власти. 3. Органам исполнительной власти субъектов Российской Федерации: оказывать безвозмездную финансовую помощь в избранном постоянном месте жительства гражданам, уволенным с военной службы, осуществляющим строительство (покупку) жилья, за счет и в пределах средств федерального бюджета, выделяемых на жилищное строительство для этой категории граждан;

Определение важности термина Сопоставление с тезаурусом приводит к распознаванию большого количества терминов в тексте Необходимо определить значимость термина в тематической структуре текста => поставить вес термина Можно использовать частотность термина в тексте и в коллекции Но: термины текста – это не набор независимых элементов, между ними имеются отношения – отражены в тезаурусе

Тематические линии терминов Тезауруса (Постановление Правительства РФ от 26 июня 1995 г. N 604) О порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы Во исполнение Закона Российской Федерации "О статусе военнослужащих" и в целях обеспечения прав на жилище военнослужащих и граждан, уволенных с военной службы, Правительство Российской Федерации п о с т а н о в л я е т : 1. Утвердить прилагаемое Положение о порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы. 2. Министерству обороны Российской Федерации и иным федеральным органам исполнительной власти, в которых предусмотрена военная служба: в месячный срок разработать и утвердить формы и перечень документов, необходимых для принятия решения об оказании военнослужащим безвозмездной финансовой помощи на строительство (покупку) жилья и о выплате денежной компенсации за наем (поднаем) жилых помещений; расходы, связанные с оказанием военнослужащим безвозмездной финансовой помощи и выплатой денежной компенсации за наем (поднаем) жилых помещений, производить за счет и в пределах средств, выделяемых из федерального бюджета по сметам этих федеральных органов исполнительной власти. 3. Органам исполнительной власти субъектов Российской Федерации: оказывать безвозмездную финансовую помощь в избранном постоянном месте жительства гражданам, уволенным с военной службы, осуществляющим строительство (покупку) жилья, за счет и в пределах средств федерального бюджета, выделяемых на жилищное строительство для этой категории граждан;

Связь локальной и глобальной связности текста Если мы сформулируем основную тему текста и посмотрим, как в тексте расположены слова, близкие по смыслу элементам основной темы, то мы увидим, что эти совокупности близких по смыслу слова как бы пронизывают весь текст, скрепляют его Мы, имея тезаурус, можем «увидеть» эти цепочки близких по смыслу слов Как добраться к основной теме и подтемам документа

Тематическая структура текста (van Dijk) Главная тема текста может быть сформулирована как пропозиция P(C1, …, Cn) Главная тема уточняется в тексте с помощью подтем P1(C11, …, C1n1), P2(C21, …, C2n2), …, Pm(Cm1, …, Cmnm) Каждое предложение текста соответствует какой либо подтеме текста Что такое Cij в подтемах? В каждой подтеме должна быть хотя бы одна ссылка на тему или подтему более высокого уровня

Тематические узлы Для каждого понятия главной темы текст содержит близкие по смыслу понятия, необходимые для ссылки на это понятие в подтемах. Такая структура выглядит как узел – тематический узел. «Ниточки» близких по смыслу слов и словосочетаний имеют внутреннюю структуру – узел, когда все элементы цепочки наиболее близки одному центральному понятию.

Как найти центры тематических узлов и построить узлы Предполагаем: центральные понятия тематических узлов должны выделяться среди близких по смыслу понятий – частотность, заголовок. Тематический узел должен включать близкие по смыслу понятия к центру тематического узла. Как определить близкие по смыслу понятия по тезаурусу? Естественное определение: понятия, близкие по смыслу к понятию С – это такие понятия, для которых либо установлена прямая связь с понятием С (путь длины 1), либо путь до понятия С может быть сведен к одному отношению путем применения правил по свойствам отношений

ЖИЛОЕ ПОМЕЩЕНИЕ (25) ЖИЛОЕ ЗДАНИЕ (1) КВАРТИРА (2) А А СОБСТВЕННОСТЬ (1) ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО (4) КОМНАТА (ПОМЕЩЕНИЕ) (1) В В НАЕМ ЖИЛОГО ПОМЕЩЕНИЯ (13) МНОГОКВАРТИРНЫЙ ДОМ (1) ЗДАНИЕ (1) СООРУЖЕНИЕ (1) ЖИЛАЯ ПЛОЩАДЬ (1) СТРОИТЕЛЬСТВО (12) ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ (2) ЖИЛИЩНАЯ НОРМА (2) НАНЯТЬ (13) ПОКУПКА (6) ПЛАТИТЬ (1) ДЕНЬГИ (22) А Сеть тематических узлов (Постановление Правительства РФ от 26 июня 1995 г. N 604)

Как найти главные тематические узлы Главные тематические узлы – узлы, центры которых находятся в формулировке основной темы текста Подтемы конкретизируют основную тему, должны раскрывать отношения между элементами главной темы => понятия главных тематических узлов должны встречаться рядом друг с другом чаще, чем с другими понятиями Необходимо отразить единство основной темы – больше чем совокупность пар понятий

TN j+2 TN j+1 TN j MT k MT 3 MT 2 MT 1 Mc 1 Mc 3 Mc k Mc 2 Структура тематического представления Основные тематические узлы Локальные тематические узлы

Тематическое представление текста Главные тематические узлы Локальные тематические узлы (имеют текстовые связи по крайней мере с двумя главными тематическими узлами) Упоминавшиеся понятия Важность понятия в тематическом представлении –Центр главного тематического узла –Элемент главного тематического узла –Центр тематического узла –Элемент тематического узла –Упоминавшееся понятие

Пример релевантного документа по запросу «трудовая миграция» расширением запроса по иерархии тезауруса

Структурная тематическая аннотация Документы, для которых трудно автоматически построить связную аннотацию: –Законы, международные договора –Интервью –Документы на других языках Тематическая структурная аннотация: –Основные тематические узлы –Указана их относительная частотность –Указана их относительная совместная встречаемость

Тематическая аннотация (Постановление Правительства РФ от 26 июня 1995 г. N 604) | ВОЕННАЯ СЛУЖБА; ВОЕННОСЛУЖАЩИЙ; ВОИНСКАЯ СЛУЖБА ПО КОНТРАКТУ | ****| | | | | | | ЖИЛОЕ ПОМЕЩЕНИЕ; НАЕМ ЖИЛОГО ПОМЕЩЕНИЯ; ОБЕСПЕЧЕННОСТЬ ЖИЛЬЕМ; | ****| X | КВАРТИРА; ЖИЛИЩНАЯ НОРМА; КОМНАТА (ПОМЕЩЕНИЕ); ЗДАНИЕ; | | | ЖИЛОЕ ЗДАНИЕ; ЖИЛАЯ ПЛОЩАДЬ | | | | | | ФИНАНСОВАЯ ПОМОЩЬ; | ****| z | z | | | | | | | | | ГРАЖДАНИН | ****| X | z |. | | | | | | | | | | | УВОЛЬНЕНИЕ; | ****| X | z |. | X | | | | | | | | | | | | | СТРОИТЕЛЬСТВО; ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО; | ****|. | X | z |. |. | ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ; | | | | | | | | | | | | | | ФЕДЕРАЛЬНЫЙ ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ; | ****| X |. | z |. |. |. | ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ; ПРАВИТЕЛЬСТВО; | | | | | | | | ПРАВИТЕЛЬСТВО РОССИИ; МИНИСТЕРСТВО ОБОРОНЫ; | | | | | | | | | | | | | | | | ПОКУПКА; ДЕНЬГИ; ПЛАТИТЬ; | ****| z | X | z |. |. | z | z | |

Пример текстового документа

Структурная тематическая аннотация для документов сложных жанров

Автоматическое построение связной аннотации

Системы автоматической рубрикации, реализованные на основе Тезауруса Классификатор Центральной Избирательной комиссии (450 рубрик, 4 уровня) Классификатор правовых актов РФ (Указ Президента РФ N511 от 15 марта 2000 г., 1169 рубрик) Классификатор экономической информации JEL (700 рубрик на английском языке) Классификатор социологических опросов ВЦИОМ (350 рубрик) Классификаторы по экономике и социологии ГРНТИ и др.

Технология автоматического рубрицирования Опора на знания, описанные в Общественно-политическом Тезаурусе Представление рубрики в виде логической формулы для небольшого числа ОПОРНЫХ концептов, затем автоматическое расширение с использованием иерархической структуры Тезауруса Независимый от конкретного рубрикатора (изменения состава рубрикатора) автоматический тематический анализ текста – выявление в тексте совокупностей близких терминов, выявление терминов, характеризующих основную тему и подтемы документов

Схема описания рубрики Рубрика Альтернатива 1 Альтернатива 2 У 11 У 12 У 13 У 21 Условие 22 ИЛИ ИИИ

Представление смысла рубрики опорными понятиями

ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ ПОСТАНОВЛЕНИЕ (от 26 декабря 2001 г. N 905) О подписании Соглашения между Правительством Российской Федерации и Правительством Туркменистана о сотрудничестве в области исследования и использования космического пространства в мирных целях … Космическая деятельность 64 T ПУСК РАКЕТЫ1264 T4200 КОСМОДРОМ863 T БАЙКОНУР863 T6783 РАКЕТА-НОСИТЕЛЬ662 T955 КОСМОНАВТИКА662 T956 КОСМИЧЕСКАЯ ТЕХНИКА461 T ЗАПУСК КОСМИЧЕСКИХ АППАРАТОВ361 T1023 КОСМИЧЕСКИЙ АППАРАТ261 T1022 СПУТНИКОВАЯ СВЯЗЬ160 T КОСМИЧЕСКИЕ ИССЛЕДОВАНИЯ160 T9340 КОСМИЧЕСКАЯ МЕДИЦИНА160 T5962 АСТРОФИЗИКА160 T2497 ИСКУССТВЕННЫЙ СПУТНИК ЗЕМЛИ115

Содержание и порядок прохождения военной службы 95 T791 ВОЕННАЯ СЛУЖБА T792 ВОЕННОСЛУЖАЩИЙ T6999 ВОИНСКАЯ СЛУЖБА ПО КОНТРАКТУ Строительство 81 T55 СТРОИТЕЛЬСТВО T482 ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО 4 64 T6217 ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ Федеральные органы исполнительной власти 77 T2576 ФЕД. ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ 7 77 T5109 МИНИСТЕРСТВО ОБОРОНЫ Кадры Вооруженных Сил Российской Федерации 76 T792 ВОЕННОСЛУЖАЩИЙ Компенсационные и иные социальные выплаты 75 T КОМПЕНСАЦИЯ Фрагмент рубрик, приписанных документу (Постановление Правительства РФ от 26 июня 1995 г. N 604)

Вопросы к лекции 1.Базовые семантические отношения. 2.Перечислите этапы автоматической обработки текстов на основе Тезауруса. 3.Опорные моменты технологии автоматического рубрицирования