Оценка качества в задаче агрегирования новостных сообщений Михаил Маслов Версия 2005.01.23_01. - презентация

1 Оценка качества в задаче агрегирования новостных сообщений Михаил Маслов Версия _01

2 Задачи автоматических новостных агрегаторов (Google News, Яндекс.Hовости, Новотека) Основные задачи: Агрегирование: группирование новостных сообщений в сюжеты (topic detection) Выделение главных событий, т.е. ранжирование сюжетов Основные понятия: Событие (event) - нечто, происходящее в определенное время, в определённом месте, наряду со всеми необходимыми причинами и всеми неотвратимыми последствиями. Событийный сюжет (event-based topic) - отражение события в потоке новостных сообщений, т.е. набор новостных сообщений, посвященных соответствующему событию.

3 Методики и приложения Topic detection and Tracking научное сообщество, организовавшее новостные дорожки. Целевая аудитория -- профессиональные аналитики Есть ли измерение качества в виде дорожки -- есть Есть ли реально работающие приложения -- не похоже Новостные агрегаторы – Google News, Яндекс.Новости, Новотека) Целевая аудитория -- в основном массовая Есть ли "дорожка" -- нет Есть ли реально работающие приложения -- есть

4 Об асессорах в задаче агрегирования сюжетов Желательные качества асессоров Способность понять, относятся ли два новостных сообщения к одному событию – базовое умение асессора в этой задаче. Склонность к историческим исследованиям – корпуса текстов уже имеют возраст год-полтора Категории людей, имеющих дело с новостями Изготовители новостей –Писатели – репортеры и аналитики-комментаторы –Редакторы Аудитория –Нормальные люди, или обыватели –Интересующиеся, или пикейные жилеты Подходящие категории на роль асессоров – Либо Редакторы, либо Пикейные жилеты

5 Оценки в TDT Оценки в TDT для задачи агрегирования сюжета Основаны на сравнении с эталоном. Дополнительные определения Порождающее событие (seminal event) -- событие, инициирующее сюжет Правила интерпретации порождающих событий: –События классифицируется по типам: выборы, скандалы, происшествия, … : всего 11 типов –Для каждого типа событий описывается "типичный сценарий "

6 Этапы построения эталона в TDT 1. Составление случайной выборки сообщений (seed stories) –В TDT-2 выбрано 1600 сообщений из ~70 тыс., из них вручную выделено 60 порождающих сюжеты сообщений 2. Исследование и описание выбранных сюжетов –Выбор и описание порождающего события в форме "что произошло, где и когда; сопоставление ему правила интерпретации –Составление заголовка и аннотации сюжета 3. Отнесение новостных сообщений к к сюжетам: –в TDT-2: проход по сообщениям и отнесение каждого сообщения к одному из сюжетов ("метод грубой силы) –в TDT-3: проход по сюжетам; итеративный поиск с последовательными переформулированиями запросов

7 Проблемы TDT и его развитие Вложенность сюжетов – сюжет, порожденный одним событием, может оказаться частью другого – более общего сюжета. Решения – а) введение иерархии событий и сюжетов, б) организация поточной обработки событий (event threading) Перекрытие сюжетов – по опыту Яндекс.Новостей, это не очень заметная проблема Необходимость поддержки пользовательского исправления ошибок Необходимость не-причинно-следственных типов связей между сюжетами – типы связей: по персонам, организациям, времени, месту

8 Оценки новостной дорожки в РОМИПе – вариант 1 Попарный пулинг 1.Из ответов нескольких систем формируется выборка пар сообщений. 2.Пары даются асессорам для ответа на вопрос о принадлежности одному событию.

9 Оценки новостной дорожки в РОМИПе – вариант 2 Агломеративное построение многоверсионного эталона Автоматически строятся компактные группы близких сообщений, и асессоры оценивают сообщения каждой группы на принадлежность одному событию. Оценки на этом этапе не дублируются. Группы объединяются асессорами в сюжеты по принадлежности одному событию. Оценки на этом этапе дублируются, т.е. считается, что эталон не единственен. Проблемы 1.Проблема квалификации асессоров -- В TDT использовались специально обученные асессоры, которые работали долго, и все равно результаты плохие. У нас (в РОМИПе) асессоры набираются среди студентов. Поэтому качество сюжетов будет плохим, и согласованность оценок будет низкой. 2.Затратность построения инструментария для оценок

10 Оценки новостной дорожки в РОМИПе – вариант 3 Группирование вокруг лица сюжета Из ответов нескольких систем формируется выборка сюжетов, представленных лицами – сообщениями, описывающих конечное состояние сюжета. Версии сюжетов от систем объединяются по лицам. Асессоры должны оценить каждое сообщение сюжета на степень принадлежности к нему, основываясь на лице сюжета. Проблемы 1.Принцип сравнения с "лицом" сюжета может свести задачу агрегирования к поиску групп похожих документов. 2."Лица" сюжетов, по-видимому, будут порождать в оценках асессоров вложенные сюжеты. 3.При историческом исследовании удобнее отслеживать события с начала их развития, a не с конца. 4.Задача "озаглавливания" сюжетов для новостных агрегаторов имеет свою специфику. Соответствие заголовка содержанию сюжета – главный, но далеко не единственный фактор.

11 Заключение Есть дилемма между простотой методики оценок и качеством результата. По-видимому, надо найти какой-то разумный баланс.