Разработка инструмента для извлечения мнения о фильмах из русскоязычных сообщений сервиса Twitter Мерчи Александр Группа С-104 МИЭМ 13.05.2011. - презентация

1 Разработка инструмента для извлечения мнения о фильмах из русскоязычных сообщений сервиса Twitter Мерчи Александр Группа С-104 МИЭМ

2 Постановка задачи Анализ существующих на рынке систем по opinion mining; Спроектировать и разработать приложение для определения мнения о каком-либо фильме; Внедрить разработанное приложения в Интернет для общего доступа пользователей.

3 Opinion Mining Определение Opinion Mining (анализ мнений) Актуальность Opinion Mining Примеры использования Opinion Mining

4 Анализ существующих решений

5 Разработка приложения для определения мнений

6 Общая схема работы приложения

7 Создание базы данных с фильмами Поиск источника данных Парсинг данных

8 Разработка приложения-паука для обновления базы сообщений из сервиса Twitter Что такое Twitter? Парсинг сообщений из Twittera Подготовка сообщений Фильтрация сообщений Анализ сообщений

9 Разработка анализатора сообщений Составление словаря эмоциональных слов Выбор инструмента для нормализации слов Алгоритм анализа текста

10 Составление словаря эмоциональных слов Ограничения сообщений Twittera Анализ рецензий Работа со словарем Ожегова

11 Выбор инструмента для нормализации текста Pymorphy Lemmatizer Mystem PHPMorphy

12 Нормализация слов

13 Анализ текста

14 Удаление дублирующихся записей Причины появления Удаление дублирующихся записей SELECT COUNT(*) AS dub, twitt FROM twitt GROUP BY twitt HAVING dub>1; DELETE FROM twitt WHERE twitt='$twitt' LIMIT ($dub-1);

15 Подсчет результатов Поиск записей по каждому фильму Подсчет количества положительных и отрицательных сообщений SELECT * FROM twitt WHERE id_movie = $films AND weight > 0; SELECT * FROM twitt WHERE id_movie = $films AND weight < 0;

16 Внедрение приложения для общего доступа в Интернет Выбор Хостинг-провайдера Установка скриптов в Crontab

17 Разработка интерфейса для online-доступа

18 Результаты выполнения поиска

19 Визуализация результатов

20 Рейтинг «ТОП-100»

21 Выводы В результате выполнения работы были: Проведен анализ существующих решений Разработано приложение для извлечения мнений о фильмах Приложение было внедрено в Интернет для всеобщего доступа

22 Перспективы развития Увеличение тем анализа сообщений Расширение мест поиска сообщений Улучшение алгоритма анализа сообщений Выделение различных качеств объектов при анализе сообщений

23 Спасибо за внимание Вопросы? Контакты: ICQ: