Анализ эмоциональной окраски и тональности оценочных высказываний. Учет иерархий объектов и их свойств. Аспекты визуализации. www.semanticforce.net www.blueberryapi.com. - презентация

1 Анализ эмоциональной окраски и тональности оценочных высказываний. Учет иерархий объектов и их свойств. Аспекты визуализации. SemanticForce 25 октября 2014 AI UKRAINE'14 Мне нравится Apple. Я хочу купить себе новый IPad. Когда он выходит? Тональность Компания Вопрос Продукт Намерение

2 Анализ оценочных высказываний Примеры автоматического анализа Проблемы визуализации Масштабирование ©2014 SemanticForce Inc. | |

3 SemanticForce Online Media Monitoring, Analysis & Social CRM Ecosystem LISTEN BlueberryAPI SemanticDeskSemanticForce ANALYZE ENGAGE

4 Named entities recognition : detection of brands, persons and homonymy resolution Sentiment analysis: entity/feature level Emotions (18-grade) recognition Hierarchical categorization Semantic clustering Intent and questions recognition: what the author is planning or asking Recommendations: what the author is recommending, including polarity of advice Learn more: Blueberry Semantic PaaS

5 Уровни анализа сообщений Message Level Оценка проводится для всего сообщения целиком без детализации по объектам. Entity Level Оценка проводится для объектов, без учета их свойств. Entity/Feature Level Детектируются отношения к свойствам (компонентам) объектов, без учета степени важности. Entity/Feature Level + Weight Детектируется отношение к свойствам объектов с учетом их «веса». ©2014 SemanticForce Inc. | |

6 Message (Document) Level ©2014 SemanticForce Inc. | | Отображает только количество позитивных и негативных сообщений. Pros: простота реализации и визуализации. Cons & Questions: Какие компании или персоны упоминались в контексте позитива и негатива? Кто говорил плохо обо мне и хорошо о конкурентах? Кто говорит хорошо обо мне и хорошо о конкурентах? Были ли биполярные сообщения (когда обо мне говорили одновременно и позитивно, и негативно)? За что именно хвалили, а за что ругали?

7 Entity Level ©2014 SemanticForce Inc. | | Позволяет определять тональность не для всего сообщения, а по отношению к отдельным объектам (например, брендам или продуктам)

8 Entity Level ©2014 SemanticForce Inc. | | Не отвечает на вопрос «За что именно хвалили, а за что ругали?»

9 Entity/Feature Level ©2014 SemanticForce Inc. | | Помогает детально изучить мнения пользователей и понять причины их недовольства / удовлетворенности продуктом или услугой. Примеры упоминаний компонент (факторов) в сообщениях: «…имеет самый больший дорожный просвет, что является неоспоримым преимуществом» или «…движок работает как часы»… Не отвечает на вопрос «какой компонент (фактор) важнее?»

10 Entity/Feature Level & Weight ©2014 SemanticForce Inc. | | Представляет собой взвешенную структуру (иерархию) компонент (факторов) учитывая важность (вес) каждого элемента. Возможны несколько методологий взвешивания факторов: по количеству упоминаний по количеству вопросов по количеству сравнений и еще более 10-ти методологий Ваш вариант?

11 Проблематика взвешивания и ранжирования ©2014 SemanticForce Inc. | | При анализе данных в режиме real-time или приближенном к нему (да и исторических данных в том числе) возникает ряд вопросов: какой массив выбрать для расчета весов: источник период учитывать только свой бренд или же еще конкурентов? как часто пересчитывать веса При отображении результатов в конечного пользователя может возникнуть вопрос, почему компонент с большим числом упоминаний отображен (ранжирован) ниже, чем тот у которого упоминаний меньше? Вопрос: как отображать веса (важность)?

12 Customer Journey Mapping ©2014 SemanticForce Inc. | | Один из вариантов визуализации взвешенной карты факторов на различных этапах потребительского цикла.

13 Эмоциональная модель BlueberryAPI ©2014 SemanticForce Inc. | | Модель BlueberryAPI основана на модифицированной модели Келлермана - Плутчика. Позволяет детектировать 18-ть типов эмоций.

14 Hachi A Dogs Tale: Stream ©2014 SemanticForce Inc. | |

15 Анализ эмоциональной окраски ©2014 SemanticForce Inc. | | Анализ эмоциональной окраски, как и тональности применим ко всем уровням анализа сообщений.

16 Анализ оценочных высказываний Примеры автоматического анализа Проблемы визуализации Масштабирование ©2014 SemanticForce Inc. | |

17 Мне нравится Apple. Я хочу купить себе новый IPad. Когда он выходит? Тональность Компания Вопрос Продукт Намерение Пример анализа сообщения ©2014 SemanticForce Inc. | |

18 Результат анализа сообщения ©2014 SemanticForce Inc. | |

19 Результат анализа сообщения ©2014 SemanticForce Inc. | | Детектирование эмоций в BlueberryAPI работает на объектном уровне, с возможностью гибкой настройки онтологии и лингвистической модели. Название фильма Объект Тональность и эмоция

20 Примеры по автоиндустрии «Какой индекс двигателей К9К ставят на Дастера?» ©2014 SemanticForce Inc. | | «Дастер однозначно порадовал подвеской»

21 Примеры по электронике «Я был поражен светочувствительностью объективов для 650D!» ©2014 SemanticForce Inc. | | «Ненавижу меню в canon 650D.»

22 Примеры по электронике «В Lenovo P700i плохое расположение кнопок.» ©2014 SemanticForce Inc. | | «Продам шлейф для матрицы ноутбука Lenovo G550.»

23 Технологическая проблематика Основные технологические проблематики: опечатки; омонимия; определение анафорических связей; «понимание» сленга и жаргона; распознавание сарказма и иронии; транслитерация; распознавание смайлов и эмоджей; Статьи о проблемах анализа текстов: 10 проблем анализа тональности (часть 1) Проблемы анализа тональности (часть 2) ©2014 SemanticForce Inc. | |

24 Анализ оценочных высказываний Примеры автоматического анализа Проблемы визуализации Масштабирование ©2014 SemanticForce Inc. | |

25 Визуализация, как форма сжатия данных «У мастика спинка неудобная.» ©2014 SemanticForce Inc. | | Визуализация является одной из форм сжатия данных. David McCandless David McCandless

26 Статистика – iPhone и Samsung ©2014 SemanticForce Inc. | | 200K+ сообщений о iPhone в день 6M + сообщений о iPhone за месяц 30K+ сообщений о Samsung в день 1M сообщений о Samsung за месяц

27 Статистика - Renault ©2014 SemanticForce Inc. | | Статистика количества упоминаний об автомобилях Renault В среднем за месяц: 95K+ сообщений о Renault; 20K+ сообщений о Renault Sandero Stepway.

28 Статистика - Renault ©2014 SemanticForce Inc. | | Статистика количества упоминаний свойств автомобилей Renault В среднем за месяц: 5K+ сообщения о двигателе; 2K+ сообщений о кузове; 2K+ сообщений о комплектации.

29 Статистика - Lenovo ©2014 SemanticForce Inc. | | В среднем за месяц: 30K сообщений о Lenovo; отзывов на Yandex Market.

30 Иерархия компонент фотоаппарата ©2014 SemanticForce Inc. | | Более 100 компонент

31 Иерархия компонент автомобиля ©2014 SemanticForce Inc. | | Более 300 компонент

32 ©2014 SemanticForce Inc. | | Каким образом отображать количественные характеристики тональности и эмоциональной окраски по каждому компоненту объекта, учитывая иерархичность и вес каждого фактора, с возможностью сравнения нескольких объектов одновременно, если анализ сообщений проводится в real-time режиме ? Проблематика визуализации

33 Семантическое окно ©2014 SemanticForce Inc. | |

34 Семантическое окно ©2014 SemanticForce Inc. | |

35 Семантическое окно ©2014 SemanticForce Inc. | |

36 Анализ оценочных высказываний Примеры автоматического анализа Проблемы визуализации Масштабирование ©2014 SemanticForce Inc. | |

37 Масштабирование ©2014 SemanticForce Inc. | | Гибридная архитектура: Private Cloud + Computational Clouds (MS AZURE, etc.) Важным аспектом по масштабировании автоматического анализа текстов является стек алгоритмов машинного обучения: автоматическая классификация на базе нейронных сетей или др. моделей авто-обучение онтологий предметных областей автоматическое выявление Named Entites

38 References ©2014 SemanticForce Inc. | | B. Liu, Sentiment analysis and subjectivity, Handbook of Natural Language Processing,, pp. 978– , B. Pang and L. Lee, Opinion mining and sentiment analysis, Foundations and Trends in Information Retrieval, vol. 2, no. 1-2, pp. 1–135, A. Esuli and F. Sebastiani, Sentiwordnet: A publicly available lexical resource for opinion mining, in Proceedings of LREC, 2006, vol. 6, pp. 417–422. V. Hatzivassiloglou and K. R. McKeown, Predicting the semantic orientation of adjectives, in Proceedings of the eighth conference on European chapter of the Association for Computational Linguistics, 1997, pp. 174–181. P. Turney, M. L. Littman, and others, Measuring praise and criticism: Inference of semantic orientation from association, in ACM Transactions on Information Systems (TOIS), A. M. Popescu and O. Etzioni, Extracting product features and opinions from reviews, in Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing, 2005, pp. 339–346. M. Hu and B. Liu, Mining and summarizing customer reviews, in Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, 2004, pp. 168–177. X. Ding, B. Liu, and P. S. Yu, A holistic lexicon-based approach to opinion mining, in Proceedings of the international conference on Web search and web data mining, 2008, pp. 231–240. I. Titov and R. McDonald, Modeling online reviews with multi-grain topic models, in Proceeding of the 17th international conference on World Wide Web, 2008, pp. 111–120. T. Nakagawa, K. Inui, and S. Kurohashi, Dependency tree-based sentiment classification using CRFs with hidden variables, in Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, 2010, pp. 786–794. A. Andreevskaia and S. Bergler, When specialists and generalists work together: Overcoming domain dependence in sentiment tagging, ACL-08: HLT, D. Ikeda and H. Takamura, Learning to shift the polarity of words for sentiment classification, Comp.Intelligence, vol. 25, no. 1, pp. 296–303, 2008.

39 We're Hiring ©2014 SemanticForce Inc. | | Machine Learning Engineer Senior.NET Developer Front-end Developer

40 Web: Skype: SemanticForce Phone: +380 (44) (Украина)