Опыт реализации системы контентной фильтрации Интернет-ресурсов на базе технологий АРИОН. - презентация

1 Опыт реализации системы контентной фильтрации Интернет-ресурсов на базе технологий АРИОН

2 Принципы контентной фильтрации 1. Эффективная контентная фильтрация обеспечивается глубоким анализом текстового содержимого Интернет-ресурсов 2. Релевантный поиск и проблемный анализ содержимого Интернет-ресурсов должен выполняться специальным программно-аппаратным комплексом 3. Задача комплекса – формирование и «веерное» распространение базы данных запрещенных ресурсов для их последующего блокирования 4. Ресурсы, относящиеся к запрещенной тематике, должны быть классифицированы в соответствии с их информационной направленностью 5. Для каждой категории пользователи может задаваться свой перечень запрещенных классов ресурсов

3 Платформа – ИАС «АРИОН»

4 Ключевые технологии 1. Автономный поиск и автоматическая загрузка текстового содержания ресурсов Интернета 2. Фактографический разбор и тональный анализ текстов на естественном языке 3. Анализ и классификация ресурсов с использованием полнотекстового и фактографического режимов

5 Концептуальная схема

6 Аналитическая часть

7 Сбор информации - Краулер Назначение поиск в Интернете ресурсов по заданным критериям Основные возможности автономный переход по ссылкам использование поисковых машин извлечение текста из различных форматов: txt, html, rtf, doc, pdf первичный анализ текстового содержимого (с помощью фильтров)

8 Сбор информации Интернет - ресурсы

9 Сбор информации Менеджер загрузки Свойства задачи

10 Назначение анализ текстового содержания найденных ресурсов Основные возможности Полнотекстовый отбор мощный язык запросов учет морфологии поддержка синонимов и опечаток Фактографический анализ графематический анализ морфологический анализ синтаксический анализ логико-семантический анализ Тональный анализ Модуль индексирования

11 Индексирование Список источников, загруженных в систему

12 Индексирование Текст источника с выделенными объектами (желтый цвет) и тональными маркерами (серый цвет)

13 Индексирование Карточка объекта

14 Назначение автоматическое рубрицирование ресурсов на основании выполненного анализа Способы рубрицирования анализ характерных слов и выражений (полнотекстовый поиск). анализ описываемых ситуаций (фактографический поиск) анализ отношения автора текста к предмету (анализ тональности высказываний) Модуль рубрикации

15 Запросы рубрикации

16 Рубрикация на основе полнотекстового поиска Текст запроса рубрикации

17 Рубрикация на основе полнотекстового поиска Дерево рубрик Список источников рубрики «Сайты обществ и движений, выступающих за легализацию наркотиков»

18 Запросы рубрикации

19 Рубрикация на основе фактографического поиска Критерии отбора источников в рубрику «Акции против наркотиков» и текстовых документов в рубрику «Акции против наркотиков» (документы)

20 Рубрикация на основе фактографического поиска Результаты запроса - источники и текстовые документы

21 Рубрикация на основе фактографического поиска Список найденных документов

22 Рубрикация на основе фактографического поиска Список найденных источников

23 Рубрикация на основе фактографического поиска Список источников, добавленных в рубрику «Акции против наркотиков»

24 Запросы рубрикации

25 Рубрикация на основе тональности высказываний Выбор пакетов правил тональностей Режим редактирования запроса

26 Рубрикация на основе тональности высказываний Критерии запроса для отбора «Умеренно негативных источников» и «Крайне негативных источников»

27 Рубрикация на основе тональности высказываний Результаты запроса - негативные и крайне негативные источники

28 Рубрикация на основе тональности высказываний Список источников, добавленных в рубрику «Умеренно негативные источники»

29 Шаблон «Статистика мониторинга» Категории выборки Период выборки

30 Список запрещенных ресурсов Формирование и выгрузка списка запрещенных ресурсов

31 Формирование списка запрещенных ресурсов Критерии запроса для формирования списка запрещенных ресурсов

32 Формирование списка запрещенных ресурсов

33 Печатная версия списка запрещенных ресурсов

34 Заключение Технологии ИАС «АРИОН» в рамках системы контентной фильтрации Интернет-ресурсов обеспечили решение следующих задач: Сбор и загрузка текстового содержания искомых ресурсов Интернета Анализ и классификация ресурсов с использованием полнотекстового и фактографического режимов Тональный анализ текстов на естественном языке Формирование списка запрещенных ресурсов

35 Адрес: , Россия, Москва, Электролитный проезд, дом 5Б, строение 8 Телефон: +7 (495) Факс: +7 (499) Электронная почта: Web: Контактная информация