Есть ли связь между объемным подходом к измерению информации и содержанием информации? Объем информации не связан с ее содержанием. Говоря об объеме информации, - презентация

1 Есть ли связь между объемным подходом к измерению информации и содержанием информации? Объем информации не связан с ее содержанием. Говоря об объеме информации, имеют в виду размер текста в том алфавите, с помощью которого эта информация представлена. В чем измеряется объем письменного или печатного текста? Объем текста измеряется в знаках

2 Как оценить объем одной страницы учебника в количестве знаков? Количество знаков в строке перемножить на количество строк Какие единицы используются для измерения объема информации на компьютерных носителях Бит, байт, килобайт, мегабайт, гигабайт, терабайт… Запишите формулу для определения информационного объема текста(I), содержащего K символов I=K*i

3 Измерение информации. Содержательный подход Объемный подход к измерению информации используется для определения количества информации, заключенного в тексте, записанном с помощью некоторого алфавита. При этом содержательная сторона текста в учет не берется. I = K i 2 i = N Ni I K МОЩНОСТЬ АЛФАВИТА число символов в алфавите (его размер) N ИНФОРМАЦИОННЫЙ ВЕС СИМВОЛА количество информации в одном символе i ЧИСЛО СИМВОЛОВ В СООБЩЕНИИ K КОЛИЧЕСТВО ИНФОРМАЦИИ В СООБЩЕНИИ I

4 Неопределенность знания и количество информации Другой подход к измерению информации называют содержательным подходом. В этом случае количество информации связывается с содержанием (смыслом) полученного человеком сообщения. Вспомним, что с «человеческой» точки зрения, информация это знания, которые мы получаем из внешнего мира. Количество информации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет наши знания. Как же с этой точки зрения определяется единица измерения информации? Вы уже знаете, что эта единица называется битом. Проблема измерения информации исследована в теории информации, основатель которой Клод Шеннон. В теории информации для бита дается следующее определение:

5 СОДЕРЖАТЕЛЬНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ Сообщение о том, что произошло одно событие из двух равновероятных (неопределенность знания уменьшилась в два раза), несет 1 бит информации. 8 цветных шаров в корзине – 8 равновероятных событий Неопределенность знания о том, что из корзины может быть извлечен шар красного цвета, равна 8. Более строгое определение равновероятности: если увеличивать количество бросаний монеты (100, 1000, и т. д.), то число выпадений орла и число выпадений решки будут все ближе к половине количества бросаний монеты. Следовательно, можно сказать так: Неопределенность знания о результате некоторого события (бросание монеты или игрального кубика, вытаскивание жребия и др.) это количество возможных результатов.

6 МЕТОД БИНАРНОГО ПОИСКА Игра, использующая метод бинарного поиска Правила игры: Требуется угадать задуманное число из данного диапазона целых чисел. Игрок, отгадывающий число, задает вопросы, на которые можно ответить только «да» или «нет». Если каждый ответ отсекает половину вариантов (уменьшает выбор в 2 раза), то он несет 1 бит информации. Тогда общее количество информации (в битах), полученной при угадывании числа, равно количеству заданных вопросов. Требуется угадать задуманное число из диапазона чисел от 1 до 8 вопроса Вопросыданет 1Число меньше 5 ? 2Число меньше 7 ? 3Это число равно 5 ? 8 вариантов возможных событий 3 вопроса 3 бита информации А какую оценку получил Ваш друг на экзамене? Четыре равновероятных события.

7 А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что имел место один из множества равновероятных результатов некоторого события. Обозначим буквой N количество возможных результатов события, или, как мы это еще называли, неопределенность знания. Буквой i будем обозначать количество информации в сообщении об одном из N результатов. В примере с монетой:N = 2, i = 1 бит. В примере с оценками: N = 4, i = 2 бита. В примере со стеллажом: N = 8, i = 3 бита. Нетрудно заметить, что связь между этими величинами выражается следующей формулой: 2 i = N. Действительно: 2 1 = 2 ; 2 2 = 4 ; 2 3 = 8.

8 Пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о месте нахождения книги, нужно решить уравнение: 2 i = N. Поскольку 16 = 2 i, то i = 4 бита. Количество информации (i), содержащееся в сообщении об одном из N равновероятных результатов некоторого событий, определяется из решения показательного уравнения: 2 i = N. Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т. д.), то показательное уравнение легко решить в уме, поскольку i будет целым числом. А чему, например, равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6? Можно догадаться, что решение уравнения 2 i = 6. будет дробным числом, лежащим между 2 и 3, поскольку 2 2 = 4 6. А как точнее узнать это число?

9 ПОКАЗАТЕЛЬНОЕ УРАВНЕНИЕ NiNiNiNi N i Определение количества информации, содержащейся в сообщении о том, что произошло одно из N равновероятных событий N i Определение количества равновероятных событий N, если известно, сколько информации человек получил в сообщении о том, что произошло одно из этих событий. 2 i = N

10 КОЛИЧЕСТВО ИНФОРМАЦИИ В СООБЩЕНИИ Задача 1. При угадывании целого числа в диапазоне от 1 до N было получено 6 бит информации. Чему равно N ? Решение : Значение N определяется из формулы N = 2 i. После подстановки значения i = 6 получаем: N = 2 6 = 64. Задача 2. В корзине лежат 16 шаров разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар ? Решение : Вытаскивание из корзины любого из 16 шаров – события равновероятные. Поэтому для решения задачи применима формула 2 i = N. Здесь N = 16 – число шаров. Решая уравнение 2 I =16 получаем ответ: i = 4 бита 2 i = N N i Количество равновероятных возможных событий Количество информации в сообщении о том, что произошло одно из N равновероятных событий.