Количество информации 1. Количество информации как мера уменьшения неопределённости знания Если некоторое сообщение приводит к уменьшению неопределённости. - презентация

1 Количество информации 1. Количество информации как мера уменьшения неопределённости знания Если некоторое сообщение приводит к уменьшению неопределённости нашего знания, то можно говорить, что такое сообщение содержит информацию. Пример: Зачёт-незачёт уменьшение неопределённости в 2 раза. Оценка (2, 3, 4, 5) уменьшение неопределённости в 4 раза.

2 Количество информации можно рассматривать как меру уменьшения неопределённости знания при получении информационного сообщения. N - количество информационных сообщений; I - количество информации, которое несёт полученное сообщение. За единицу количества информации принимается количество информации, содержащееся в информационном сообщении, уменьшающим неопределённость знания в 2 раза. Такая единица называется бит.

3 Производные единицы измерения количества информации 1 байт = 8 битов = 2 3 битов 1 килобайт (Кбайт) = 2 10 байтов = 1024 байтов; 1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайтов; 1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайтов; 1 терабайт (Тбайт) = 2 10 Гбайт = 1024 Гбайтов 1 петабайт (Пбайт)

4 Бод (англ. baud) в связи и электронике единица измерения символьной скорости, количество изменений информационного параметра несущего периодического сигнала в секунду. Названа по имени Эмиля Бодо, изобретателя кода Бодо кодировки символов для телетайпов. Зачастую, ошибочно, считают, что бод это количество бит, переданное в секунду. В действительности же это верно лишь для двоичного кодирования, которое используется не всегда. Например, в современных модемах используется квадратурная амплитудная манипуляция (КАМн), и одним изменением уровня сигнала может кодироваться несколько (до 16) бит информации. Например, при символьной скорости 2400 бод скорость передачи может составлять 9600 бит/c благодаря тому, что в каждом временном интервале передаётся 4 бита. Кроме этого, бодами выражают полную ёмкость канала, включая служебные символы (биты), если они есть. Эффективная же скорость канала выражается другими единицами, например битами в секунду (бит/c, bps).

5 2. Определение количества информации Пример Определение количества экзаменационных билетов. Сообщение: зрительное информационное сообщение о номере билета равно 5. Определить количество билетов. Решение N = 2 5 = 32 Ответ: количество экзаменационных билетов равно 32. Определение количества информационных сообщений

6 Пример Какое количество информации несёт команда роботу, если всего возможных команд 8? Решение 8 = 2 I Ответ: количество информации, которое несёт одна команда роботу равно 3. Определение количества информации 2 3 = 2 I I = 3

7 3. Алфавитный подход к измерению информации При таком подходе к определению количества информации отвлекаются от содержания (смысла) информации и рассматривают информационное сообщение как последовательность знаков определённой знаковой системы. Информационная ёмкость знака Пусть сообщение кодируется с помощью алфавита из N знаков. I количество информации, которое несёт один знак. Определите по формуле, какое количество информации несёт знак в двоичной знаковой системе.

8 Информационная ёмкость знака в двоичной знаковой системе составляет 1 бит. Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несёт в себе один знак. Определите информационную ёмкость знака русского алфавита, если он состоит из 32 букв (исключим букву «ё»). Задача

9 Количество информации, которое несёт знак, зависит от вероятности его получения. Чем менее вероятно получение знака, тем больше его информационная ёмкость. В русскоязычном тексте в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и 2 буквы «ф». То есть, с точки зрения теории информации, информационная ёмкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» наибольшая.

10 Количество информации в сообщении Пусть I количество информации, которое несёт каждый знак. Длина кода равна K. Количество информации I c в сообщении можно вычислить по формуле: I c = I K Например, каждая цифра двоичного кода несёт 1 бит информации. Следовательно, две цифры несут 2 бита информации, три 3 бита и т.д. Т.е. количество информации в битах равно количеству цифр двоичного кода.

11 Задча 1 Сколько информации содержит сообщение о том, что из колоды 32 карты достали король пик? Задача 2 Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

12 Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из клеток закрашена? Задача 3 В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице? Задача 4

13 Из непрозрачного мешка, в котором находятся N нумерованных шаров достают 1 шар. Сообщение о номере шара несёт 6 бит информации. Определите число N шаров в мешке. Задача 5