Количество информации 1. Количество информации как мера уменьшения неопределённости знания Если некоторое сообщение приводит к уменьшению неопределённости нашего знания, то можно говорить, что такое сообщение содержит информацию. Пример: Зачёт-незачёт уменьшение неопределённости в 2 раза. Оценка (2, 3, 4, 5) уменьшение неопределённости в 4 раза.

Количество информации можно рассматривать как меру уменьшения неопределённости знания при получении информационного сообщения. N - количество информационных сообщений; I - количество информации, которое несёт полученное сообщение. За единицу количества информации принимается количество информации, содержащееся в информационном сообщении, уменьшающим неопределённость знания в 2 раза. Такая единица называется бит.

Производные единицы измерения количества информации 1 байт = 8 битов = 2 3 битов 1 килобайт (Кбайт) = 2 10 байтов = 1024 байтов; 1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайтов; 1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайтов; 1 терабайт (Тбайт) = 2 10 Гбайт = 1024 Гбайтов 1 петабайт (Пбайт)

Бод (англ. baud) в связи и электронике единица измерения символьной скорости, количество изменений информационного параметра несущего периодического сигнала в секунду. Названа по имени Эмиля Бодо, изобретателя кода Бодо кодировки символов для телетайпов. Зачастую, ошибочно, считают, что бод это количество бит, переданное в секунду. В действительности же это верно лишь для двоичного кодирования, которое используется не всегда. Например, в современных модемах используется квадратурная амплитудная манипуляция (КАМн), и одним изменением уровня сигнала может кодироваться несколько (до 16) бит информации. Например, при символьной скорости 2400 бод скорость передачи может составлять 9600 бит/c благодаря тому, что в каждом временном интервале передаётся 4 бита. Кроме этого, бодами выражают полную ёмкость канала, включая служебные символы (биты), если они есть. Эффективная же скорость канала выражается другими единицами, например битами в секунду (бит/c, bps).

2. Определение количества информации Пример Определение количества экзаменационных билетов. Сообщение: зрительное информационное сообщение о номере билета равно 5. Определить количество билетов. Решение N = 2 5 = 32 Ответ: количество экзаменационных билетов равно 32. Определение количества информационных сообщений

Пример Какое количество информации несёт команда роботу, если всего возможных команд 8? Решение 8 = 2 I Ответ: количество информации, которое несёт одна команда роботу равно 3. Определение количества информации 2 3 = 2 I I = 3

3. Алфавитный подход к измерению информации При таком подходе к определению количества информации отвлекаются от содержания (смысла) информации и рассматривают информационное сообщение как последовательность знаков определённой знаковой системы. Информационная ёмкость знака Пусть сообщение кодируется с помощью алфавита из N знаков. I количество информации, которое несёт один знак. Определите по формуле, какое количество информации несёт знак в двоичной знаковой системе.

Информационная ёмкость знака в двоичной знаковой системе составляет 1 бит. Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несёт в себе один знак. Определите информационную ёмкость знака русского алфавита, если он состоит из 32 букв (исключим букву «ё»). Задача

Количество информации, которое несёт знак, зависит от вероятности его получения. Чем менее вероятно получение знака, тем больше его информационная ёмкость. В русскоязычном тексте в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и 2 буквы «ф». То есть, с точки зрения теории информации, информационная ёмкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» наибольшая.

Количество информации в сообщении Пусть I количество информации, которое несёт каждый знак. Длина кода равна K. Количество информации I c в сообщении можно вычислить по формуле: I c = I K Например, каждая цифра двоичного кода несёт 1 бит информации. Следовательно, две цифры несут 2 бита информации, три 3 бита и т.д. Т.е. количество информации в битах равно количеству цифр двоичного кода.

Задча 1 Сколько информации содержит сообщение о том, что из колоды 32 карты достали король пик? Задача 2 Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из клеток закрашена? Задача 3 В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице? Задача 4

Из непрозрачного мешка, в котором находятся N нумерованных шаров достают 1 шар. Сообщение о номере шара несёт 6 бит информации. Определите число N шаров в мешке. Задача 5