Формула Шеннона

Цели урока: 1. Закрепление умений определять количество информации 2. Знакомство с формулой Шеннона для не равновероятных событий.

а) 5 Кбайт = _ байт = _ бит; б) _ Кбайт = _ байт = бит; в) _ Кбайт = _ байт = 2 13 бит; г) _ Гбайт = 1536 Мбайт = _ Кбайт; д) 256 Кбайт = 2_ байт = 2_ бит.

а) 6 Кбайт = байт = бит; б) 1,5 Кбайт = байт = бит; в) 1 Кбайт = 1024 байт = 2 13 бит; г) 1,5 Гбайт = 1536 Мбайт = Кбайт; д) 256 Кбайт = 2 18 байт = 2 21 бит.

При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон? 256

Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме? 16

Сообщение о том, что ваш друг живет на 3 этаже, несет 3 бита информации. Сколько этажей в доме? 8

Сообщение, записанное буквами 128- символьного алфавита, содержит 30 символов. Какой объем информации оно несет? 210

Информационное сообщение объемом 4 Кбайта содержит 4096 символов. Сколько символов содержит алфавит, при помощи которого было записано это сообщение? 256

Сколько килобайтов составляет сообщение из 512 символов 16-символьного алфавита? 2

ФОРМУЛА ШЕННОНА Количество информации для событий с различными вероятностями определяется по формуле: Если события равновероятны ( p i =1/N ): I – количество информации, N – количество возможных событий p i – вероятности отдельных событий

Задача Мама попросила дочку сходить в магазин и купить фрукты. В магазине в наличии было 4 кг. яблок, 5 кг. груш и 10 кг. апельсинов. Определить количество информации, полученной мамой в зрительном сообщении о покупке, сделанной дочкой.

ВЫБОР ПРАВИЛЬНОЙ СТРАТЕГИИ На получении максимального количества информации строится выбор правильной стратегии в игре «Угадай число», в которой первый участник загадывает целое число (например, 3) из заданного интервала (например от 1 до 16), а второй должен «угадать» задуманное число. Вопрос второго участника Ответ первого участника Неопределенность знания (количество возможных событий) Полученное количество информации 16 Число больше 8?Нет 81 бит Число больше 4?Нет 41 бит Число больше 2?Да 21 бит Это число 3?Да 11 бит Информационная модель игры «Угадай число»

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ Задача. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика? Так как количество шариков различных цветов неодинаково, то вероятности зрительных сообщений о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета, деленному на общее количество шариков: Определение количества информации р б = 0,1; p к = 0,2; р с = 0,3; р з = 0,4. События неравновероятны, поэтому воспользуемся формулой I = (0,1·log 2 0,1 + 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) битов. Для вычисления этого выражения воспользуемся компьютерным калькулятором Wise Calculator. Таким образом, I 1,85 бита.