Информация и кодирование информации Формула Шеннона 10 класс, профиль Захарова О.Н

Игра «Угадай число» Первый участник загадывает целое число (например, 3) из заданного интервала (например, от 1 до 16), а второй должен «угадать» задуманное число. Если рассмотреть эту игру с информационной точки зрения, то начальная неопределенность знаний для второго участника составляет 16 возможных событий (вариантов загаданных чисел).

При оптимальной стратегии интервал чисел всегда должен делиться пополам, тогда количество возможных событий (чисел) в каждом из полученных интервалов будет одинаково и отгадывание интервалов равновероятно. В этом случае на каждом шаге ответ первого игрока («Да» или «Нет») будет нести максимальное количество информации (1 бит).

Таблица 1. Информационная модель игры «Угадай число» Вопрос второго участника Ответ первого участника Неопределенность знаний (количество возможных событий) Полученное количество информации 16 Число больше 8?Нет 81 бит Число больше 4?Нет 41 бит Число больше 2?Да 21 бит Число 3?Да 11 бит

Как видно из таблицы 1, угадывание числа 3 произошло за четыре шага, на каждом из которых неопределенность знаний второго участника уменьшалась в два раза за счет получения сообщения от первого участника, содержащего 1 бит информации. Таким образом, количество информации, необходимое для отгадывания одного из 16 чисел, составило 4 бита.

Неравновероятностные события I=log 2 (1/p), I – количество информации, p – вероятность события. P=K/N, K – величина, показывающая, сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Упражнение 3 В мешке находятся 20 шаров. Из них 15 белых 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.

Решение

Формулу для вычисления количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. где - количество информации; - количество возможных событий; - вероятность i-го события.

Рассмотрим пример, рассмотренный в учебнике (стр.112): Пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий будут равны: p1 = 1/2, p2 = 1/4, p3 = 1/8, p4 = 1/8. Тогда количество информации, которое мы получим после реализации одного из них, можно рассчитать по формуле: I = 1,75 бита. Этот подход к определению количества информации называется вероятностным.

Когда события равновероятны (pi = 1/N), величину количества информации I можно рассчитать по формуле: По этой формуле можно определить, например, количество информации, которое мы получим при бросании симметричной и однородной четырехгранной пирамидки:

ЗАДАНИЕ «БРОСАНИЕ ПЕРАМИДКИ» Определить количество информации, которую мы получим в результате бросания несимметричной и симметричной пирамидок. При бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны: Количество информации рассчитываем по формуле: p 1 =1/2;p 2 =1/4;p 3 =1/8;p 4 =1/8. I = (1/2·log 2 1/2 + 1/4·log 2 1/4 + 1/8·log 2 1/8 + 1/8·log 2 1/8) битов = = (1/2·log /4·log /8·log /8·log 2 8) битов = = (1/2 + 2/4+ 3/8+ 3/8) битов = 14/8 битов = 1,75 бита. При бросании симметричной четырехгранной пирамидки вероятности отдельных событий равны между собой: Количество информации рассчитываем по формуле: p 1 = p 2 = p 3 = p 4 =1/4. I = log 2 4 = 2 бита. Количество информации, которую мы получаем, достигает максимального значения, если события равновероятны.

Таким образом, при бросании симметричной пирамидки, когда события равновероятны, мы получим большее количество информации (2 бита), чем при бросании несимметричной (1,75 бита), когда события неравновероятны. Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.

Вычисление логарифма на калькуляторе 1. Запустите калькулятор: Пуск - Программы - Стандартные - Калькулятор. 2. Режим: инженерный. Вид/Обычный или Инженерный. 3. Калькулятор может вычислять непосредственно только натуральный ln и десятичный логарифм log. Прием для вычисления такой логарифмической функции: воспользоваться следующим равенством Таким образом замените логарифм частным натуральных логарифмов.

Закрепление материала 1. Вычислите log 2 2,5 с помощью калькулятора. 2. Задача с решением на стр Проверить ответ с помощью калькулятора 3. Упражнение 4 В озере обитает окуней, пескарей, а карасей и щук по Сколько информации мы получим, когда поймаем какую-нибудь рыбу.

Решение задач Простые задачи : Сложные задачи: 6 - 9

Домашнее задание 2.4 Задание 2.3, 2.3 письменно