Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение: 2 i = N или использовать формулу: i = log 2 N

Формула i = log 2 N была получена американским инженером Ричардом Хартли в 1928 году и поэтому известна под названием формулы Хартли.

Задача Бросили шестигранный кубик. Какое количество информации в сообщении о том, какое число выпало на кубике ( в битах)?

Решение N = 6 N = 2 i 6 = 2 i 2 < i < 3 Выбираем i = 3 Ответ: 3 бита

Алфавитный подход к измерению информации

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте.

Множество символов, используемых при записи текста, называется алфавитом.

Полное количество символов в алфавите называется мощностью алфавита Мощность алфавита обычно обозначают N

Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несёт каждый символ, вычисляется по формуле: i = log 2 N или N = 2 i, где N – мощность алфавита.

Следовательно, в 2-х символьном алфавите каждый символ «весит» 1 бит, т. к. log 2 2 = 1 или 2 = 2 1 ; в 4-х символьном алфавите каждый символ несёт 2 бита информации, т. к. log 2 4 = 2 или 4 = 2 2 ; в 8-ми символьном алфавите каждый символ несет 3 бита, т. к. log 2 8 = 3 или 8 = 2 3 и т.д.

Сколько бит информации несёт в тексте каждый символ из алфавита мощностью 256 символов?

256 = бит = 1 байт

Если весь текст состоит из K символов, то при алфавитном подходе размер содержащейся в ней информации ( I) равен: I = K * i где i количество информации одного символа в используемом алфавите.

Например Сообщение, записанное буквами из 32-х символьного алфавита, содержит 40 символов. Какой объем информации оно несет?

Решение: N = 32 мощность алфавита K = 40 символов Найти I Найдем i (количество информации в одном символе) из формулы N = 2 i 32 = 2 i i = 5. I = K * i 200 бит. Ответ: 200 бит.