Как измерить информацию. Содержательный подход Мясникова О.К.
Информация это знания человека. Сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.
Неопределенность знаний и единица информации 1 бит информации.Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации. Неопределенность знанийНеопределенность знаний о некотором событии это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия). одно событие из двух равновероятных, несет 1 бит информации.Сообщение о том, что произошло одно событие из двух равновероятных, несет 1 бит информации. Неопределенность знанийНеопределенность знаний о некотором событии это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия).
N i Обозначим буквой N количество возможных событий (неопределенность знаний) Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий. – –В примере с монетой N=2, i = 1. – –В примере с оценками N = 4, i = 2. – –В примере со стеллажом N = 8, i = 3. – –связь между этими величинами выражается формулой: 2 i =N – –Если величина N известна, а i неизвестно, то формула становится показательным уравнением для определения i. (2 i =16. Поскольку 16 = 2 4, то i = 4). 2 i = N. Количество информации 1, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется решения показательного уравнения: 2 i = N.
Количество информации в сообщении об одном из N равновероятных событий N 1N I 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,00000
Алфавитный подход к измерению информации Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст. алфавитом. Все множество используемых в языке символов будем традиционно называть алфавитом. мощностью алфавита. Полное число символов алфавита принято называть мощностью алфавита. N. 54. Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и дополнительных символов равна 54. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст. алфавитом. Все множество используемых в языке символов будем традиционно называть алфавитом. мощностью алфавита. Полное число символов алфавита принято называть мощностью алфавита. N. 54. Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и дополнительных символов равна 54.
Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита, Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита, то количество информации, которое несет каждый символ, вычисляется по формуле: i=log 2 где N - мощность алфавита. Следовательно, в 2-х символьном алфавите; каждый символ «весит» 1 бит- (1оg 2 2 =1); в 4-х символьном алфавите каждый символ; несет 2 бита информации (1оg 2 4 = 2); в 8-ми символьном 3 бита (1оg 2 8 = 3) и т.д. Один символ из алфавита мощностью 256 (28) несет в тексте 8 бит информации. Такое количество информации называется байт. Алфавит из 256 символов используется для представления текстов в компьютере 1 байт = 8 бит.
В каждой очередной позиции текста может появиться любой из N символов. Каждый символ несет I бит информации; число I можно определить из уравнения: 2 i = Н Для N = 54, используя таблицу, получаем: i= 5,755 бит. Вот сколько информации несет один символ в русском тексте!
2 i = Н i=log 2 N логарифм от N по основанию 2. Данная формула является показательным уравнением отно сительно неизвестной х. Решение такого уравнения имеет вид: i=log 2 N логарифм от N по основанию 2. Если N равно целой степени двойки (2, 4, 8, 16 и т.д.), то такое уравнение можно решить «в уме». В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов, которая приведена в Приложении 1. Пример 1. При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации, поскольку количество возможных вариантов результата равно 2 (орел или решка): Оба эти варианта равновероятны. Ответ может быть получен из решения уравнения: 2 x = 2, откуда, очевидно, следует: х = 1 бит. Вывод: в любом случае сообщение об одном событии из двух равновероятных несет 1 бит информации.
ПРИМЕР 2. Возьмем с книжной полки какую-нибудь книгу и посчитаем количество информации на одной ее странице. Пусть страница содержит 50 строк. В каждой строке 60 символов. Значит, на странице умещается 50 х 60 = 3000 знаков. Тогда объем информации будет равен: 5,755 х 3000 = бит. Последовательно, при алфавитном подходе к измерению информации количество информации от содержания не зависит.Последовательно, при алфавитном подходе к измерению информации количество информации от содержания не зависит. Количество информации зависит от объема текста (то есть от числа знаков в тексте) и от мощности алфавита.Количество информации зависит от объема текста (то есть от числа знаков в тексте) и от мощности алфавита.
ПРАВИЛО. Количество информации, содержащееся в символьном сообщении, равно К х I, К где К число символов в тексте сообщения, I 2 i = N I информационный вес символа, который находится из уравнения 2 i = N, N где N мощность используемого алфавита.