Измерение информации Алфавитный подход

Алфавит это набор используемых в языке символов. Алфавит, содержащий всего два символа, называется двоичным алфавитом или двоичным кодом. Примеры двоичных алфавитов: + – 0 1 Да Нет 1 бит информационный вес символа двоичного алфавита (bit binary digit).

Если текст использует компьютерный алфавит, то есть алфавит, состоящий из 256 символов, то каждый символ весит 8 бит, или 1 байт.(Это кодировки КОИ-8, ASCII) Таким образом, фраза «Миру- мир.»Состоит из 10 символов(включая точку и пробел), и весит в такой кодировке 10 байт, или 80 бит.

, где N мощность алфавита количество символов в алфавите. i информационный вес символа количество информации, которое несет один символ. Минимальная мощность алфавита, пригодного для передачи информации, равна двум. Докажите это. N = 2 i

Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, можно определить по формуле:, где I количество информации в сообщении, к количество знаков, i информационный вес знака (символа). I = к i