АЛФАВИТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ МОЩНОСТЬ АЛФАВИТА число символов в алфавите (его размер) N ИНФОРМАЦИОННЫЙ ВЕС СИМВОЛА количество информации в одном символе I = K i i АЛФАВИТ – это вся совокупность символов, используемых в некотором языке для представления информации МОЩНОСТЬ АЛФАВИТА ( N ) – это число символов в алфавите. 2 i = N ЧИСЛО СИМВОЛОВ В СООБЩЕНИИ K КОЛИЧЕСТВО ИНФОРМАЦИИ В СООБЩЕНИИ I Ni I K

ЕДИНИЦЫ ИЗМЕРЕНИЯ ИНФОРМАЦИИ СИМВОЛЬНЫЙ АЛФАВИТ КОМПЬЮТЕРА русские (РУССКИЕ) буквы латинские (LAT) буквы цифры (1, 2, 3, 4, 5, 6, 7, 8, 9, 0) математические знаки (+, -, *, /, ^, =) прочие символы («»,, %,, :, ;, #, &) N = 2 i N = 256 = 2 8 i = 8 бит = 1 байт 1 байт - это информационный вес одного символа компьютерного алфавита 1 килобайт 1 мегабайт 1 гигабайт 1 Кб 1 Мб 1 Гб 2 10 байт 2 10 Кб 2 10 Мб 1024 байта 1024 Кб 1024 Мб = = = = = = = = =

ИНФОРМАЦИОННЫЙ ОБЪЕМ ТЕКСТА ЗАДАЧА Книга, подготовленная с помощью компьютера, содержит 150 страниц. На каждой странице – 40 строк, в каждой строке – 60 символов (включая пробелы между словами). Каков объем информации в книге? РЕШЕНИЕ Мощность компьютерного алфавита равна 256, поэтому один символ несет 1 байт информации. Значит, страница книги содержит = 2400 байт информации. [кол-во символов в строке] [кол-во строк] = [информационный объем страницы] Объем всей информации в книге (в разных единицах): [информационный объем страницы] [кол-во страниц] = [информационный объем книги] = байт / 1024 = 351,5625 Кбайт / 1024 = 0, Мбайт

Число равновероятных в о з м о ж н ы х с о б ы т и й N К о л и ч е с т в о и н ф о р м а ц и и в сообщении о том, что произошло одно из N равновероятных событий i N = 2i = 1 бит Число символов в алфавите (его размер) – МОЩНОСТЬ АЛФАВИТА N ИНФОРМАЦИОННЫЙ ВЕС СИМВОЛА количество информации в одном символе 2 i = N I = K i K I Число символов в символьном сообщении Количество информации в символьном сообщении i i = 8 бит = 1 байт 1 байт1 Кб1 Мб1 Гб 1024 ИНФОРМАЦИЯ N = 256 КОЛИЧЕСТВО ИНФОРМАЦИИ В СООБЩЕНИИ Содержательный подходАлфавитный подходИЗМЕРЕНИЕ

СОДЕРЖАТЕЛЬНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ Сообщение о том, что произошло одно событие из двух равновероятных (неопределенность знания уменьшилась в два раза), несет 1 бит информации. СОДЕРЖАТЕЛЬНЫЙ ПОДХОД к измерению информации заключается в том, что количество информации связывается с содержанием (смыслом) полученного человеком сообщения. Количество информации, заключенное в сообщении, тем больше, чем более оно пополняет наши знания (уменьшает неопределенность наших знаний). 8 цветных шаров в корзине – 8 равновероятных событий Неопределенность знания о том, что из корзины может быть извлечен шар красного цвета, равна 8.

МЕТОД БИНАРНОГО ПОИСКА Игра, использующая метод бинарного поиска Правила игры: Требуется угадать задуманное число из данного диапазона целых чисел. Игрок, отгадывающий число, задает вопросы, на которые можно ответить только «да» или «нет». Если каждый ответ отсекает половину вариантов (уменьшает выбор в 2 раза), то он несет 1 бит информации. Тогда общее количество информации (в битах), полученной при угадывании числа, равно количеству заданных вопросов. Требуется угадать задуманное число из диапазона чисел от 1 до 8 вопросаВопросыданет 1Число меньше 5 ? 2Число меньше 7 ? 3Это число равно 5 ? 8 вариантов возможных событий 3 вопроса 3 бита информации

КОЛИЧЕСТВО ИНФОРМАЦИИ В СООБЩЕНИИ Задача 1. При угадывании целого числа в диапазоне от 1 до N было получено 6 бит информации. Чему равно N ? Решение задачи 1. Значение N определяется из формулы N = 2 i. После подстановки значения i = 6 получаем: N = 2 6 = 64. Задача 2. В корзине лежат 16 шаров разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар ? Решение задачи 2: Вытаскивание из корзины любого из 16 шаров – события равновероятные. Поэтому для решения задачи применима формула 2 i = N. Здесь N = 16 – число шаров. Решая уравнение 2 I =16 получаем ответ: i = 4 бита 2 i = N N i Количество равновероятных возможных событий Количество информации в сообщении о том, что произошло одно из N равновероятных событий.