Объем информации равен длине двоичного кода Основная единица: 1 бит- один разряд двоичного кода Длина кода символа(i бит) кодируемого алфавита мощностью N символов 2 i =N 2 i =N Информационный объем текста (I), содержащего K символов I=K*i

Правило для измерения информации с точки зрения алфавитного подхода N 1. Найти мощность алфавита – N; i2 i =N 2. Найти информационный объем одного символа – i по формуле 2 i =N; K 3. Найти количество символов в сообщении – K; IK*i 4. Найти информационный объем всего сообщения – I по формуле K*i.

Единицы измерения 1 килобайт = 1Кб=2 10 байт =1024 байта; 1 мегабайт = 1Мб= 2 10 Кб = 1024 Кб; 1 гигабайт = 1Гб = 2 10 Мб = 1024 Мб; 1 терабайт = 1 Тб = 2 10 Гб = 1024 Гб; 1 петабайт = 1 Пб = 2 10 Тб = 1024 Тб.

Задачи для самостоятельной работы Сообщение записано с помощью алфавита, содержащего 8 символов. Какое количество информации несет одна буква этого алфавита? Сообщение, записанное буквами из 128-символьного алфавита, содержит 30 символов. Какой объем информации оно несет?

Содержательный подход к измерению информации Для человека информация это знания человека. Рассмотрим вопрос с этой точки зрения. Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации. Неопределенность знаний о некотором событии это количество возможных результатов события.

Пример: После сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил. «Зачет», «незачет»? «2», «3», «4» или «5»? Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5». Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Пример: На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? Задаем вопросы: - Книга лежит выше четвертой полки? - Нет. - Книга лежит ниже третьей полки? - Да. - Книга на второй полке? - Нет. - Ну теперь все ясно! Книга лежит на первой полке! Каждый ответ уменьшал неопределенность в два раза. 3 бита 3 бита Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

Формула вычисления кол-ва информации Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, а буквой I количество информации в сообщении о том, что произошло одно из N событий, то можно записать формулу: 2 I = N Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2 I = N.

Задание 1: Сколько информации содержит сообщение о том, что из колоды карт достали король пик?

Задание 1: Сколько информации содержит сообщение о том, что из колоды карт достали король пик?Решение: В колоде 32 карты. В перемешенной колоде выпадение любой карты равновероятное событие. N = 32. I - ? 2 I = N 2 I = = 32 I = 5 бит

Задание 2: Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

Задание 2: Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике? Решение: N = 6. I - ? 2 I = N 2 I = < 6 < 2 3 I = бит

Задание 3: Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из клеток закрашена? В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице?