Тема: Различные подходы к измерению количества информации. На дом: конспект, задачи

Существуют различные подходы к измерению количества информации: Содержательный Алфавитный Вероятностный

Содержательный подход Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации. Что такое «неопределенность знаний»? Рассмотрим примеры:

Пример 1: Вы бросаете монету, загадывая, что выпадет: орел или решка? Решение: Есть два варианта возможного результата бросания монеты. Ни один из этих вариантов не имеет преимущества перед другим (равновероятны). Перед подбрасыванием монеты неопределенность знаний о результате равна двум. После совершения действия неопределенность уменьшилась в 2 раза. Получили 1 бит информации.

Пример 2: Студент на экзамене может получить одну из четырех оценок: 5, 4, 3, 2 с одинаковой вероятностью. После сдачи экзамена, на вопрос: «Что получил?» - ответил: «Четверку». Сколько бит информации содержится в его ответе? Решение: можно отгадать оценку, задавая вопросы, на которые можно ответить только «да» или « нет», т.е. поиск осуществляется отбрасыванием половины вариантов. Каждый ответ уменьшает количество вариантов в два раза и, следовательно, приносит 1 бит информации. 1 вопрос: -Оценка выше тройки? - ДА Получен 1 бит информации. 2 вопрос: -Ты получил пятерку? - НЕТ (значит получил 4) Получен еще 1 бит. В сумме имеем 2 бита.

Пример 3: На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? 1 вопрос: - Книга лежит выше четвертой полки? - НЕТ (1, 2, 3, 4) - 1 бит 2 вопрос: - Книга лежит ниже третьей полки? - ДА (1, 2) - 1 бит 3 вопрос: - Книга – на второй полке? - НЕТ (1) - 1 бит Книга лежит на первой полке. Ответ: 3 бита информации (каждый ответ уменьшал неопределенность в два раза. Всего было задано три вопроса.)

Получим формулу вычисления количества информации. Обозначим: N – количество возможных событий (неопределенность знаний) i - количество информации в сообщении о том, что произошло одно из N событий. В примере с монетой N = 2, i = = 2 В примере с оценками N = 4, i = = 4 В примере со стеллажом N = 8, i = = 8 Получаем формулу: 2 i = N

АЛФАВИТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст. Единица измерения количества информации называется бит

Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Количество информации, которое несет каждый символ, вычисляется по формуле: N =2 i

Один символ из алфавита мощностью 256 (2 8 ) несет в тексте 8 бит информации. Такое количество информации называется байт. Алфавит из 256 символов используется для представления текстов в компьютере. 1 байт = 8 бит.

Если весь текст состоит из К символов, то при алфавитном подходе размер содержащейся в нем информации равен: I = К * i, где i – информационный вес одного символа в используемом алфавите.

Решение задач: Алфавит племени Мульти состоит из 8 букв. Какое кол-во информации несет одна буква? Решение: N-мощность алфавита, i –количество информации на 1 символ. N =2 i 8 =2 i, 2 3 =2 i отсюда i=3

Пример 1. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице – 40 строк, в каждой строке – 60 символов. Каков объем информации в книге? Решение. Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации. (256=2 8 =2 i, i=8 бит=1 байт) Значит, страница содержит 40 х 60 = 2400 байт информации. Объем всей информации в книге (в разных единицах): 2400 х 150 = байт /1024 = 351,5625 Кбайт. 351,5625/1024 = 0, Мбайт.

Пример 2. Подсчитайте объем информации, содержащейся в романе А. Дюма "Три мушкетера", и определите, сколько близких по объему книг можно разместить на одном лазерном диске? (в книге 590 стр., 48 строк на одной странице, 53 символа в строке) Решение. 1) 590*48*53= (символов). 2) байт=1466Кбайт= 1,4Мбайт. 3) На одном лазерном диске емкостью 600 Мбайт можно разместить около 428 произведений, близких по объему к роману А. Дюма "Три мушкетера".

Пример 3. На диске объемом 100 Мбайт подготовлена к выдаче на экран дисплея информация: 24 строчки по 80 символов, эта информация заполняет экран целиком. Какую часть диска она занимает? Решение. Код одного символа занимает 1 байт. 1) 24*80=1920 (байт) 2) Объем диска 100*1024*1024 байт = байт 3) 1920/ =0, (часть диска)

Пример 4: Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?

Пример 5: Юстасу необходимо передать следующее сообщение: Дорогой Алекс! От всей души поздравляю с успешной сдачей экзамена по информатике. Желаю дальнейших успехов. Ваш Юстас. Пеленгатор определяет место передачи, если она длится не менее 3 минут. С какой скоростью (бит/с) Юстас должен передавать радиограмму?

Решение: Бит минимальная единица измерения количества информации. Подсчитаем объем передаваемой информации. В тексте радиограммы содержится 118 символов, каждый символ несет 1 байт информации. Следовательно, должно быть передано 118 байт информации. 1 байт = 8 бит. 118 байт =118*8 бит = 944 бита. Время передачи должно быть меньше 180 с, что требует скорости передачи радиограммы не менее 5 бит/с (944/180 = 5,2). Ответ: Юстас должен передавать радиограмму со скоростью не меньше чем 5 бит/с.

Алфавит состоит из 25 букв, какое количество информации несет в себе одна буква такого алфавита? N=25, i=5 бит

Какова длина слова, если при словарном запасе в 256 слов одинаковой длины каждая буква алфавита несет в себе 2 бита информации? i=2, N=4, Значит в алфавите 4 символа, из них можно составить 256 слов. По формуле N =р х В нашем случае р=4, N=256, 256 =4 х 2 8 =2 2х, 2х=8, х=4 Ответ: в словах по 4 символа