Количество информации как мера уменьшения неопределённости знания

Количество информации За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа бит.

Единицы измерения информации Бит – минимальная единица измерения количества информации. 1 байт = 8 бит 1 кбайт = 2 10 =1024 байт 1 Мбайт = 2 10 =1024 кбайт 1 Гбайт = 2 10 =1024 Мбайт 1 Тбайт = 2 10 =1024 Гбайт Байт – единица количества информации, являющаяся наименьшей единицей памяти компьютера и равная 8 битам.

Количество информации Существует несколько подходов к измерению информации. Выделим два из них: 1. Алфавитный (технический) подход 2. Вероятностный подход

Алфавитный (технический) подход В технике информацией считается любая последовательность символов или знаков. Для определения количества такой информации подсчитывают длину такой последовательности (сообщения) без учета ее содержательной части.

Алфавитный (технический) подход Информационным объемом сообщения называется количество двоичных символов, которое используется для кодирования этого сообщения.

Алфавитный (технический) подход Пусть М – количество символов (мощность) алфавита, в котором записано сообщение, N – количество символов в записи сообщения. Тогда информационный объем сообщения: I=N*log 2 M

Алфавитный (технический) подход Пример: Определите информационный объем слова «разряд», если считать, что алфавит состоит из 10 букв. Решение: Длина сообщения = 6 Мощность алфавита равна = 10 По формуле находим I=6*log 2 10 I=6*log 2 16=6*4=24 бита.

Алфавитный (технический) подход Пример 2: Какое количество информации необходимо для кодирования каждого символа из 256 символов некоторого алфавита. I=N*log 2 M

Кодирование информации Кодирование – процесс представления информации из одной формы в другую, с помощью условных знаков. Код – формальные правила преобразования символов одного исходного алфавита в символы второго конечного алфавита.

Вероятностный подход Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. Если события равновероятны, то количество информации определяется по формуле: или N=2 i N – количество информационных сообщений. i – количество информации, которое несет полученное сообщение

Вероятностный подход Пример 1: В корзине лежат 8 мячей разного цвета (красный, синий, желтый, зеленый, оранжевый, фиолетовый, белый, коричневый). Какое количество информации несёт в себе сообщение о том, что из корзины будет вынут мяч красного цвета?

Вероятностный подход Пусть N – общее число возможных исходов какого- то процесса, и из них интересующее нас событие может пройти k раз. Тогда вероятность этого события равна K/N. Количество информации для событий с различными вероятностями определяется по формуле: i=- i – количество информации, N – количество возможных событий; p i – вероятности отдельных событий.

Вероятностный подход Пример 2: В корзине лежат 16 мячей разного цвета: 4 красных, 8 синих, 4 желтых. Какое количество информации несёт в себе сообщение о том, что из корзины извлечён один мяч?

Количество информации, содержащейся в алфавитном сообщении Чтобы определить количество информации содержащейся в сообщении, записанном в некотором алфавите, следует количество информации, которое несёт в себе один символ этого алфавита, умножить на число символов в сообщении. N=2 i

Количество информации, содержащейся в алфавитном сообщении Пример 3: Известно, что объем сообщения составляет 3 Кб. Определите мощность алфавита, с помощью которого записано это сообщение, если известно, что оно содержит 3072 символа. N=2 i (1) Решение: Объём сообщения равен 3 Кб=3*1024*8 бит=34576 бит. Тогда 1 символ равен 24576/3072=3. Находим кол-во символов по формуле 1: N=2 3 =8

Домашнее задание: 1. Сколько бит информации несёт сообщение о том, что из колоды, содержащей 32 карты, достали даму треф? 2. Какое количество информации несёт сообщение о том, что при бросании двух игральных кубиков в сумме выпало 3? 1. Log log log log 2 9