Формулы Хартли и Шеннона Вероятностный подход к измерению количества информации. - презентация

1 Формулы Хартли и Шеннона Вероятностный подход к измерению количества информации

2 1928 год американский инженер Хартли процесс получения информации рассматривает как выбор одного сообщения из конечного заданного множества N равновероятных событий

3 Формула Хартли: I=log 2 N где I -количество информации, N -число равновероятных событий.

4 Задача: Какое количество информации требуется, чтобы угадать одно число из 128? Решение: I=log 2 128=7 бит

5 Задача: Какое количество информации требуется, чтобы угадать одно число из 100? Решение: I=log ,644 бит

6 Вывод: с увеличением числа вероятных событий (N), увеличивается количество информации (I), полученной при совершении одного из событий.

7 Формула Хартли может быть записана и так: N=2 I Если N=2 (выбор из двух возможностей), то I=1 бит.

8 Так как наступление каждого из N событий имеет одинаковую вероятность P, то Р=1/N. Если событий 6, то вероятность появления одного события равно 1/6, если событий 100, то вероятность равна 0,01 => N=1/P

9 Формулу Хартли можно записать иначе: I=log 2 (1/P)= log 2 P -1 = - log 2 P так как p 0

10 Примеры равновероятных сообщений: 1) при бросании монеты выпала «решка», выпал «орел» 2) на странице книги количество букв четное, нечетное.

11 Задача: Определить, является ли равновероятным событие – из дверей выйдет первым мужчина или женщина?

12 1948 год американский ученый Клод Шеннон предложил другую формулу определения количества информации, учитывая возможную неодинаковую вероятность событий в наборе.

13 Формула Шеннона: I=-(p 1 log 2 p 1 + p 2 log 2 p 2 + p 3 log 2 p 3 +…. p N log 2 p N ), где p I вероятность того, что именно I –е сообщение выделено в наборе из N сообщений.

14 Другая запись формулы Шеннона: I=- I -количество информации, N -количество возможных событий, Р I – вероятности отдельных событий.

15 Задача. Пусть имеется строка текста, содержащая 1000 букв. Буквы встречаются в тексте: «о»-90 раз «р» -40 раз «Ф»- 2 раза «а»-200 раз. Какое количество информации несет буква в строке?

16 Решение: I=-(0,09*log 2 0,09 + 0,04* log 2 0,04 + 0,002* log 2 0, ,2* log 2 0,2)=