Теория информации Практическая работа 1_3
Пример 1. Какую степень неопределенности содержит опыт извлечения карточки с простой цифрой, вынутой из разрезной цифровой азбуки? Решение. Из десяти цифр четыре (2, 3, 5, 7) являются простыми, поэтому вероятность p 1 извлечь карточку с простой цифрой равна 0.4, а вероятность противоположного события p 2 =1-0.4=0.6. Решение: Воспользуемся формулой Шеннона.
Пример 2. В одной группе 6 студентов из 24 получили в сессию неудовлетворительную оценку, а в другой - 9 из 27. В каком случае сложнее предсказать успеваемость студента? Решение. Используем формулу Шеннона H 2 >H 1, поэтому сложнее предсказать успеваемость студента во второй группе.
Решите задачи I 1. Что более непредсказуемо: а) исход подбрасывания двух игральных костей или б) угадывание карты из колоды в 36 карт (32 карты)? 2. В одной группе 6 студентов из 20 получили в сессию неудовлетворительные оценки, а в другой - 8 из 24. В каком случае сложнее предсказать успевающего студента? 3. Что более предсказуемо: угадывание масти случайно выбранной карты из колоды в 32 карты или из колоды в 52 карты? 4. Имеются 2 урны. Первая содержит 20 шаров – 10 белых, 5 черных и 5 красных; вторая содержит 16 шаров: 4 белых, 4 черных и 8 красных во второй. Из каждой урны вытаскивают по одному шару. Исход какого из этих двух опытов следует считать более неопределенным?
Решите задачи II 1. Алфавит состоит из букв а, b, с, d. Вероятности появления букв равны соответственно 0,25; 0,25; 0,34; 0,16. Определите количество информации, приходящееся на символ сообщения, составленного с помощью такого алфавита. 2. Найти условные энтропии и величину взаимной информации двух случайных величин по данной таблице их совместного распределения: 3. Можно ли найти значения H X (Y) и I (X,Y), если известны H(X), H(Y) и HY (X) ? Y\X
Решите задачи III 1. Определите H(X) и Hx(Y), если P(x1,y1)=0.3; P(x1,y2)=0.2; P(x3,y2)=0.25; P(x3,y3)= Определите H(X), H(Y) и H(X,Y), если P(x1,y1)=0.2; P(x2,y1)=0.4; P(x2,y2)=0.25; P(x2,y3)= Определите H(X) и E(X,Y), если P(x1,y1)=0.3; P(x1,y2)=0.2; P(x2,y3)=0.1; P(x3,y2)=0.1; P(x3,y3)=0.25.
Если вы решили все задачи, получите 10 баллов.