Бит Количество информации, которое можно получить при ответе на вопрос типа да/нет (включено/выключено, true/false, 0/1), если эти состояния равновероятны, называется бит (англ. bit – binary digit – двоичное число). (c) Попова О.В., AME, Красноярск, 20052

Бит (c) Попова О.В., AME, Красноярск, Лампочка горит ? (да / нет) – 1 бит информации ( при равных вероятностях). 1 бит 0 1 I=1 I – количество информации, бит N - число возможных состояний системы N=2

Рассмотрим систему из 2-х электрических лампочек (c) Попова О.В., AME, Красноярск, А B В системе из 2-х лампочек 2 бита информации. I=2N=4 Лампочка А горит? (да/нет) Лампочка B горит? (да/нет)

Рассмотрим систему из 2-х электрических лампочек AB B 1-ый бит A 0-ой бит

Система из 3-х лампочек 0,1,1 0,0,1 0,1,0 1,0,1 1,0,0 0,1,1 0,0,0 1,1,1 A B C C 2-ой бит B 1-ый бит A 0-ой бит N=? N=8 I=3

Степени 2 (c) Попова О.В., AME, Красноярск, I= N= Формула Хартли

Байт На основании 1 байта, исходя из формулы Хартли, можно получить 256 различных комбинаций ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой ой 6-ой 5-ый 4-ый 3-ий 2-ой 1-ый 0-ой 0min 255 max

1 символ = 1 байт Количество байтов для представления текста (в принятых на сегодняшний день кодировках) равно числу знаков естественного языка этого текста. (c) Попова О.В., AME, Красноярск, 20059

Более крупные единицы измерения информации 1 Kb (кило) = 2 10 b = b 1 Mb (мега) = 2 10 Kb = 2 20 b = b 1 Gb (гига) = 2 10 Mb = 2 30 b = b 1 Tb (тира) = 2 10 Gb = 2 40 b = b

Задача Размер текстового файла (Vд) 640 Kb. Файл содержит книгу, которая набрана в среднем по 32 строки на странице и по 64 символа в строке. Сколько страниц в книге: 160, 320, 540, 640, 1280 ? I= N= Символов на 1 стр. = 32*64 = 2 5 *2 6 = Всего = 640Kb = 10*64*2 10 b = 10*2 6 *2 10 b = 10*2 16 b 4. Кол-во стр. = 10*2 16 b / 2 11 b = 10*2 5 = страница страница страница страница страница 1 символ = 1b 2. Памяти на 1 стр. = 2 11 b

Количество информации = 0, если: «ИЗВЕСТНО ВСЕ» - Вам сообщают что-либо уже известное, например, что дважды два – четыре, что после ночи наступает день… «НЕИЗВЕСТНО НИЧЕГО» - Вам сообщают что-либо на неизвестном вам языке, Вы видите совершенно незнакомую математическую формулу… Т.е. информация была передана, приемник информацию получил, но его знания остались без изменений. (c) Попова О.В., AME, Красноярск,

Интересные факты Язык обладает 20% избыточностью. Это означает, что любое сообщение можно без потери информации сократить на 1/5, но при этом резко уменьшается помехоустойчивость информации. Информативность стихов в 1,5 раза больше, чем прозы, т.е. сообщение в 150 строк может быть передано 100 стихотворными строчками. Информативность стихов Пушкина очень близка к пределу информационной способности русского языка вообще.