Теория информации: сигналы, данные, информация

Информатика («Сomputer science») = Information + automatique информация + автоматика Инфоpматика как НАУКА изучает процессы передачи и обработки информации.

Практическое использование результатов информатики как фундаментальной науки (смысловое ударение на слове automatique) воплощается в информатике как в отрасли производства, яркими представителями которой, например, являются два гиганта и вечных конкурента IBM и Apple.

Информатика как учебная ДИСЦИПЛИНА, основана на использовании компьютера, изучает способы создания, поиска, преобразования, передачи и использования информации в различных сферах человеческой деятельности.

Прародительницами информатики считаются математика, кибернетика, электроника, логика и лингвистика

Отцы-основатели информатики Готфрид Лейбниц ,немецкий философ, математик, юрист, дипломат Джодж Буль английский математик и логик Чарльз Бэббидж , английский математик, изобретатель первой вычислительной машины Алан Тьюринг , английский математик, логик, криптограф, пионер кибернетики и первый хакер Норберт Винер , американский учёный, основоположник кибернетики и теории искусственного интеллекта Клод Шеннон , американский инженер- связист и математик, основатель теории информации Джон фон Нейман , математик, сделавший важный вклад в квантовую физику, квантовую логику Алексей Ляпунов , основоположник кибернетики, программист Андрей Ершов 1931 – 1988, советский учёный, один из пионеров теоретического и системного программирования Исаак Брук , советский учёный в области электротехники и вычислительной техники

Математик, изменивший ход войны…

Трёхроторная военная немецкая шифровальная машина Энигма и и Бомба Тьюринга

4 декабря в России отмечается День информатики В этот день Государственный комитет Совета министров СССР по внедрению передовой техники в народное хозяйство зарегистрировал за номером изобретение И.С.Бруком цифровой электронной вычислительной машины.

Состав информатики. Информатику обычно представляют состоящей из трёх, неразрывно связанных частей (трех «китов»): Hardware + Software + Brainware ИНФОРМАТИКА

Инфоpматика научная дисциплина с широчайшим диапазоном применения pазpаботка вычислительных систем и пpогpаммного обеспечения, теория информации, методы искусственного интеллекта, методы машинной графики, анимации, средства мультимедиа; средства телекоммуникации, в том числе, глобальные компьютерные сети, объединяющие все человечество в единое информационное сообщество.

Различные уровни представлений об информации Понятие «информация» (от латинского слова «informatio» сведения, данные, знания) рассматривается в качестве важнейшей сущности мира, являющейся отражением реального мира и охватывающую всю жизнь, Вселенную и всё, что есть в жизни.

Информация и теория «всего»:. Джон Арчибальд Уилер ( ) американский физик-теоретик и фантазия на тему черных дыр.

В теории информации под информацией понимают динамический объект, образующийся в момент взаимодействия объективных данных и адекватных им субъективных методов В практической информатике термин информация – это сведения, которые необходимо обработать с помощью компьютера.

Информация и данные : Спросить Ивана Ивановича о…

Информационные процессы -действия, выполняемые с информацией Поиск, сбор, создание Обработка, распространение Обработка, хранение, воспроизведение, использование

Сообщения – это совокупность знаков или сигналов, отображающих ту или иную информацию. Сигнал – это изменяющийся во времени процесс, то такой процесс может содержать различные характеристики (например, при передаче электрических сигналов могут изменяться электрическое напряжение или сила тока). Та из характеристик, которая используется для представления сообщений, называется параметром сигнала.

Аналоговый и цифровой звуковой сигнал (изменяющийся во времени процесс)

Линией связи называется физическая среда, используемая для передачи сигналов Передаваемая информация добирается от источника до приёмника с помощью сигнала (кода) по каналу связи – некоторой совокупности технических устройств, обеспечивающих передачу сигнала от источника к приёмнику. Количество информации, передаваемое по каналу связи за единицу времени, есть скорость передачи информации, или скорость информационного потока. Скорость информационного потока выражается в битах в секунду Бит в секунду (англ. bits per second, bps) базовая единица измерения скорости передачи информации, используемая на физическом уровне сетевой модели OSI или TCP/IP. На более высоких уровнях сетевых моделей, как правило, используется более крупная единица байт в секунду (Б/c или Bps, от англ. bytes per second) равная 8 бит/c. Пропускная способность канала связи это максимальная скорость передачи информации по каналу связи.

Классификация информации По способу восприятия информации Визуальная Аудиальная Обонятельная Осязательная Вкусовая 90% 9% 1%

Классификация информации Информация По форме представления Информация По форме представления Текстовая Числовая Графическая Звуковая Комбинированная

Показатели качества информации: структурированность, смысл, ценность. ЦЕННОСТЬ ИНФОРМАЦИИ ВЫРАЖАЕТСЯ В СЛЕДУЮЩИХ ПОНЯТИЯХ: Объективность не зависит от чьего-либо мнения. Полнота достаточна для понимания и принятия решений. Достоверность отражает истинное положение дел Доступность информации возможно ли получить ту или иную информацию. Ценность (полезность, значимость) обеспечивает решение поставленной задачи, нужна для того, чтобы принимать правильные решения. Эмоциональность вызывает различные эмоции у людей.

Объективность информации

Парад на Красной площади в 1955 году

Несколько подходов к измерению количества информации: I. Семантический (смысловой, субъективный) II. Объёмный III. Синтаксический (объективный)

I. Семантический (смысловой, субъективный) В одном мгновенье видеть вечность, Огромный мир - в зерне песка, В единой горсти –бесконечность И небо - в чашечке цветка. Уильям Блейк

Количество информации. Семантический (смысловой) подход к измерению информации Е Если Полученные сведения, совершенно не понятны и не знакомы субъекту (отсутствуют в его тезаурусе), количество полученной информации равно нулю:I Новая, но не понятная: «На каком же это языке читается лекция?»

К оличество информации. Семантический (смысловой) подход к измерению информации Если пользователь все знает, и поступающая информация ему не нужна, I = 0. «Сколько можно твердить одно и то же!»

Количество информации. Семантический (смысловой) подход к измерению информации Максимальное количество семантической информации потребитель получает, когда поступающая информация понятна пользователю и несёт ранее не известные сведения, I= I max. От простого к сложному: базовые знания + новое знание

II. Объёмный подход Объём информации в сообщении определяется количеством символов в сообщении. Так количество информации в двоичном коде равно общему количеству 0 и 1. Пример: Количество информации, которое содержит число – 20 бит. Но одно и тоже число может быть записано различными способами! = ,

III. Энтропийный подход Количество информации – это числовая характеристика сигнала, характеризующая неопределенность, которая исчезает после получения сообщения в виде данного сигнала. В информации меру неопределенности (неосведомленности) принято называть энтропией (Н). Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.

I=ΔH=H ДО ПОЛУЧЕНИЯ СООБЩЕНИЯ – H ПОСЛЕ ПОЛУЧЕНИЯ СООБЩЕНИЯ. При этом H ПОСЛЕ ПОЛУЧЕНИЯ СООБЩЕНИЯ =0 (неопределённости уже нет).

В теории информации понятие энтропии помогает ввести единицу измерения информации Эта единица носит название «бит». Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации Бит (binary digit – двоичная цифра)

ФОРМУЛА ХАРТЛИ

2 I = N

Формула Хартли: Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных вариантов сообщения, определяется формуле, предложенной Р.Хартли I = log 2 N; I = M*log 2 N, где M- количество символов в сообщении. Ральф Винтон Лайон Хартли ( ). Американский учёный-электронщик.

Пример 1.В алфавите одна буква: А. Сообщение содержит один символ. Число вариантов N = 1, I = log 2 1= 0 бит.

Пример 2. В алфавите две буквы: А и Б. Сообщение содержит один символ. Число вариантов N =2, I = log 2 2= 1 бит.

Пример 3. Подбрасываемая один раз монета как сообщение: в алфавите две буквы: орел и решка. Сообщение содержит один символ. I = 1 бит.

Пример 4. Подбрасываемый один раз кубик как сообщение: в алфавите шесть букв: 1, 2, 3, 4, 5, 6. Сообщение содержит один символ. I = log 2 6= 2.6 бит.

. Свойство аддитивности информации. Пусть в алфавите две буквы: А и Б. Первое и второе сообщения содержат по одному символу. Тогда в первом и во втором сообщениях – по одному биту информации: I 1 = log 2 2= 1 бит; I 2 = log 2 2= 1 бит. В двух сообщениях вместе – 2 бита. С другой стороны, количество информации в сообщении, состоящем из двух символов (АА, АБ, БА, ББ – 4 варианта), I Σ = log 2 4= 2 бита: I 1 + I 2 = I Σ

Формулы Шеннона Светлейший князь Александр Чернышев ( )

Количество информации для неравновероятных событий 50 заданий: 1 покушение, 5 вербовок высокопоставленных чиновников, 44 похищения документов. Вероятности получения этих разных заданий составляют соответственно 1/50, 5/50 и 44/50 (неравновероятные события). С точки зрения на информацию как на снятую неопределенность количества информации в сообщении, полученном разведчиком, зависит от вероятности получения данного сообщения. разведчик (система) может оказаться с разной вероятностью в различных состояниях (операциях). Вероятность - возможность осуществления события, 0P 1.

Виды операций1.Похищение документов 2.Вербовка высокопоставленно го чиновника 3.Покушение на главу государства вероятности 0,880,10,02

состояния X1X1 X2X2 X3X3 вероятности P1P1 P2P2 P3P3 Формулы Шеннона: КОЛИЧЕСТВО ИНФОРМАЦИИ ДЛЯ НЕРАВНОВЕРОЯТНЫХ СОБЫТИЙ

Пример «Будни резидента» I 1 = log 2 (1/0.88) = 0,18 бит I 2 = log 2 (1/0.1) = 3,3 бит I 3 = log 2 (1/0.02) = 5,6 бит !!!

Связь между формулами Хартли и Шеннона «1»«2»«3»«4»«5»«6» вероятнос ти 1/6 - I(2) = log 2 1/(1/6))= 2.6 бит. Подбрасываемый один раз кубик как сообщение: в алфавите шесть букв: 1, 2, 3, 4, 5, 6. Сообщение содержит один символ. I = log 2 6= 2.6 бит.

Количество информации Можно использовать логарифмы с другими основаниями: I = log 2 1= 0 бит = ln 1 = 0 нат = lg 1 = 0 дит I = log 2 2= 1 бит = ln 2 = 0.7 нат = lg 2 = 0.3 дит I = log 2 4= 2 бита = ln 4 = 1.4 нат = lg 4 = 0.6 дит I = log 2 6= 2.6 бита = ln 6 = 1.8 нат = lg 6 = 0.8 дит 1 дит = 3.3 бит

Единицы измерения информации 8 бит = 1 байт 1 Кбайт = 2 10 байт = 1024 байт 1 Мбайт = 2 20 байт = 2 10 Кбайт = 1024 Кбайт 1 Гбайт = 2 30 байт = 2 20 Кбайт = 2 10 Мбайт = 1024 Мбайт 1 Тбайт = 2 40 байт 1 Пбайт = 2 50 байт 1 Эбайт = 2 60 байт 1 Збайт = 2 70 байт 1 Йбайт = 2 80 байт

Новые стандарты Согласно стандарта IEEE , бит обозначается как «bit», байт – «В», Kило – kibi (обозначается «Ki») = 1024; Mега – mebi(обозначается «Mi») = 1024*1024; Гига – gibi (обозначается «Gi») = 1024*1024* кибибайт = 2 10 байт, 1 килобайт = 10 3 байт