Различные подходы к измерению информации

Термин "информация" происходит от латинского слова "Informatiо"- разъяснение, изложение, осведомленность. Общее понятие, означающее некоторые сведения, совокупность данных, знаний и т.д.

Выделяют следующие аспекты информации: статистический семантический прагматический структурный

Статистический подход Основоположник -Клод Элвуд Шеннон Опубликовал в 1948 году свою «Математическую теорию связи». В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации.

Шеннон измерял количество информации- как меру достоверности передаваемого сигнала в битах. Его формула предназначена для измерения количества информации в системах, которым присуще конечное количество дискретных состояний, различающихся по распространенности внутри соответствующих систем.

В этой формуле: I - количество информации, которое несет сообщение. N - количество возможных событий. pi - вероятность отдельного события. Формула Шеннона:

Энтропия Количественно выраженная неопределенность состояния системы получила название энтропии. Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Т.е. информацией является не любое сообщение, а лишь такое, которое несет неизвестные ранее получателю факты.

Формула энтропии: Где: N – число возможных состояний системы; Pi – вероятность наступления i-го состояния

Количество информации, которое содержится в одном из двух равновероятных сообщений, называется битом и является единицей измерения информации.

Количество информации, содержащейся в сообщении, равно разности между мерами неопределенности получателя до и после получения сообщения:

Количество информации в сообщении измеряется уменьшением неопределенности состояния системы. Если эта разность равна нулю, то информация в сообщении отсутствует. Для случая, когда все состояния системы равновероятны:

Семантический подход Основоположник Норберт Винер.

Данный подход предполагает, что для получения и использования информации получатель должен обладать определенным запасом знаний – тезаурусом. Такая мера связывает семантические свойства информации со способностью системы принимать поступившее сообщение.

Тезаурус можно трактовать как совокупность сведений, которыми располагает данная система.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом Sт изменяется количество семантической информации Iс, воспринимаемой системой и включаемой в дальнейшем в свой тезаурус.

При Sт=0 пользователь не воспринимает поступившую информацию; При Sт = он все знает и поступившая информация ему не нужна. Максимальное значение Iс приобретает при согласовании S css т, когда поступающая информация понятна системе и несет ей ранее неизвестные сведения.

Следовательно, количество семантической информации в сообщении и новых знаний, получаемых системой, является величиной относительной – одно и то же сообщение может иметь смысловое содержание для компетентной системы и быть бессмысленным (семантический шум) для некомпетентной.

При разработке информационного обеспечения систем управления стремятся к согласованию величин S и Sт так, чтобы циркулирующая в системе информация была доступна для восприятия и обладала наибольшей содержательностью S:

Прагматический подход Основоположник Александр Александрович Харкевич

Данный подход определяет количество информации как меру, способствующую достижению поставленной цели. Прагматический подход при определении полезности информации основан на расчете приращения вероятности достижения цели до и после получения информации.

Количество информации, определяющее ее ценность (полезность), находится по формуле: Где: - вероятность достижения цели до получения сообщения; - вероятность достижения цели поле получения сообщения;

В качестве меры ценности информации в данном подходе рассматривается количество информации как приращение вероятности достижения цели. Ценность информации целесообразно измерять в тех же единицах, в которых задается целевая функция управления системой.

Структурный подход Измеряет количество информации простым подсчетом информационных элементов, составляющих сообщение. Применяется для оценки возможностей запоминающих устройств, объемов передаваемых сообщений, инструментов кодирования без учета статистических характеристик их эксплуатации.

Структурный подход предполагает преобразование информации в машинные коды и, наоборот, из машинных кодов в доступную форму. При машинном хранении информации структурной единицей информации является один байт.

Меры информации Геометрическа я Комбинаторная Аддитивная

Другими, более крупными, единицами измерения являются: