3.1.1. ИЗМЕРЕНИЕ ИНФОРМАЦИИ Какое количество информации содержится, к примеру, в тексте романа «Война и мир», в фресках Рафаэля или в генетическом коде. - презентация

1 ИЗМЕРЕНИЕ ИНФОРМАЦИИ Какое количество информации содержится, к примеру, в тексте романа «Война и мир», в фресках Рафаэля или в генетическом коде человека? Возможно ли объективно измерить количество информации? Какое количество информации содержится, к примеру, в тексте романа «Война и мир», в фресках Рафаэля или в генетическом коде человека? Возможно ли объективно измерить количество информации? В настоящее время получили распространение подходы к определению понятия «количество информации», основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле ее новизны или, иначе, уменьшения неопределенности наших знаний об объекте. В настоящее время получили распространение подходы к определению понятия «количество информации», основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле ее новизны или, иначе, уменьшения неопределенности наших знаний об объекте. В научном плане понятие «информация» связывается с вероятностью осуществления того или иного события. В научном плане понятие «информация» связывается с вероятностью осуществления того или иного события. Вероятность – числовая характеристика степени возможности наступления события. Вероятность достоверного события (обязательно должно произойти) равна 1, невозможного события (не произойдет никогда) – 0. Вероятность случайного события лежит в интервале (0,1). Например, вероятность выпадения «орла» при подбрасывании монеты равна 1/2, а вероятность выпадения каждой из граней при игре в кости – 1/6. Вероятность – числовая характеристика степени возможности наступления события. Вероятность достоверного события (обязательно должно произойти) равна 1, невозможного события (не произойдет никогда) – 0. Вероятность случайного события лежит в интервале (0,1). Например, вероятность выпадения «орла» при подбрасывании монеты равна 1/2, а вероятность выпадения каждой из граней при игре в кости – 1/6.

2 Случайным называется событие, которое может произойти, а может и не произойти. Примерами случайных событий могут служить выпадение «орла» при подбрасывании монеты или число очков (т.е. выпадение определенной грани) при игре в кости. Случайным называется событие, которое может произойти, а может и не произойти. Примерами случайных событий могут служить выпадение «орла» при подбрасывании монеты или число очков (т.е. выпадение определенной грани) при игре в кости. Американский инженер Р. Хартли (1928) процесс получения информации рассматривал как выбор одного сообщения из конечного заранее заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N. Американский инженер Р. Хартли (1928) процесс получения информации рассматривал как выбор одного сообщения из конечного заранее заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N. Формула Хартли: I = log2N. Формула Хартли: I = log2N. Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log ,644. То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644. I = log ,644. То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644.

3 Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины. Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины. Для задач такого рода американский ученый Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Для задач такого рода американский ученый Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

4 Формула Шеннона: I = - (p1 log2 p1 + p2 log2 p pN log2 pN), Формула Шеннона: I = - (p1 log2 p1 + p2 log2 p pN log2 pN), где pi – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. где pi – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. Если вероятности p1,..., pN равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли. Если вероятности p1,..., pN равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли. Анализ формулы показывает, что чем выше вероятность события, тем меньшее количество информации возникает после его осуществления, и наоборот. Анализ формулы показывает, что чем выше вероятность события, тем меньшее количество информации возникает после его осуществления, и наоборот. Если вероятность равна 1 (т.е. событие достоверно), количество информации равно 0. Если вероятность свершения или несвершения какого-либо события одинакова, т.е. равна 1/2, то количество информации, которое несет с собой это событие, равно 1. Если вероятность равна 1 (т.е. событие достоверно), количество информации равно 0. Если вероятность свершения или несвершения какого-либо события одинакова, т.е. равна 1/2, то количество информации, которое несет с собой это событие, равно 1.

5 Это – единица измерения информации. Она получила наименование бит. Это – единица измерения информации. Она получила наименование бит. Если событие имеет m равновероятных исходов, как при подбрасывании монеты или при игре в кости, то вероятность конкретного исхода равна 1/m, и формула Шеннона приобретает вид: I = log2 m. Если событие имеет m равновероятных исходов, как при подбрасывании монеты или при игре в кости, то вероятность конкретного исхода равна 1/m, и формула Шеннона приобретает вид: I = log2 m. В этом случае I = 1 бит при m = 2. Для информации об исходе такого события достаточно двух символов (например, 0 и 1). Система счисления, в которой используется только два символа, называется двоичной. В этом случае I = 1 бит при m = 2. Для информации об исходе такого события достаточно двух символов (например, 0 и 1). Система счисления, в которой используется только два символа, называется двоичной. Поэтому бит можно также определить как количество информации, которое содержит один разряд двоичного числа (отсюда название «бит»: binary digit – двоичный разряд). Бит в теории информации – количество информации, необходимое для различения двух равновероятных сообщений. Поэтому бит можно также определить как количество информации, которое содержит один разряд двоичного числа (отсюда название «бит»: binary digit – двоичный разряд). Бит в теории информации – количество информации, необходимое для различения двух равновероятных сообщений. Количество информации, равное 8 битам, называется байтом. В восьми разрядах можно записать 256 различных целых двоичных чисел от до Количество информации, равное 8 битам, называется байтом. В восьми разрядах можно записать 256 различных целых двоичных чисел от до

6 Широко используются также еще более крупные производные единицы информации: Широко используются также еще более крупные производные единицы информации: 1 Килобайт (Кбайт) = 1024 байт = 210 байт; 1 Килобайт (Кбайт) = 1024 байт = 210 байт; 1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт; 1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт; 1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт. 1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт. В последнее время в связи с увеличением объемов обрабатываемой информации входят в употребление такие производные единицы, как: В последнее время в связи с увеличением объемов обрабатываемой информации входят в употребление такие производные единицы, как: 1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт; 1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт; 1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт. 1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт. За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации. За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации.