Тема 5. Информационная, алгоритмическая теории измерений Содержание 1 Основные понятия, термины и определения 2 Информационная теория измерений 2.1 Понятие. - презентация

1 Тема 5. Информационная, алгоритмическая теории измерений Содержание 1 Основные понятия, термины и определения 2 Информационная теория измерений 2.1 Понятие энтропии 2.2 Числовая оценка количества информации 2.3 Энтропийная погрешность 2.4 Характеристики передачи измерительной информации 2.5 Кодирование сигналов

2 1 Основные понятия, термины и определения Под информацией понимают не сами предметы и процессы, а их существенные характеристики, их отображения в виде чисел, формул, описаний, чертежей, символов, образов и других характеристик. Формой представления информации служит сообщение. Сообщение передается по каналам связи, представляющим собою совокупность каналообразующих средств и лини связи. Измерительная информация - количественные сведения о каком-либо свойстве материального объекта (явления, тела, вещества), полученные опытным путем с помощью технических средств /измерительного прибора или системы. Измерение можно представить как это процесс приема и преобразования информации об измеряемой величине с целью получения количественного результата ее сравнения с принятой шкалой или единицей измерения в форме, наиболее удобной для дальнейшего использования человеком или машиной. Информационно-измерительная техника - это область науки и техники, которая занимается вопросами автоматических и не автоматических измерений и вопросами метрологии. Измерительные технологии – это технологии передачи и обработки измерительной информации. 2 Информационная теория измерений 2.1 Понятие энтропии Сигнал имеет ценность для получателя лишь тогда, когда он неизвестен получателю, т.е. несет определенные новые сведения. В 1928 г. Хартли предложил определять количество информации J(x) в сообщении о некотором событии как логарифм от функции, равной единице, деленной на вероятность появления этого события

3 Очень важно знать значение среднего количества информации на одно сообщение источника, которое математически совпадает с энтропией Н(х). Энтропия Н(х) - это мера неопределенности исхода случайного опыта или события. Источник может передавать m сообщений Р(х 1), P(x2),..P(xm). Среднее количество информации и неопределенность для всей совокупности случайных сообщений можно получить усреднением по всем сообщениям: где - среднее на одно сообщение количество информации, H(x) - мера недостатка информации о состоянии системы. Единицы измерения энтропии и информации зависят от выбора основания логарифма. При использовании десятичных lg (основание 10) энтропия измеряется в датах, двоичных log (основание 2) - в битах, натуральных ln (основание е) - в нитах; (1 нит = 1,44269 бит, 1 лит = 3,32193 бит). Свойства энтропии источника сообщений: - энтропия всегда положительная величина, т.к. вероятности наступления отдельных сообщений меньше единицы; - энтропия источника равна нулю, если вероятность появления одного из них равна единице (источник не несет информации); - источник будет обладать наибольшей энтропией, если его сообщения могут принимать m значений Чем меньше априорная вероятность события, тем большую информацию оно несет. Выражение помимо количественной оценки информации в сообщении, также характеризует априорную его неопределенность.

4 2.2 Числовая оценка количества информации Если на вход канала передачи информации подается сигнал с энтропией H(x), а шум в канале имеет энтропию H( ), то количество информации на выходе канала J(x)=H(x)-H(Δ), т.е. меньше энтропии передаваемого сигнала на величину энтропии шума H( ). Если в результате однократного измерения данного значения случайной величины х получено показание x П, то действительное значение измеряемой величины лежит в полосе x П ±. Незнание точного значения измеряемой величины сохраняется и после получения отсчета x П, но теперь оно характеризуется не полной (исходной энтропией) H(x), а лишь энтропией разброса действительного значения х измеряемой величины вокруг полученного отсчета x П, обозначаемой как H(x/x П ) – условной энтропией. Эта энтропия определяется погрешностью прибора и может быть найдена на основании лишь статистики распределения погрешности, безотносительно к закону распределения самой измеряемой величины. Получение информации об интересующей нас величине заключается в уменьшении неопределённости ее значения. Количество информации при этом нахолится как уменьшение энтропии от значения Н(х) до значения Н(х/х П ) где Н(х) – энтропия измеряемой величины до ее измерения; Н(х/х П ) – энтропия действительного значения х измеряемой величины вокруг полученного после измерения значения х П, т.е. энтропия погрешности измерения. Считая, что плотность распределения вероятностей различных значений измеряемой величины р(х) вдоль всей шкалы прибора от Х 1 до Х 2 одинакова, рассчитаем исходную (априорную) и оставшуюся после измерения Х П энтропию:

5 2.3 Энтропийная погрешность Однозначного соответствия между мощностью погрешности, т.е. её дисперсией 2, и вносимой ею дезинформацией, т.е. значением её энтропии, нет так как при одной и той же мощности 2 вносимая ею дезинформация различна и зависит от закона распределения вероятностей этой погрешности. При определенном среднеквадратическом значении погрешности (действующем значении мощности помехи) наибольшим дезинформационным действием (наибольшей энтропией) обладает погрешность с нормальным законом распределения вероятностей. Таким образом, при произвольном законе распределения вероятностей дезинформационное действие погрешности определяется не всей мощностью помехи, а только некоторой ее частью, которую К. Шеннон назвал энтропийной мощностью погрешности (помехи). При исследовании измерительных устройств удобнее оперировать не значением энтропийной мощности погрешности, а энтропийным значением самой погрешности. Энтропийным значением погрешности считается значение погрешности с равномерным законом распределения, которое вносит такое же дезинформационное действие, что и погрешность с данным законом распределения. Математически это определение сволится к следующему: если погрешность с произвольным законом распределения имеет энтропию H(X/X П ), то эффективный интервал неопределенности вне зависимости от закона распределения будет равен а энтропийное значение погрешности, определяемое как половина от интервала неопределённости, будет равно По рассчитанному значению Δ Э можно сравнивать между собой различные измерительные приборы. Следует отметить, что энтропийное значение погрешности характеризует только случайную составляющую погрешности с непрерывным законом распределения.

6 2.4 Характеристики передачи измерительной информации Сигнал является носителем информации. Поэтому системы передачи сигналов независимо от их природы характеризуются информационными характеристиками, такими как избыточность, скорость передачи, пропускная способность, объем сигнала и канала и др. Важной характеристикой передаваемых сигналов (сообщений, кодовых посылок) является избыточность. Если реальный сигнал для передаче определенного количества информации J(Х) использует n символов, а его передачу можно было осуществить минимально возможным числом символов n мин, то этот источник сообщений обладает избыточностью с коэффициентом избыточности K где - коэффициент сжатия. Избыточность также определяется через энтропию источника сообщений где H макс (x) - энтропия оптимального сообщения, H(x) - энтропия реального сообщения. Точность и скорость передачи являются общими характеристиками систем передачи измерительной информации. Скорость передачи информации – это среднее количество информации, передаваемое в данной системе за единицу времени: где ; H T (x) - средняя неопределенность передаваемого сообщения (априорная); H T (x/y) - средняя неопределенность принимаемого сообщения (апостериорная); T - время передачи информации; H (x), H (x/y) - априорная и апостериорная энтропии, приходящиеся на единицу времени.

7 Пропускная способность или емкость канала связи - это максимальное количество информации, которое может быть передано по данному каналу связи в единицу времени 2.5 Кодирование сигналов В математическом понимании кодом называется множество целых рациональных чисел, сопоставляемых по определенному алгоритму с множеством сообщений. В информационных системах под множеством рациональных чисел подразумевается множество (совокупность) дискретных сигналов в виде кодовых комбинаций. Поэтому кодированием называется преобразование дискретных сообщений в дискретные сигналы в виде кодовых комбинаций, а декодированием – обратный процесс однозначного восстановления передаваемых дискретных сообщений. Основные цели кодирования: - передача по общему каналу связи нескольких сообщений для кодового разделения сигналов; - повышение помехоустойчивости и достоверности передачи сообщений; - уменьшение избыточности (экономичное использование частот каналов связи); - снижение стоимости хранения и передачи сообщений; - возможность засекречивания передач. Основные характеристики кода: m – основание кода, равно числу отличающихся друг от друга символов (букв) в алфавите; n – длина кодовой комбинации (разрядность кода или длина слова), n равно числу одинаковых или отличающихся друг от друга символов в кодовой комбинации; N – число кодовых комбинаций в коде (объем кода).

8 Способы передачи. Символы кода отображаются в виде элементарных электрических импульсов. Эти импульсы отличаются по некоторым избирающим признакам (амплитуде, частоте и т.д.), число которых в коде равно m. Существуют параллельный и последовательный способ передачи кодовых сигналов. При последовательной передаче все кодовые комбинации и их элементарные импульсы передаются последовательно во времени по общей проводной линии или каналу связи; при параллельной передаче – каждому разряду кодовой комбинации выделяется отдельная проводная линия или канал связи. По способу образования кодовых комбинаций, коды можно разделить на две большие группы: - числовые коды (цифровые), в которых кодовые комбинации образуют ряд возрастающих по весу чисел, определяемый системой счисления и нечисловые коды, в основу принципов комбинирования которых положены законы математической теории соединений (законы перестановки, размещения, сочетания и др.) Цифровые коды. В зависимости от значения основания кода m их называют двоичными (m=2), десятеричными (m=10) и т.д. Наиболее широкое применение получила двоичная система счисления главным образом из-за несложной аппаратурной реализации логических операций и арифметических действий, а также устройств для передачи и запоминания сообщений. Для десятичных чисел во многих случаях используются более сложные коды, основанные на раздельном кодировании каждой десятичной цифры и поразрядном представлении кодовых комбинаций, соответствующих отдельным десятичным цифрам числа. К таким простейшим кодам относятся единично-десятичный код - каждая цифра десятичного числа в этом коде передается соответствующим числом импульсов. В системах измерений, цифровых и других устройствах широкое применение получил двоично-десятичный код, в котором каждый разряд десятичного числа образуется путем кодирования в двоичном коде Кроме того в цифровых вычислительных устройствах часто применяются восьмеричная, шестнадцатеричная и десятичная системы счисления.