Тема 5. Информационная, алгоритмическая теории измерений Содержание 1 Основные понятия, термины и определения 2 Информационная теория измерений 2.1 Понятие энтропии 2.2 Числовая оценка количества информации 2.3 Энтропийная погрешность 2.4 Характеристики передачи измерительной информации 2.5 Кодирование сигналов

1 Основные понятия, термины и определения Под информацией понимают не сами предметы и процессы, а их существенные характеристики, их отображения в виде чисел, формул, описаний, чертежей, символов, образов и других характеристик. Формой представления информации служит сообщение. Сообщение передается по каналам связи, представляющим собою совокупность каналообразующих средств и лини связи. Измерительная информация - количественные сведения о каком-либо свойстве материального объекта (явления, тела, вещества), полученные опытным путем с помощью технических средств /измерительного прибора или системы. Измерение можно представить как это процесс приема и преобразования информации об измеряемой величине с целью получения количественного результата ее сравнения с принятой шкалой или единицей измерения в форме, наиболее удобной для дальнейшего использования человеком или машиной. Информационно-измерительная техника - это область науки и техники, которая занимается вопросами автоматических и не автоматических измерений и вопросами метрологии. Измерительные технологии – это технологии передачи и обработки измерительной информации. 2 Информационная теория измерений 2.1 Понятие энтропии Сигнал имеет ценность для получателя лишь тогда, когда он неизвестен получателю, т.е. несет определенные новые сведения. В 1928 г. Хартли предложил определять количество информации J(x) в сообщении о некотором событии как логарифм от функции, равной единице, деленной на вероятность появления этого события

Очень важно знать значение среднего количества информации на одно сообщение источника, которое математически совпадает с энтропией Н(х). Энтропия Н(х) - это мера неопределенности исхода случайного опыта или события. Источник может передавать m сообщений Р(х 1), P(x2),..P(xm). Среднее количество информации и неопределенность для всей совокупности случайных сообщений можно получить усреднением по всем сообщениям: где - среднее на одно сообщение количество информации, H(x) - мера недостатка информации о состоянии системы. Единицы измерения энтропии и информации зависят от выбора основания логарифма. При использовании десятичных lg (основание 10) энтропия измеряется в датах, двоичных log (основание 2) - в битах, натуральных ln (основание е) - в нитах; (1 нит = 1,44269 бит, 1 лит = 3,32193 бит). Свойства энтропии источника сообщений: - энтропия всегда положительная величина, т.к. вероятности наступления отдельных сообщений меньше единицы; - энтропия источника равна нулю, если вероятность появления одного из них равна единице (источник не несет информации); - источник будет обладать наибольшей энтропией, если его сообщения могут принимать m значений Чем меньше априорная вероятность события, тем большую информацию оно несет. Выражение помимо количественной оценки информации в сообщении, также характеризует априорную его неопределенность.

2.2 Числовая оценка количества информации Если на вход канала передачи информации подается сигнал с энтропией H(x), а шум в канале имеет энтропию H( ), то количество информации на выходе канала J(x)=H(x)-H(Δ), т.е. меньше энтропии передаваемого сигнала на величину энтропии шума H( ). Если в результате однократного измерения данного значения случайной величины х получено показание x П, то действительное значение измеряемой величины лежит в полосе x П ±. Незнание точного значения измеряемой величины сохраняется и после получения отсчета x П, но теперь оно характеризуется не полной (исходной энтропией) H(x), а лишь энтропией разброса действительного значения х измеряемой величины вокруг полученного отсчета x П, обозначаемой как H(x/x П ) – условной энтропией. Эта энтропия определяется погрешностью прибора и может быть найдена на основании лишь статистики распределения погрешности, безотносительно к закону распределения самой измеряемой величины. Получение информации об интересующей нас величине заключается в уменьшении неопределённости ее значения. Количество информации при этом нахолится как уменьшение энтропии от значения Н(х) до значения Н(х/х П ) где Н(х) – энтропия измеряемой величины до ее измерения; Н(х/х П ) – энтропия действительного значения х измеряемой величины вокруг полученного после измерения значения х П, т.е. энтропия погрешности измерения. Считая, что плотность распределения вероятностей различных значений измеряемой величины р(х) вдоль всей шкалы прибора от Х 1 до Х 2 одинакова, рассчитаем исходную (априорную) и оставшуюся после измерения Х П энтропию:

2.3 Энтропийная погрешность Однозначного соответствия между мощностью погрешности, т.е. её дисперсией 2, и вносимой ею дезинформацией, т.е. значением её энтропии, нет так как при одной и той же мощности 2 вносимая ею дезинформация различна и зависит от закона распределения вероятностей этой погрешности. При определенном среднеквадратическом значении погрешности (действующем значении мощности помехи) наибольшим дезинформационным действием (наибольшей энтропией) обладает погрешность с нормальным законом распределения вероятностей. Таким образом, при произвольном законе распределения вероятностей дезинформационное действие погрешности определяется не всей мощностью помехи, а только некоторой ее частью, которую К. Шеннон назвал энтропийной мощностью погрешности (помехи). При исследовании измерительных устройств удобнее оперировать не значением энтропийной мощности погрешности, а энтропийным значением самой погрешности. Энтропийным значением погрешности считается значение погрешности с равномерным законом распределения, которое вносит такое же дезинформационное действие, что и погрешность с данным законом распределения. Математически это определение сволится к следующему: если погрешность с произвольным законом распределения имеет энтропию H(X/X П ), то эффективный интервал неопределенности вне зависимости от закона распределения будет равен а энтропийное значение погрешности, определяемое как половина от интервала неопределённости, будет равно По рассчитанному значению Δ Э можно сравнивать между собой различные измерительные приборы. Следует отметить, что энтропийное значение погрешности характеризует только случайную составляющую погрешности с непрерывным законом распределения.

2.4 Характеристики передачи измерительной информации Сигнал является носителем информации. Поэтому системы передачи сигналов независимо от их природы характеризуются информационными характеристиками, такими как избыточность, скорость передачи, пропускная способность, объем сигнала и канала и др. Важной характеристикой передаваемых сигналов (сообщений, кодовых посылок) является избыточность. Если реальный сигнал для передаче определенного количества информации J(Х) использует n символов, а его передачу можно было осуществить минимально возможным числом символов n мин, то этот источник сообщений обладает избыточностью с коэффициентом избыточности K где - коэффициент сжатия. Избыточность также определяется через энтропию источника сообщений где H макс (x) - энтропия оптимального сообщения, H(x) - энтропия реального сообщения. Точность и скорость передачи являются общими характеристиками систем передачи измерительной информации. Скорость передачи информации – это среднее количество информации, передаваемое в данной системе за единицу времени: где ; H T (x) - средняя неопределенность передаваемого сообщения (априорная); H T (x/y) - средняя неопределенность принимаемого сообщения (апостериорная); T - время передачи информации; H (x), H (x/y) - априорная и апостериорная энтропии, приходящиеся на единицу времени.

Пропускная способность или емкость канала связи - это максимальное количество информации, которое может быть передано по данному каналу связи в единицу времени 2.5 Кодирование сигналов В математическом понимании кодом называется множество целых рациональных чисел, сопоставляемых по определенному алгоритму с множеством сообщений. В информационных системах под множеством рациональных чисел подразумевается множество (совокупность) дискретных сигналов в виде кодовых комбинаций. Поэтому кодированием называется преобразование дискретных сообщений в дискретные сигналы в виде кодовых комбинаций, а декодированием – обратный процесс однозначного восстановления передаваемых дискретных сообщений. Основные цели кодирования: - передача по общему каналу связи нескольких сообщений для кодового разделения сигналов; - повышение помехоустойчивости и достоверности передачи сообщений; - уменьшение избыточности (экономичное использование частот каналов связи); - снижение стоимости хранения и передачи сообщений; - возможность засекречивания передач. Основные характеристики кода: m – основание кода, равно числу отличающихся друг от друга символов (букв) в алфавите; n – длина кодовой комбинации (разрядность кода или длина слова), n равно числу одинаковых или отличающихся друг от друга символов в кодовой комбинации; N – число кодовых комбинаций в коде (объем кода).

Способы передачи. Символы кода отображаются в виде элементарных электрических импульсов. Эти импульсы отличаются по некоторым избирающим признакам (амплитуде, частоте и т.д.), число которых в коде равно m. Существуют параллельный и последовательный способ передачи кодовых сигналов. При последовательной передаче все кодовые комбинации и их элементарные импульсы передаются последовательно во времени по общей проводной линии или каналу связи; при параллельной передаче – каждому разряду кодовой комбинации выделяется отдельная проводная линия или канал связи. По способу образования кодовых комбинаций, коды можно разделить на две большие группы: - числовые коды (цифровые), в которых кодовые комбинации образуют ряд возрастающих по весу чисел, определяемый системой счисления и нечисловые коды, в основу принципов комбинирования которых положены законы математической теории соединений (законы перестановки, размещения, сочетания и др.) Цифровые коды. В зависимости от значения основания кода m их называют двоичными (m=2), десятеричными (m=10) и т.д. Наиболее широкое применение получила двоичная система счисления главным образом из-за несложной аппаратурной реализации логических операций и арифметических действий, а также устройств для передачи и запоминания сообщений. Для десятичных чисел во многих случаях используются более сложные коды, основанные на раздельном кодировании каждой десятичной цифры и поразрядном представлении кодовых комбинаций, соответствующих отдельным десятичным цифрам числа. К таким простейшим кодам относятся единично-десятичный код - каждая цифра десятичного числа в этом коде передается соответствующим числом импульсов. В системах измерений, цифровых и других устройствах широкое применение получил двоично-десятичный код, в котором каждый разряд десятичного числа образуется путем кодирования в двоичном коде Кроме того в цифровых вычислительных устройствах часто применяются восьмеричная, шестнадцатеричная и десятичная системы счисления.