Информационные возможности оптических систем. Основные понятия теории информации Исторические предпосылки создания Морзе 1830 П. Шиллинг 1832 г. Белл. - презентация

1 Информационные возможности оптических систем

2 Основные понятия теории информации Исторические предпосылки создания Морзе 1830 П. Шиллинг 1832 г. Белл 1876 г. А. С. Попов 1905 Телевидение Телетайп 1931 ЧМ (Амстронг) 1936 ИКМ (Ривс) 1937 Informatio (лат.) - разъяснение, осведомление. Клод Шеннон « …я не знаю, как идет сигнал…» Б.Г.

3 I.Основные работы, заложившие основу теории информации H. Nyquist, Certain factors affecting telegraph speed, Bell Syst. Tech. J., vol. 3, pp. 324–352, Apr R. V. L. Hartley, Transmission of information, Bell Syst. Tech. J., vol.7, pp. 535–563, July В.А. Котельников «О пропускной способности линий электросвязи» Изд. Ред. Упр. Связи. РККА, том 44, А.Н. Колмогоров (1938 г.) - ? C. E. Shannon, A mathematical theory of communication, Bell Syst. Tech. J., vol. 27, pp. 379–423, 623–656, July–Oct A. G. Clavier, Evaluation of transmission efficiency according to Hartleys expression of information content, Elec. Commun.: ITT Tech.J., vol. 25, pp. 414–420, June C. W. Earp, Relationship between rate of transmission of information, frequency bandwidth, and signal-to-noise ratio, Elec. Commun.: ITT Tech. J., vol. 25, pp. 178–195, June S. Goldman, Some fundamental considerations concerning noise reductionand range in radar and communication, Proc. Inst. Elec. Eng.,vol. 36, pp. 584–594, 1948, N. Wiener, Cybernetics, Chaper III: Time Series, Information and Communication. New York: Wiley, 1948.

4

5 Количество информации в системе равновероятных событий (Р. Хартли 1928) Опыт - процесс, в результате которого наблюдатель получает информацию о некотором интересующем объекте. Опытами являются чтение или прослушивание незнакомого текста, регистрация на ПЗС-матрицу изображений, измерения длины, яркости, интенсивности и т.п. Априори (до опыта) однозначно не известно, какие сигналы и в какой последовательности будут воздействовать на приемник информации, т.е. результат опыта до его проведения является неопределенным. (Дядя Ваня за углом) Апостериори (после опыта) эта неопределенность частично или полностью устраняется. (Это дядя Ваня, а может быть нет) Таким образом за меру количества информации, получаемой в результате опыта, можно принять величину, характеризующую меру уменьшения неопределенности сведений о наблюдаемом объекте. (Например: 1 – Дядя Ваня, 0 – Не дядя Ваня)

6 Подход Р. Хартли к измерению информации. Пусть для записи и передачи сообщений используется язык, характеризующийся алфавитом символов: L 1, L 2, … L S S – число символов (букв) (например 0, 1) Передатчик генерирует слова, состоящие из n букв (например , 8 букв) в количестве N Кол-во N различных слов, длиной n букв, согласно теории вероятности, равно: N = S n (2 8 ) Поскольку при приеме сообщения известна длина слова n, то неопределенность опыта по точной регистрации очередного слова характеризуется величиной N. т.о. чем больше N – тем больше информации в результате опыта Вывод: кол-во информации д.б. неубывающей функцией от N

7 Также мера информации д.б. пропорциональна длине слова n (например , 16 букв ) Тогда I - количество информации I = n K, где К – некоторый коэффициент; Мера информации должна сравнивать информационные возможности разных систем (с различными n и S). Пусть для двух систем мы имеем n 1, S 1, N 1, I 1 и n 2, S 2, N 2, I 2, причем информационные возможности одинаковы I 1 = I 2 Тогда можно записать n 1 K 1 = n 2 K 2 K 1 / K 2 = n 2 / n 1 Если I 1 = I 2 то N 1 = N 2 S n1 = S n2 n 1 lg S 1 = n 2 lg S 2 K 1 / K 2 = lg S 1 /lg S 2 Таким образом, коэффициент K пропорционален логарифму числа символов алфавита. I = n lg S = lg S n = lg N мера Хартли (n = 8, S = 2, I = - lg256) Можно заметить, что, lg N = - lg p, где р = 1/N - вероятности регистрации какого-либо слова, которые по условиям опыта одинаковы. По Хартли количество информации, получаемое в результате опыта, равно логарифму числа возможных равновероятных исходов.

8 Логарифмическая мера Хартли обладает свойством аддитивности Свойства меры Хартли N 1,2 = N 1 N 2 I 1,2 = lgN 1,2 = lgN 1 + lgN 2 = I 1 + I 2 Системы единиц измерения Бит (binary digits) – I = log 2 N Дит (decimal) - I = lgN Нат (natural) - I = lnN Пример На одном из полей шахматной доски установлена фигура. а) "конь находится на вертикали b, б) "конь находится на горизонтали 3, в) "конь находится на поле b3. Шахматная доска имеет 8 вертикалей: N B = 8; I B = log 2 8 = 3 бит Шахматная доска имеет 8 горизонталей: N Г = 8; I Г = log 2 8 = 3 бит Шахматная доска имеет 64 поля: N П = 64; I П = log 2 64 = 6 бит I B + I Г = I П

9 Количество информации в системе событий с различными вероятностями. Подход Шеннона Пусть в эксперименте измеряются значения некоторой дискретной случайной величины S Вероятности получения соответствующих значений s i неодинаковы и равны Предположим далее, что в результате проведения одного опыта с полной определенностью стало известно, что случайная величина приняла некоторое значение s k. Количество информации, полученное в этом опыте, по определению считается равным

10 По определению p k - априорная вероятность события, а I k называется частной информацией, поскольку она характеризует неожиданность (неопределенность) появления конкретного события Например: появление 0 или 1 равновероятны, тогда p1 = p2 = 0.5 I1 = I2 = - log(1/2) = 1 Если p1 = 0.25 p2 = 0.75 то I1 = - log(1/4) = 2 I2 = - log0.75 = Определение является естественным обобщением меры количества информации по Хартли Наибольшая информация достигается, если в результате опыта произошло наименее вероятное (наиболее неожиданное) событие. ( Согласуется с восприятием информации homo ) Для оценки информационных характеристик различных систем наиболее важным является, как правило, определение количества информации, усредненного по многим повторяющимся опытам Например: сколько информации в среднем может перенести 0 и 1 Если вероятности появления равны/неравны

11 Усредненной оценкой количества информации при многократных повторениях опыта по измерению величины S является математическое ожидание частной информации – мера Шеннона Мера Шеннона характеризует количество информации, приходящееся в среднем на одно событие. 1) обращается в нуль, когда одно из состояний достоверно, а другие невозможны; 2)непрерывна относительно p k и достигает максимального значения, когда состояния системы равновероятны Например: p1 = p2 = 0.5 E = -(0.5log(1/2)+0.5log(1/2)) = 1 Если p1 = 0.25 p2 = 0.75 то E = -(-0.75* *2) = ) является монотонно возрастающей функцией N 4) обладает свойством аддитивности, то есть в случае объединения независимых систем их информации складываются.

12 На выходе реальных информационных систем количество информации, содержащееся в сообщении, определяется следующим образом: I = Н и - Н 0 где I - количество информации, содержащееся в сообщении; Н и - исходная неопределенность ансамбля событий, известная априори; Н 0 - неопределенность ансамбля событий, оставшаяся после опыта. До получения информации ситуация характеризуется неопределенностью того, от какого источника она будет направлена, т.е. априорной энтропией:

13 Пример. Энтропия бинарного источника.

14

15

16 При полосе F наибольшее число отсчетов сигнала равно 2F в единицу времени или 2FT за время T(теорема Котельникова). Если бы шума не существовало, то число дискретных уровней сигнала было бы бесконечным. В случае наличия шума последний определяет степени различимости отдельных уровней амплитуды сигнала. Так как. мощность является усредненной характеристикой амплитуды, число различимых уровней сигнала по мощности равно (P С + P Ш ) / P Ш, а по амплитуде соответственно Тогда информационная емкость канала Итак, емкость канала ограничивается двумя величинами: шириной полосы канала и шумом. Формула Шеннона

17 Энергетический предел передачи информации Фундаментальный предел основан на теореме К. Шеннона для максимальной емкости канала связи. Выражение для максимальной емкости для канала с гауссовым источником теплового шума можно вывести следующим образом: где С - максимальная пропускная способность канала в б/c, ΔF – полоса пропускания канала связи, P C - средняя мощность сигнала - средняя мощность теплового шума. Для гауссового источника с тепловым шумом можно записать, что P Ш = kT ΔF, где k = 1, Дж/K константа Больцмана, T – температура в К. Тогда (1) можно записать: (2).

18 Вычислим среднюю энергию на бит путем деления средней мощности сигнала на скорость передачи информации из (2): Вычисляя производную и приравнивая её 0 по правилу Лопиталя можно получить: Из квантовой механики можно получить выражение для средней мощности гаусcового шума: P Ш (ħω/2) ΔF

19

20 Число пространственных степеней свободы когерентных оптических сигналов Рассмотрим дифракционно-ограниченную оптическую систему заданную своими зрачками, которые для упрощения рассмотрения будем предполагать прямоугольными о размерами Сх, Су по соответствующем осям. Оптической системе предъявляется объект Р, имеющий размеры Аx Ay по соответствующим осям и освещаемый слева пространственно когерентным монохроматическим плоскополяризованным излучением с длиной волны.

21 Полное число независимых отсчетов в плоскости Р' равно полному набору независимых пространственных параметров, описывающих распространение оптического сигнала через рассматриваемую систему, известно, что при неизменной поляризации, число пространственных степеней свободы оптического сигнала распространяющегося в данной системе, равно числу элементов N, разрешаемых в изображении предмета, т.е. где Аx Ау- площадь предмета; Сx Су- площадь входного зрачка; - телесный угол, под которым виден входной зрачок из осевой точки предмета. Размеры разрешаемого элемента по соответствующим осям Поскольку плоскости зрачков, предмета и изображения сопряжены, соотношение может быть записано в виде

22 Более строгий анализ числа пространственных гармоник сложного оптического сигнала показывает, что где Ux Uy - передние апертурные углы в cоответcтвующих координатных плоскостях. Реальный оптический сигнал квазимонохроматичен где - ширина спектра, -средняя частота. Для таких сигналов во всех выше полученных соотношениях длину волны необходимо заменить на среднюю длину волны Определение числа степеней свободы Nt, связанных с временными параметрами сигнала, произведем в соответствии с теоремой Котельникова

23 Денис Габор в доказал следующую теорему: при заданных размере предмета, времени наблюдения, спектральной полосе пропускания и апертуре оптической системы, фундаментальным инвариантом является общее число степеней свободы оптического сигнала ( временных и пространственных) Никакими методами невозможно получить большее число независимых параметров сигнала, чем No. Появление множителя 4 в соотношении обусловлено тем, что когерентные оптические сигналы являются комплексными и информация может быть связана с модуляцией как амплитуды,так и фазы волны, что увеличивает число информационных степеней свободы вдвое. Кроме того, сигнал характеризуется двумя независимыми состояниями поляризации. Д. Габором было также показано, что в пределах полного числа степеней свободы можно взаимно менять соотношения между пространственными временными и поляризационными степенями свободы, сохраняя при этом полное число постоянным. Например, можно увеличить пространственное разрешение в изображении предмета за счет уменьшения поля зрения оптической системы или временного разрешения.

24 Запись и считывание голограммы

25 Информационная емкость голограмм Дифракционный предел плотности записи в голограмме. Рассмотрим плоскую фоточувствительную среду площадью S, расположенную в плоскости ху, Будем считать, что каждая сигнальная волна, т. е. каждый бит информации, последовательно записывается в виде голограммы со своей опорной волной, условие ортогональности опорных волн можно записать в виде где On и От комплексные амплитуды полей n-й и m-й опорных волн соответственно. Если эту голограмму считывать опорной волной с индексом т, то поле в изображении будет равно где постоянная. Используя эти две формулы, легко убедиться, что

26 Запишем поля плоских опорных волн с индексами т и п, которые отличаются между собой направлением распространения, т. е. фазовым распределением, где Волны On и От ортогональны между собой в плоскости голограммы, если (knx - kmx)D/2 = q, (kny - kmy)D/2 = l, где D размер голограммы, имеющей форму квадрата, q, I целые числа. Тогда максимальное число ортогональных волн равно Это и есть полный объем записанной информации, т. е. информационная емкость голограммы Соответственно плотность записи информации в голограмме Такой же результат получается в случае, если в качестве сигналов рассматривать не простейшую плоскую волну, а транспаранты, содержащие М бит информации (светлых и темных точек).

27 Плотность записи при учете шумов Пусть в каждую голограмму записывается транспарант, содержащий М бит информации, и при этом расходуется п фоточувствительных элементов, расположенных в максимумах интерференционной картины. При считывании информации поля, создаваемые этими элементами и образующие изображение, складываются синфазно; поэтому интенсивность пропорциональна п 2, причем на каждую единицу информации приходится мощность, пропорциональная п 2 /М. Поскольку в рассеянии света принимают участие все N фоточувствительных элементов среды, а фазы рассеянных волн случайны, шумовой фон будет пропорционален N. Следовательно, отношение сигнал/шум в изображении будет равно Поскольку N/n равно числу L голограмм, записанных в фотослое, то Таким образом, при многократном наложении голограмм-транспарантов на заданную площадь фотослоя яркость изображения уменьшается с увеличением числа последовательных записей как 1/L 2.

28 отсюда определяется необходимый размер микроголограммы Рассчитаем размер голограммы, необходимый для записи изображения емкостью С. Размер элемента разрешения изображения, восстановленного при просвечивании голограммы в виде квадрата со стороной d r, равен где F расстояние от плоскости голограммы до мишени видикона. Если D размер транспаранта, то число элементов в восстановленном изображении Сколько информации можно уместить на стандартном CD? V ~ мм 3 I ~ 15 Тб Удельная объемная емкость ~ 10 9 бит/мм 3

29 Голографическое устройство записи и считывания информации InPhase Technologies

30

31 Сравнительный анализ CD и DVD ПараметрCDDVDКомментарии Диаметр, см 12 Иногда используют диски диаметром 8 см Физическая толщина диска, мм 1,2 Число информационных сторон 11 или 2 Толщина стороны, мм 1,20,6 Число информационных слоев на одной стороне 11 или 2Пока распространены только однослойные диски Емкость диска, Гбайт 0,684,7-171 гигабайт = 109 байт Минимальная длина пита, мкм Ширина пита, мкм 0,83 0,5 0,4 / 0,44 0,5Для однослойного - 0,4, для двухслойного Шаг спирали (питов), мкм 1,60,74 Длина волны лазера, нм / для коммерческих DVD-Video (for Authoring) Апертура линзы 0,450,6 Схема модуляции данныхEFM8 в 16EFM - Eight to Fourteen Modulation Схема коррекции ошибокCIRCRS-PCCIRC - Cross Interleaved Reed-Solomon Code, RSPC - Reed Solomon Product Code

32 Структура DVD-дисков

33 Структурные типы DVD

34 Запись информации

35 Стирание данных

36 Механизм записи

37 Основы магнитооптической технологии

38

39 ХарактеристикиМОCD-RWDVDДискета Стримерна я лента JAZZIP Проблема хранения Солнечный свет Размагничивание, различные влияния Застревание и разрыв Влияние полей Срок хранения: - Гарантия - Теория Проблемы с драйверами Ошибки записи Циклы перезаписи Максимальная емкость 9,1 (5,25) 2,6 (3,5) 700 Цена устройства (в среднем, $) Распространенность в РФСредняя ВысокаяНизка я Сверхвысокая НизкаяОчень низкая Средняя Сравнительная таблица конкурирующих форматов оптической записи информации

40 Литература Шеннон К.Э. Работы по теории информации и кибернетике. М.: Ил., 1963 – 829 с. Хартли Р. Передача информации// Теория информации и ее приложения. М.: Физматгиз – С Винер Н. Кибернетика или управление и связь в животном мире и машине. М.: Наука, 1983 – 340 с. Брюллюэн Л. Наука и теория информации. М.: Физматгиз, 1960 – 392 с. Яглом А.М., Яглом И.М. Вероятность и информация. М.: Наука, 1973 – 512 с.

41 Контрольные вопросы. 1. Обобщенная схема информационной системы. 2. Количество информации в системе равновероятных событий. Подход Р. Хартли к измерению информации. 3. Свойства меры Хартли, единицы измерений. 4. Количество информации в системе событий с различными вероятностями. Подход Шеннона. 5. Количество информации на выходе реальных информационных систем. Понятие об энтропии. 6. Задача оптимального кодирования. Как в четырехсимвольном алфавите организовать передачу с минимальной энтропией. 7. Разница между обычным телефоном и телефоном GSM. 8. Принципы кодирования. 9. Емкость информационного канала при наличии шума.