Гиперспектральная система зрения для мобильных роботов Овчинников А.М., Платонов А.К. Институт прикладной математики им. М.В. Келдыша РАН

Photogrammetric Engineering and Remote Sensing, Vol. 63, No. 7, July 1997 The Evolution of Landsat Data Analysis David Landgrebe 1958г. NASA, мониторинг Земли, 1960г. «Спектральная сигнатура», 1966г 0,32..14мк 1971г неурожай,3х3,7,9,17x6b аналоговых каналов, видекон на борту, 1972г Landsat ! 1973 спасение Great Lakes, 1974г. LACIE 6% урожай СССР,»Зерновой календарь»

Классификация наиболее распространенных методов дистанционного зондирования поверхности Земли (ДЗПЗ) Мобильный

«Гиперкуб» Зависимость коэффициента отражения от длины волны Предполагается – однозначное соответствие между отраженным сигналом и составом отражающей поверхности ПОНЯТИЕ ГИПЕРСПЕКТРОСКОПИИ Гиперспектроскопия – метод спектрального анализа, позволяющий исследовать видимую структуру объектов с одновременным пространственным и спектральным разрешением - получать спектральные характеристики всего массива видимых точек исследуемой поверхности ( спектральный гиперкуб - зависимость F(x,y,λ)).

Принцип формирования гиперспектрального изображения Движение носителя происходит по оси Y По оси X регистрируется пространственная координата По оси λ регистрируется спектральная координата

Структурная схема АПКДЗПЗ

Оптическая схема гиперспектрометра

Камера SDU-259 Выбор компонент гиперспектрометра

Спектральная восприимчивость матрицы

МатрицаSONY CCD ICX259AL Оптический формат (дюйм)1/3 Размер ПЗС (мм)4.8x3.73 Размер пиксела (мкм)6.5x6.25 Разрешение744x576 Максимальная частота съемки (кадр/с) 25 Пределы установки экспозиции5 мкс мин Пределы установки периода запуска съемки 40 мс - 18 мин Динамический диапазон (дБ)60 Разрядность АЦП (бит)12 Напряжение питания (В)5 Потребляемый ток (не более, А)Рабочий режим: 0.4 Спящий режим: Режим сложения пикселов (биннинг) 2х2, 4х4

Выбор компонент гиперспектрометра Основные характеристики КМОП-приемника (LUPA-4000) фирмы CYPRESS Размеры24,6×24,6 мм Число пикселей2048×2048 Размеры пиксела12×12 мкм Частота считывания пикселов 66МГц Максимальная скорость считывания всего кадра 15 кадр/с Отношение сигнал/шум2000:1 Область спектра нм

Основные узлы макета гиперспектрометра Оптическая часть Одноплатный компьютер Долговременная память Цифровая камера

Регулируемая оптическая щель

Проблема характеристик спектрального разрешения локального гиперспектрометра

Размеры: Длина: 30 см, Ширина: 35 см, Высота: 12 см Масса: около 3 кг Энергопотребление: около 70 Вт Компановка компонент гиперспектрометра

Робот

Подсистемы комплекса программ для обработки данных видеоинформации в видимом диапазон камерой обзора спектральных данных гиперспектрометром Первичная обработка видеоматериалов База эталонов Обработка спектральных данных Преобразование пространственной и спектральной информации в структуру данных гиперкуба Видеорезультаты (фотографии,видео) Получение

Проблема масштабирования и привязки слоёв гиперкуба данных

Проблема спектральной дисторсии

Спектральное разрешение, полученное с помощью разработанного программного комплекса

Тематическая обработка данных

27 Тематическая обработка данных f – векторное представление спектральной функции элемента изображения; Si – векторное представление реперных компонент; βi – вклады реперных компонент; M – число реперных компонент; e - вектор ошибки, обусловленный шумами прибора и неизвестными веществами; а) Спектральная функция f, характеризуемая тремя значениями спектральных каналов б) Ее проекция на подпространство реперных компонент

Достигнутые параметры Соотношение сигнал-шум S/N = 40 Спектральное разрешение: 6,2 nm Число каналов - 35

Эксперименты

Микрозеркальная матрица Устройство, содержащее 1024×768 микрозеркал с размерами 10,8×10,8 мкм каждое, которые могут независимо переключать в два положения, вращаясь вокруг своих диагоналей на углы ± 12° относительно нормали к плоскости матрицы Преимущества по сравнению с другими приборами мультиспектроскопии (ПМС) - высокое пространственное и временное разрешение (скорость переключения 30 мкс) - малые потери света и высокий фактор заполнения (>91%) - практическое отсутствие спектральной и поляризационной селективности (в отличие от LCD). Белорусский государственный университет

Оптическая схема микрозеркального гиперспектрометра Оптимизация с целью уменьшения аберраций, связанных с непараксиальным прохождением через оптические узлы, и достижения достаточно высокой светосилы. 1 – микрозеркальная матрица 2,4 – конфигурационные зеркала 3 – детектор спектрального канала (LUPA) 5 – камерное зеркало 6 – дифракционная решетка 7 – коллиматорное зеркало 8 – светосильный проекционный объектив с увеличением β=2 9, 10 – детектор и объектив наблюдательного канала, сделанного по рефрактивной схеме

Гинтеракивная мультиобъектная иперспектроскопия – метод спектрального анализа, позволяющий получать спектральные характеристики выбираемой части массива точек исследуемой поверхности (столбец спектрального гиперкуба зависимость I(x,y,λ)). ИНТЕРАКТИВНАЯ МУЛЬТИОБЪЕКТНАЯ ГИПЕРСПЕКТРОСКОПИЯ

Торговая мехатроника

Выводы У локальной гиперспектроскопии есть безусловное будущее, как дистанционного средства информационного обеспечения мехатронных автоматов. Однако для достижения этого светлого будущего необходимо выполнить большой объём работ в следующих направлениях: – построение спектральных сигнатур материалов, – разработка способов комплексирования сигналов, – создание средств интерактивной спектроскопии, – разработка алгоритмов распознавания среды, – создание комплекса программных средств всего этого !