Обработка гиперспектральных спутниковых изображений при исследовании природных и антропогенных объектов О.И. Потатуркин, С.М. Борзов ИНСТИТУТ АВТОМАТИКИ И ЭЛЕКТРОМЕТРИИ СО РАН ИНСТИТУТ АВТОМАТИКИ И ЭЛЕКТРОМЕТРИИ СО РАН ИАиЭ СО РАН, г.Новосибирск

где значения 1 3 главных компонент. Нормализованный вегетационный индекс Нормализованный водный индекс Обобщённый индекс теней Покрытия дорог, крыши, открытые почвы Обобщённый индекс оголённых почв Коротковолновый вегетационный индекс Спектральные признаки Обработка мультиспектральных спутниковых изображений высокого пространственного разрешения Индекс стресса 2

Вторая главная компонента PC 2 Определение главных компонент Вычисление главных компонент сводится к поиску ортогональных проекций в пространстве спектральных признаков с наибольшим среднеквадратичным расстоянием между точками (путем определения собственных значений ковариационной матрицы исходных данных). Первая главная компонента PC 1 Выборочная дисперсия данных вдоль первой координаты максимальна (первая главная компонента PC 1 ); Выборочная дисперсия данных вдоль каждой следующей координаты максимальна при условии ортогональности предыдущим координатам (вторая главная компонента PC 2 и т.п.). 3 Обработка мультиспектральных спутниковых данных

Формирование гиперспектральных данных X Y 4

Гиперспектральные (ГС) данные Формирование гиперспектральных данных 5 Y X = 1 nm Y= 1 m X= 10 m

Срез по X. Набор спектров элементов поверхности вдоль линии, перпендикулярной направлению движения X (m) Y (m) (mkm) Срез по. Монохромное изображение Формирование гиперспектральных данных Срезы гиперкуба ГС данных 6

Основные вклады в излучение, регистрируемое приемником: 1 – освещение сцены прямым солнечным излучением, 2 – освещение сцены рассеянным излучением, 3 – освещение сцены отраженным излучением, 4 – излучение, отраженное от объектов сцены, 5 – рассеянное излучение от объектов вне поля зрения, 6 – рассеянное в атмосфере солнечное излучение Влияние на регистрируемые данные атмосферы Формирование гиперспектральных данных 7

Спектральные характеристики различных объектов Влияние атмосферы на спектр регистрируемого излучения RGB композит ГС изображения (спектры отражения выделенных зон однотипной растительности) Спектры отраженного излучения Нормированные спектры отражения на разной дальности О2О2 Н2ОН2О 8 При увеличении дальности: - рост интенсивности в синей области (рассеяние в атмосфере). - снижение интенсивности в ИК области (поглощение кислорода и воды).

Спектральные характеристики различных объектов Спектральный отклик растительности Влияние пигментов листа: 1 – отсутствие пигментов, 2 – антоцианины (макс. поглощения мкм), 3 – хлорофилл (0.45,0.65 мкм), 4 – антоцианины и хлорофилл - соотношение пигментов - модернизированный NDVI 9

Спектральные характеристики различных объектов Определение положения красной границы поглощения а б Нормированные спектры отражения растительности в различном состоянии на одной дальности (а) и результаты их дифференциальной обработки по длине волны (б) 10 REP – Red Edge Position – красная граница поглощения хлорофилла, определяется линейной экстраполяцией 1-й производной спектральной кривой (через точки 680 нм, 700 нм и 725 нм, 760 нм)

Классификация гиперспектральных изображений Проект AVIRIS, полигон Индиан Пайс, штат Индиана, США, , размер 614 х 2677 пикселей, разрешение 20 м/пикс, 220 каналов в диапазоне мкм, выполнено разбиение на 16 классов, в т.ч. 14 различных типов растительности. Тестовое изображение природной зоны 11 Тестовое изображение Фрагмент тестового изображения (145 х 145 пк) Разбиение на 16 классов по наземным данным Классы: кукуруза ( no-till, min-till, clear), соя ( no-till, min-till, clear), люцерна, пшеница, овес, покос, трава/пастбище, скошенное пастбище, трава/деревья, лес, стоянка транспорта, бетон/асфальт Обучающая выборка

Межклассовый разброс параметров незначителен Классификация гиперспектральных изображений Спектры отражения кукурузы и сои по обучающим данным (усреднение по пикселям соответствующих классов) Спектральная различимость кукурузы и сои 12 Кукуруза μ Существенный внутриклассовый разброс параметров Кукуруза и соя (нормировка на soy_no) μ Соя μ

Классификация гиперспектральных изображений 13 Методы классификации изображений, учитывающие расстояние до центра распределения эталонного класса MinDist – метод минимального расстояния SAM (Spectral Angle Mapper) – метод спектрального угла SID (Spectral Information Divergence) – метод непосредственного сравнения спектров (путем расчета дивергенции Кульбака-Лейблера)

Классификация гиперспектральных изображений 14 Методы классификации изображений, учитывающие распределение пикселей эталонного класса ML - классификация по максимальному правдоподобию Методы MahDist и ML требуют, чтобы при обучении количество пикселей каждого эталонного класса существенно превышало число спектральных каналов. MahDist - классификация по расстоянию Махаланобиса (предполагает равенство распределений) SVM (Support Vector Machine) – метод опорных векторов

Классификация гиперспектральных изображений Фрагмент тестового изображения 15 Классификация обучающих данных MinDist MinDist – метод минимального расстояния, SAM – метод спектрального угла, SID – метод сравнения спектральных кривых (дивергенция), SVM – метод опорных векторов, MahDist – метод по расстоянию Махаланобиса, ML – метод максимального правдоподобия SAMSIDSVM Разбиение по наземным данным Точность классификации (% верно классифицированных пикселей фрагмента) MahDist MinDistSAMSIDSVMMahDistMLML Точность, % Время обработки 3 сек 2 сек 10 сек 6 мин 15 сек ML

Классификация гиперспектральных изображений Классификация тестового изображения Результат классификации методом ML 16 кукуруза ( no-till, min-till, clear), соя ( no-till, min-till, clear), люцерна, пшеница, овес, покос, трава/пастбище, скошенное пастбище, трава/деревья, лес, стоянка транспорта, бетон/асфальт Разбиение фрагмента (обучающей выборки) по наземным данным

Классификация гиперспектральных изображений SIDSVMMLMahDist Prod. Accuracy (точность производителя) User Accuracy (точность пользователя) Время обработки 20 мин 2 часа 22 мин Результат выделения кукурузы методом ML – верно выделенные пиксели – невыделенные пиксели Эффективность выделения кукурузы на тестовом изображении (при слиянии подклассов) Точность при обучении по фрагменту (%) 17 Prod. Accuracy = User Accuracy = + Кукуруза Классифицировано как кукуруза - верные решения - пропуск цели - ложная тревога +

Классификация гиперспектральных изображений Эффективность классификации фрагмента от количества ГС признаков метод SVM метод MahDist Различные способы сокращения количества признаков: Прореживание – выбор ГС признаков через заданный интервал, PCA – выбор заданного количества главных компонент, MNF – нормализация шума в спектральных каналах и выбор заданного количества главных компонент Убывание информативности MNF компонент фрагмента (1, 4, 8, 10 компоненты) 18

Классификация гиперспектральных изображений Эффективность выделения кукурузы на тестовом изображении (от количества ГС признаков ) аб Точность выделения кукурузы от количества ГС признаков, выбранных: а – прореживанием, б - методом MNF Сокращение количества признаков на основе MNF позволяет повысить эффективность процедуры на 10%, снизив ее трудоемкость на два порядка 19 SVMMahDistML Количество каналов Prod. Accuracy User Accuracy Время обработки 8 мин 10 мин 2 ч 6 сек 12 сек 34 мин 6 сек 12 сек 34 мин

Классификация гиперспектральных изображений Эффективность классификации тестового изображения (от количества ГС признаков) а б Точность классификации от количества признаков, выбранных методом MNF: а – по 12 классам (исключены из рассмотрения 4 малые региона в обучающих данных), б – по 8 классам (выполнено слияние трех подклассов кукурузы и трех – сои) 20 Метод MahDist наиболее устойчив к изменению соотношения (основан на усредненной по классам ковариационной матрице)

Классификация гиперспектральных изображений Национальная аллея, Вашингтон. Размер изображения 307 х 1208, 191 канал в диапазоне мкм. Тестовое изображение городской застройки 21 Спектры отражения различных поверхностей по обучающим данным

Классификация гиперспектральных изображений Карта классов фрагмента изображения городской застройки (с визуальным контролем) 22 RGB-композит исходного изображения (каналы 20,40,60) Результат классификации ML по 5 PCA каналам (принято в качестве наземных данных) Вода вода, газон, дорога, крыши, тень, лес, дорожка

Классификация гиперспектральных изображений Классификация изображения городской застройки 23 Классификация SVM по всем каналам (84.0%) Классификация MinDist по всем каналам (70.5%) Классификация ML по 40 PCA каналам (81.9%)

Классификация гиперспектральных изображений Эффективность классификации тестового изображения городской застройки (от количества ГС признаков) 24 Классификация MinDist Классификация ML Классификация на основе MNF признаков малоэффективна из-за некорректной оценки шума каналов (в изображении с большим количеством перепадов яркости). Выбор более 5-10 признаков нецелесообразен. Классификация SVM

Включение пространственных признаков в процесс классификации ГС изображений 25 Базовый метод ECHO (Extraction and Classification of Homogeneous Objects) реализуется в 2 этапа: - сцена сегментируется по ГС признакам на статистически однородные области, - рассчитываются средние (по пикселям) спектры сегментов и данные классифицируются путем сравнения с эталонными спектрами. Развитие метода ECHO привело к возникновению объектно-ориентированных методов спектрально-пространственной классификации изображений. Гиперспектральное изображение Попиксельная спектральная классификация Выделение однородных сегментов наращиванием Выбор маркеров Выбор класса голосованием Уточненная карта классов Один из методов спектрально-пространственной классификации Спектрально-пространственная классификация гиперспектральных изображений

Выводы 26 Гиперспектральные изображения позволяют реализовать анализ тонкой структуры спектров пикселей и их классификацию, однако, это требует корректной калибровки ГС данных. Повышение эффективности классификации гиперспектральных изображений основано на возможности формирования принципиально новых спектральных признаков, например, определения (с высокой точностью) положения красной границы полосы поглощения, которая характеризует различные состояния растительности. Наилучшая эффективность классификации типов растительности достигается при применении методов, учитывающих распределения классов в пространстве признаков, что требует, однако, значительного объема данных для обучения. При этом метод Махаланобиса наиболее устойчив к изменению отношения количества пикселей обучающей выборки к количеству спектральных каналов. При обработке ГС изображений целесообразно использовать небольшое количество признаков (5-10), выделенных методом главных компонент. Его применение позволило повысить эффективность классификации растительности на 10%, снизив трудоемкость на два порядка. Совместная обработка гиперспектральных и пространственных признаков представляется перспективной, что обусловлено включением дополнительной информации о коррелированности близкорасположенных пикселей. При этом эффективность классификации ГС данных на конечном этапе в значительной степени зависит от качества предварительной сегментации изображений.

СПАСИБО ЗА ВНИМАНИЕ! ИНСТИТУТ АВТОМАТИКИ И ЭЛЕКТРОМЕТРИИ СО РАН ИНСТИТУТ АВТОМАТИКИ И ЭЛЕКТРОМЕТРИИ СО РАН