HUAWEI TECHNOLOGIES CO., LTD. LMS-алгоритм адаптивной фильтрации: первый или единственный для использования на практике? OOO «Техкомпания Хуавэй» (Москва, Россия) Национальный исследовательский университет «МИЭТ» (Москва, Россия) Виктор Иванович Джиган, д.т.н.

HUAWEI TECHNOLOGIES CO., LTD. Page 2 1. Введение 2. Основы адаптивной фильтрации сигналов 3. LMS-алгоритм и его свойства 4. Моделирование адаптивных фильтров 5. Заключение План доклада

HUAWEI TECHNOLOGIES CO., LTD. Введение Page 3 1 1

HUAWEI TECHNOLOGIES CO., LTD. Такие разные фильтры Page 4 Сигаретный фильтр Фильтр для воды Электрический фильтр Светофильтры Фильтр-антивирус Фильтруй базар !

HUAWEI TECHNOLOGIES CO., LTD. Фильтрация сигналов и необходимость в адаптивных фильтрах Page 5 Когда говорят об электрическом фильтре (аналоговом или цифровом), то, как правило, речь идет о фильтре, передаточная функция которого заранее определена в соответствие с ролью этого фильтра в устройстве. По передаточной функции можно заранее синтезировать параметры (как правило, весовые коэффициенты) фильтра, которые не меняются в процессе его работы. Такой фильтр называется фильтром с постоянными параметрами. Однако, если спецификацию к передаточной функции фильтра невозможно сформулировать заранее или когда эта спецификация может меняться в процессе работы, то вместо фильтра с постоянными параметрами необходимо использовать фильтр с изменяемыми параметрами, например, адаптивный. Пример: Антенная решетка является пространственным фильтром. Ее диаграмма направленности (ДН) – это амплитудно-угловая характеристика такого фильтра. Поскольку решетка, как разновидность направленной антенны, принимает не только полезный сигнал, но и другие сигналы (помехи), источники которые могут находиться в самых разных направлениях (в большинстве случаев неизвестных), то рассчитать заранее ее амплитудно-фазовое распределение (весовые коэффициенты), обеспечивающие провалы в ДН в направлении всех помех, невозможно.

HUAWEI TECHNOLOGIES CO., LTD. Преподавание адаптивной фильтрации в СССР, СНГ и России Page , ЛИАП, Журавлев Анатолий Константинович 1989, МИЭТ, Джиган Виктор Иванович, Незлин Давид Вениаминович 1990, Минский РТИ, Петровский Александр Александрович 1991, МФТИ, Литвинов Олег Станиславович 1995, Харьковский военный университет, Леховицкий Давид Исаакович 2001, Ярославский ГУ, Приоров Андрей Леонидович 2003, РГРТУ, Витязев Владимир Викторович 2005, ЛЭТИ, Сергиенко Александр Борисович 2006, Таганрогский РТИ, Гудкова Наталья Васильевна 2009, НИУ «МИЭТ», Джиган Виктор Иванович 2012, Вятский ГУ, Лесников Владислав Алексеевич 2012, Самарский ГУПС, Засов Валерий Анатольевич 2014, СПбГУТ им. М.А. Бонч-Бруевича, Солонина Алла Ивановна 2014, МГТУ им. Баумана, Вечтомов Виталий Аркадиевич

HUAWEI TECHNOLOGIES CO., LTD. Первые российские учебные пособия по адаптивной фильтрации сигналов Page , Ярославский ГУ2012, НИУ «МИЭТ» 2013, «Техносфера»

HUAWEI TECHNOLOGIES CO., LTD. Архитектура адаптивных фильтров Page 8 Детальная структура Общая структура Требуемый сигнал Входной сигнал Сигнал ошибки Выходной сигнал Входной сигнал Сигнал ошибки Выходной сигнал

HUAWEI TECHNOLOGIES CO., LTD. Основные применения адаптивных фильтров Page 9 Подавление сигналов акустического эха Подавление сигналов электрического эха Выравнивание характеристик электрических каналов связи Выравнивание характеристик акустических каналов Подавление шума Адаптивные антенные решетки Широкополосные акустические решетки Активное подавление шума

HUAWEI TECHNOLOGIES CO., LTD. Многообразие алгоритмов адаптивной фильтрации Page 10 Красным выделены LMS-алгоритмы адаптивной фильтрации и их предшественники

HUAWEI TECHNOLOGIES CO., LTD. Основы адаптивной фильтрации сигналов Page

HUAWEI TECHNOLOGIES CO., LTD. Целевые функции, используемые в адаптивных фильтрах Page 12 - Mean Squares Error (MSE) - Least Squares (LS) - Weighted Least Squares (WLS) - Least Mean Square

HUAWEI TECHNOLOGIES CO., LTD. Поверхность квадратичной целевой функции Page 13 Целевая функция (среднеквадратичная ошибка): Линейный сумматор Поверхность целевой функции Вектор входных сигналов Здесь: Вектор весовых коэффициентов Дисперсия требуемого сигнала Вектор кросс-корреляции Корреляционная матрица

HUAWEI TECHNOLOGIES CO., LTD. Системы координат представления весовых коэффициентов адаптивного фильтра Page 14 Смещенная система координат Смещенная и повернутая система координат

HUAWEI TECHNOLOGIES CO., LTD. Линии уровня целевой функции Page 15 Определение линии уровня: - уравнение эллипса

HUAWEI TECHNOLOGIES CO., LTD. Винеровское решение Page 16 Градиент целевой функции: Условие экстремума: Оптимальное решение: Алгоритм наискорейшего спуска – уравнение итерационного вычисления весовых коэффициентов -вектор весовых коэффициентов адаптивного фильтра (Винеровское решение)

HUAWEI TECHNOLOGIES CO., LTD. LMS-алгоритм и его свойства Page

HUAWEI TECHNOLOGIES CO., LTD. Первый адаптивный фильтр на базе LMS-алгоритма и его автор Page 18 Бернард Уидроу, проф. Стэндфордского у-та, США Первый адаптивный фильтр: Первый переходный процесс

HUAWEI TECHNOLOGIES CO., LTD. Что делать, если статистические характеристики сигналов неизвестны? Page 19 LMS-алгоритм: Алгоритм наискорейшего спуска: Корреляционная матрица и вектор кросс-корреляции на одном отсчете : Вектор градиента на одной итерации: Апостериорная ошибка: Использовать LMS-алгоритм

HUAWEI TECHNOLOGIES CO., LTD. Вычислительная сложность LMS- алгоритма: 2N арифметических операций на 1 итерацию Page 20 Вычислительная процедура LMS-алгоритма Вычисление выходного сигнала: Вычисление весовых коэффициентов

HUAWEI TECHNOLOGIES CO., LTD. LMS-алгоритм как вариант алгоритма наискорейшего спуска Page 21 Траектории движения весовых коэффициентов LMS-алгоритма при разных начальных значениях этих коэффициентов Обучающие кривые весовых коэффициентов алгоритма наискорейшего спуска (синяя и красная) и LMS-алгоритма (зеленая)

HUAWEI TECHNOLOGIES CO., LTD. LMS-алгоритм: переходные процессы в терминах весовых коэффициентов Page 22 1 эксперимент 100 экспериментов Влияние шага сходимости Влияние усреднения

HUAWEI TECHNOLOGIES CO., LTD. LMS-алгоритм: переходные процессы в терминах среднеквадратической ошибки Page 23 1 эксперимент 100 экспериментов экспериментов Влияние усреднения

HUAWEI TECHNOLOGIES CO., LTD. LMS-алгоритм: избыточная среднеквадратичная ошибка (СКО) Page 24 Комплексные весовые коэффициенты: Действительные весовые коэффициенты: Вектор весовых коэффициентов СКО в установившемся состоянии Относительная избыточная среднеквадратичная ошибка

HUAWEI TECHNOLOGIES CO., LTD. Эффективность алгоритмов адаптивной фильтрации Page 25 1 – LMS: 2 – LMS: 3 – RLS: 1 – LMS: 2 – LMS: 3, 4 – RLS: Eigenvalues spread: Misadjustment: Постоянная времени, LMS: Постоянная времени, RLS:

HUAWEI TECHNOLOGIES CO., LTD. Линейно-ограниченная адаптивная фильтрация Page 26 Линейно-ограниченный LMS-алгоритм: Проекционная матрица: Линейные ограничения:

HUAWEI TECHNOLOGIES CO., LTD. Линейно-ограниченный LMS-алгоритм Page 27 Вычисление весовых коэффициентов Коррекция ошибок вычисления

HUAWEI TECHNOLOGIES CO., LTD. Знаковые LMS-алгоритмы Page 28 - обобщенный LMS-алгоритм - sign-data LMS-алгоритм - sign-error LMS-алгоритм - sign-sign LMS-алгоритм - функция определения знака

HUAWEI TECHNOLOGIES CO., LTD. Знаковые LMS-алгоритмы: моделирование Page 29 Sign-data LMS-алгоритм Sign-error LMS-алгоритм Sign-sign LMS-алгоритм - LMS-алгоритм

HUAWEI TECHNOLOGIES CO., LTD. Leaky LMS-алгоритм Page 30 LMS-алгоритм Leaky LMS-алгоритм Среднее значение весовых коэффициентов Среднее значение весовых коэффициентов в установившемся состоянии Винеровское решение

HUAWEI TECHNOLOGIES CO., LTD. Leaky LMS-алгоритм Page 31

HUAWEI TECHNOLOGIES CO., LTD. Нормализованный LMS-алгоритм (NLMS) – сложность 3N Page 32 Алгоритм Ньютона: Упрощенный алгоритм Ньютона: Упрощенная корреляционная матрица: Используется лемма об обращении матрицы: |||||||||| NLMS-алгоритм:

HUAWEI TECHNOLOGIES CO., LTD. Разнообразие NLMS-алгоритмов Page 33 Комплексные весовые коэффициенты: Другая форма NLMS-алгоритма:

HUAWEI TECHNOLOGIES CO., LTD. LMS и NLMS алгоритмы с градиентным шагом сходимости Page 34 Градиентный шаг сходимости, LMS (сложность 3N) : Градиентный шаг сходимости, NLMS (сложность 3N) : - шаг сходимости градиентного уравнения вычисления переменного шага сходимости LMS- алгоритма

HUAWEI TECHNOLOGIES CO., LTD. Субполосная адаптивная фильтрация, NLMS-алгоритм Page 35 Архитектура Вычисление весовых коэффициентов адаптивного фильтра:

HUAWEI TECHNOLOGIES CO., LTD. Многополосная-субполосная адаптивная фильтрация, NLMS-алгоритм Page 36 Архитектура Вычисление весовых коэффициентов адаптивного фильтра:

HUAWEI TECHNOLOGIES CO., LTD. Многополосная-субполосная адаптивная фильтрация, NLMS-алгоритм Page 37 Архитектура Вычисление весовых коэффициентов адаптивного фильтра:

HUAWEI TECHNOLOGIES CO., LTD. Многополосная-субполосная адаптивная фильтрация, NLMS-алгоритм Page 38 Архитектура Вычисление весовых коэффициентов адаптивного фильтра:

HUAWEI TECHNOLOGIES CO., LTD. Адаптивные БИХ-фильтры Page 39 АЧХ Импульсный отклик Архитектура БИХ-фильтра - передаточная функция Структура БИХ-фильтра:

HUAWEI TECHNOLOGIES CO., LTD. Адаптивный БИХ-фильтр: LMS-алгоритм Page 40

HUAWEI TECHNOLOGIES CO., LTD. Адаптивный БИХ-фильтр: способы вычисления оценки градиента Page 41 Полный градиент Упрощенный градиент

HUAWEI TECHNOLOGIES CO., LTD. Поведение БИХ-фильтров Page 42 LMS RLS Среднеквадратичная ошибка СигналыКарта нулей и полюсов

HUAWEI TECHNOLOGIES CO., LTD. Моделирование адаптивных фильтров Page

HUAWEI TECHNOLOGIES CO., LTD. Моделирование адаптивных фильтров Page 44 MATLAB LabVIEW LabVIEW + VerilogSystemVue

HUAWEI TECHNOLOGIES CO., LTD. Вэб-моделирование адаптивных фильтров, автор: Лялинский А.А., ИППМ РАН Page 45

HUAWEI TECHNOLOGIES CO., LTD. Заключение Page

HUAWEI TECHNOLOGIES CO., LTD. Некоторые книги по адаптивной обработке сигналов Page (1985)1988 (1985)1986 (1980) На английском На русском Первые книги на русском

HUAWEI TECHNOLOGIES CO., LTD. Спасибо за внимание ! Page 48