ТЕХНИКО-ЭКОНОМИЧЕСКИЕ ВОПРОСЫ РЕГРЕССИОННОГО ФУНКЦИОНАЛЬНОГО И НАГРУЗОЧНОГО ТЕСИРОВАНИЯ ПРИ СОПРОВОЖДЕНИИ И ЭКСПЛУАТАЦИИ АВТОМАТИЗИРОВАННЫХ БАНКОВСКИХ СИСТЕМ Лысунец Антон Сергеевич, Главное управление Центрального банка Российской Федерации по Санкт-Петербургу,

Содержание презентации Краткая характеристика АБС Понятие целостности АБС Планирование контроля целостности Проблема и способ решения Понятие уровня целостности АБС Уровни целостности на практике Оптимизация функционального тестирования Регрессионное нагрузочное тестирование Оценка эффективности планирования Итоги работы

Краткая характеристика АБС Visa MasterCard American Express Сберкарт

Краткая характеристика АБС Платежная система для КО/ОК платежей в минуту в часы пик платежей в день

Исходя из назначения и особенностей функционирования, АБС можно отнести к сложным банковским экономическим системам. Краткая характеристика АБС

Понятие целостности АБС ГОСТ Р ИСО/МЭК «Информационная технология. Сопровождение программных средств» - методологическая основа процесса сопровождения АБС Цель процесса сопровождения Внесение изменений в АБС при сохранении её целостности целостность Функциональная целостность Целостность характеристик производительности

Понятие целостности АБС Этапы процесса сопровождения Анализ проблем и изменений Внесение изменений Проверка и приемка модификации Установка в эксплуатацию

Понятие целостности АБС Под целостностью понимается такое состояние АБС, при котором в ее программно-аппаратном обеспечении отсутствуют изменения, способные в ходе эксплуатации привести к негативным последствиямПод целостностью понимается такое состояние АБС, при котором в ее программно-аппаратном обеспечении отсутствуют изменения, способные в ходе эксплуатации привести к негативным последствиям

Планирование контроля целостности Ключевая задача - качественное планирование контроля целостности Этап проверки и приемки версии АБС Планирование контроля целостности Проведение контроля целостности Оценка эффективности контроля целостности

Планирование контроля целостности Суть планирования заключается в определении: объемов работ для выполнения контроля целостности; выбор методов контроля целостности; выбор из имеющихся и\или подготовка новых тестов для каждого метода контроля целостности; планирование применения средств автоматизации; стратегии контроля целостности, включающей: конфигураций испытательных стендов для проведения контроля целостности; критериев завершения контроля целостности; ресурсов, выделяемых для контроля целостности.

Проблема и способ решения Статистика по выпуску заданий на изменение АБС Статистика по заявкам на доработку от пользователей

на контроль целостности отводится не более 5-7 дней на контроль целостности отводится не более 5-7 дней Проблема и способ решения Статистика по выпуску версий АБС

Проблема и способ решения Перечень требований для тестирования версии АБС должен удовлетворять следующим условиям: в результате проверки требований из перечня целостность АБС обеспечивается проверка всех требований из перечня имеющимися ресурсами возможна

Этапы решения задачи построения перечня требований: Проблема и способ решения Определение требований, без которых обеспечение целостности программного средства не представляется возможным Планирование проведения проверок требований, определенных на первом этапе, имеющимися ресурсами

Матрица РИСКА Понятие уровня целостности АБС отлотлотбт фатальнаявысокаядопустимаянизкая ежедневная IIIIV ежемесячная IIIIIIVV ежеквартальная IIIIVVV ежегодная IVVVV Степень опасности Величина вероятности ФатальнаяВысокаяДопустимаянизкая ЕжедневнаяIIIIV ЕжемесячнаяIIIIIIVV ЕжеквартальнаяIIIIVVV ежегоднаяIVVVV Величина вероятности Степень опасности

Понятие уровня целостности АБС Требования к АБС Уровень целостности I I II II III III

Уровни целостности на практике Требования к АБС i-1 i i Требования уровня целостности I Требования уровня целостности II Требования уровня целостности III

Оптимизация функционального тестирования высокая трудоемкость автоматизации проверки наиболее критичных функций АБС Проблемы автоматизации функциональных тестов Применение средств автоматизации высокая частота вносимых в АБС изменений

Оптимизация функционального тестирования

Регрессионное нагрузочное тестирование (PHT) Цель PHT: выявить деградацию характеристик производительности в модифицированной АБС Требование к PHT: результаты тестирования должны быть адекватны результатам, получаемым при эксплуатации АБС

Регрессионное нагрузочное тестирование тест эксплуатация i версия i + 1 версия i версия i + 1 версия i + 2 версия Проблема адекватности результатов

Требования к АБС i-1 i i Регрессионное нагрузочное тестирование Требования уровня целостности I Требования уровня целостности II Требования уровня целостности III Реализация плана РНТ всех уровней

i – N версия Оценка эффективности планирования Проблема оценки эффективности i план i версия i + 1 план i – 1 версия i версия Ошибка при эксплуатации

Оценка эффективности планирования Для каждой версии АБС данные заносятся в таблицу п/п кол-во ошибок в тесте кол-во ошибок при эксплуатации Разница между 2 и В основе оценки эффективности лежит сравнение количества ошибок, выявленных при контроле целостности, с количеством ошибок, выявленных при эксплуатации

Оценка эффективности планирования Эффективность оценивается по таблице п/п кол-во ошибок в тесте кол-во ошибок при эксплуатации величина разницы динамика ошибок при эксплуатации динамика разницы оценка контроля целостности 100хорошо 2 >0 >0>0плохо 3 >0 0 не ясно 5 плохо 6не меняетсяплохо 7 хорошо 8 не ясно 9не меняетсяхорошо 10 не меняется хорошо 11 плохо 12не меняетсяне ясно 1300 очко в пользу Разработчика

Оценка эффективности планирования Оценка неясного результата Соотношение количества ошибок, выявленных при контроле целостности к общему количеству ошибок для i версии АБС Соотношение количества ошибок, выявленных при контроле целостности и к общему количеству ошибок для всех версии АБС неясно хорошо Y Х < неясно плохо

Оценка эффективности планирования Для каждой версии АБС заполняется таблица версии АБС хорошоплохохорошо - плохо Правила заполнения: Для каждой версии относительно предыдущей (для первой версии таблица не заполняется) оценивается эффективность планирования контроля целостности. Если результат тестирования версии оценивается как «хорошо» или «неясно хорошо», то в соответствующем столбце к предыдущему результату прибавляется 1 (единица), а в столбце «плохо» значение остается без изменения и наоборот, если «плохо» или «неясно плохо», то в соответствующем столбце к предыдущему результату прибавляется 1 (единица), а в столбце «хорошо» значение остается без изменения По столбцу «хорошо - плохо» (хорошо минус плохо) строиться график динамики эффективности планирования контроля целостности системы. Увеличение значений по столбцу оси Y говорит о положительной динамике, уменьшение – об отрицательной.

Оценка эффективности планирования График эффективности планирования контроля целостности

Итоги работы Подход применяется в процессе сопровождения и эксплуатации реальной АБС Основу разработанного подхода контроля целостности составляют: единый механизм определения как функциональных требований, так и требований к характеристикам производительности, проверяемых в конкретной версии АБС; планирование совместного функционального и регрессионного нагрузочного тестирования; методика оценки эффективности планирования контроля целостности. В настоящее время при применении подхода выявляется до 98% ошибок, способных существенно повлиять на работоспособность АБС Результаты применения подхода позволяют утверждать, что он положительно влияет на качество эксплуатируемой АБС Подход применяется в процессе сопровождения и эксплуатации реальной АБС Основу разработанного подхода контроля целостности составляют: единый механизм определения как функциональных требований, так и требований к характеристикам производительности, проверяемых в конкретной версии АБС; планирование совместного функционального и регрессионного нагрузочного тестирования; методика оценки эффективности планирования контроля целостности. В настоящее время при применении подхода выявляется до 98% ошибок, способных существенно повлиять на работоспособность АБС Результаты применения подхода позволяют утверждать, что он положительно влияет на качество эксплуатируемой АБС

Слайд по САНТ Система автоматизированного нагрузочного тестирования состоит из следующих модулей (можно подготовить слайд): автоматизированной подготовки стенда, необходимый для упрощения установки и контроля параметров работы УОС, а также запуска приложений системы; управления моделями нагрузки, предназначенный для создания и корректировки наборов тестовых данных; управления моделями регламентов подачи нагрузки, предназначенный для создания и корректировки правил подачи тестовых данных для их обработки в УОС в течение нагрузочного эксперимента; мониторинга в режиме реального времени хода нагрузочного эксперимента, необходимый для своевременного принятия решения об остановке и повторения теста; автоматизированного сбора значений параметров, характеризующих работоспособность УОС, в процессе проведения нагрузочного эксперимента; автоматизированного построения графиков использования ресурсов вычислительного комплекса; хранения результатов каждого нагрузочного эксперимента. Система автоматизиро ванного нагрузочного тестирования автоматизированно й подготовки стенда, необходимый для упрощения установки и контроля параметров работы АБС, а также запуска приложений системы управления моделями нагрузки, предназначенный для создания и корректировки наборов тестовых данных управления моделями регламентов подачи нагрузки, предназначенный для создания и корректировки правил подачи тестовых данных для их обработки в АБС в течение нагрузочного эксперимента мониторинга в режиме реального времени хода нагрузочного эксперимента, необходимый для своевременного принятия решения об остановке и повторения теста; автоматизированного сбора значений параметров, характеризующих работоспособность УОС, в процессе проведения нагрузочного эксперимента; автоматизированного построения графиков использования ресурсов вычислительного комплекса; хранения результатов каждого нагрузочного эксперимента.