Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 1 Оценивание качества ПО ИУС критического применения: диверсификация. - презентация

1 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 1 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО на основе числовых и семантических инвариантов. Авторский коллектив: Б. М. Конорев, Ю.Г. Алексеев, Ю.С. Манжос, В.В. Сергиенко, В.С. Харченко, Г.Н. Чертков Сертификационный центр АСУ Госцентркачества Государственного комитета ядерного регулирования Украины Украина 61070, г. Харьков, а/я 9871, ул. Академика Проскуры, 1. Тел/факс: (057) , Директор Г.Н. Чертков Харьков, 2005

2 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 2 Задачи Профилирование регулирующих нормативных требований к ПО в рамках ЖЦ ИУС критического применения. Диверсификация технологий верификации; модели, методы и метрики оценки качества ПО ИУС для композиции диверсных технологий верификации. Концепция, технические требования и разработка утилит статического анализа как основы инструментального оснащения испытательных лабораторий и организаций-разработчиков. Реализация процедур инструмент рисования исходного ПО, измерения атрибутов (инвариантов), калибровки чувствительности к дефектам ПО различных типов и степени (меры) разнообразия методов верификации. Цель Повышение качества экспертизы соответствия ПО ИУС регулирующим требованиям на основе диверсификации технологий верификации по показателям достоверность, полнота, трудоемкость ; уменьшение рисков аварийных ситуаций, связанных с остаточными дефектами ПО ИУС критического применения; создание нормативно-методического и инструментального оснащения испытательных лабораторий, выполняющих экспертизу и независимую верификацию ПО ИУС критического применения. Сфера применения Независимая верификация ПО, выполняемая при разработке ПО ИУС критического применения. Экспертиза, сертификация и лицензирование ПО ИУС критического применения в контурах Государственного регулирования безопасности, качества поставок и услуг. Актуальность ИУС – ключевой фактор обеспечения безопасности АЭС в долгосрочных программах развития атомной энергетики; тенденция – рост объемов программно-реализуемых и программно-поддерживаемых критических функций ИУС АЭС; безопасное использование ИУС непосредственно зависит от качества ПО; остаточные дефекты ПО являются факторами риска аномального поведения ИУС и возникновения аварийных ситуаций; ПО является важным элементом нормативного регулирования качества и безопасности ИУС критического применения. Нормативно-методическое и инструментальное оснащение процессов экспертизы ПО ИУС решающим образом определяет реальные возможности обеспечения необходимого уровня безопасности и качества ИУС в целом, в т.ч. в рамках risk-informed подходов к регулированию безопасности. Существующая практика экспертизы: значительная степень субъективизма, недостаточная полнота и достоверность, высокая трудоемкость экспертных оценок соответствия ПО ИУС регулирующим требованиям. Основным направлением повышения достоверности оценок качества ПО ИУС является диверсификация технологий верификации. Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации

3 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 3 ПО Органы нормативного регулирования и разрешительной деятельности Прикладная область НП ТД Нормативно- методическое обеспечение Инструментальные средства - утилиты поддержки экспертизы ПО ПО Лицензии, сертификаты, разрешения Организация, выполняющая экспертизу и независимую верификацию ПО ? Оценка соответствия ПО Группа экспертов Экспертное заключение. Значение индикатора качества ПО Общая схема risk-informed лицензирования критического ПО: оценка соответствия ПО предъявляемым требованиям при экспертизе и сертификации с учетом рисков остаточных дефектов ПО ПРОБЛЕМА: Объект регулирования: программно-реализуемые функции в системах критического применения с интенсивным использованием ПО. Нормативное регулирование качества и безопасности ПО ИУС

4 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 4 Профилирование нормативных требований. Структура нормативного профиля ПО ИУС критического применения. Скрининг-технология Скрининг: Формирование профиле образующей базы Стандарты Профилеобразующая нормативная база Профили различных статусов утверждения Фасетно-иерархические классификаторы требований – шаблоны дизъюнктов Процессы (определения, действия, задания) Методология (Методы и метрики, задания, операции) Процедуры (Методики. Инструментальные средства и среды) Гармонизация: специализация и обобщение дизъюнктов профиля Таксономия Адекватные нормативные профили требований к ПО ИУС – необходимое условие обеспечение безопасности применения ИУС в целом на объектах атомной энергии. NS-G-1/1:2000 V&V TR Ser НП // ГНД / PSS 05-XX ECSS-E (Q,M)-00 ECSS-E-40 ECSS-Q-80 ISO/IEC 9126 (1-4) ISO/IEC (1-10) ISO/IEC (1-8) ГОСТ 34. ХХ ГОСТ 24. ХХ ISO/IEC 12207:1995 ISO/IEC TR 15271: 1998 ISO/IEC СД2:2000 IAEA, НП, КНД ГКЯРУ ECSS, ESA, КНД, НКАУ Модели качества. Методология Процессы Отраслевые стандарты Базовые стандарты общепромышленного применения

5 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 5 … Автономные тесты Код Архитектурный проект Интеграционные тесты Требования к ПО Системные тесты Приемочные тесты (валидация) Детальный проект и производство Оценка качества ПО в течение жизненного цикла ИУС критического применения Системные требования Модульная структура ПО. Физическая модель ПО. Логическая модель ПО. Спецификация требований Контракт Поставка валидация верификация Квалификационные испытания. Валидация. Сертификация Экспертное заключение Акт приемки Приемочные испытания Предварительные испытания (заводские испытания на площадке разработчика /изготовителя/поставщика). Измерение характеристик внутреннего и внешнего качества и качества в использовании. Экспертиза соответствия. Независимая верификация. Аттестация. Измерение характеристик внутреннего и внешнего качества и качества в использовании в согласованном объеме, включая реальные условия эксплуатации. Приемочные испытания (предварительная и окончательная приемка на площадке заказчика ). Измерение характеристик качества в использовании по результатам опытной эксплуатации. сопровождение Расщепленная V-модель ЖЦ ПО – ориентация на процессы верификации (процессный подход) Семейство правых ветвей V-модели соответствует этапам ЖЦ ИУС в целом: предварительные испытания, квалификационные испытания, приемочные испытания, сдача в опытную и промышленную эксплуатацию.

6 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 6 Модель и схема измерения качества ПО Спецификация ПО Интеграция ПО Реальная платформа Определяется для Внутреннее качество Внешнее качество Качество в использовании измеряется Атрибуты и метрики внутреннего качества А1 Атрибуты и метрики внутреннего качества А2 Атрибуты и метрики качества в использовании А3 влияет на зависит от Характеристика Подхарактеристика … Атрибут … Метрика … Метод и шкала … Примитивы (первичные атрибуты- инварианты ПО) … Схема измерения качества ПО: А1 А2 А3 База анализа и оценки качества ПО представляет суперпозицию множеств А1, А2, А3 атрибутов ПО (физических или абстрактных свойств ПО, которые могут быть измерены с помощью соответствующих метрик), определяющих характеристики внутреннего, внешнего и качества в использовании. Диверсификация моделей качества ПО – оценка качества с разных точек зрения на разных фазах жизненного цикла и в разных средах реализации ПО

7 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 7 Элементы методологии диверсификации технологий верификации ПО 2 Задача каждой из диверсных технологий - измерение метрик различных атрибутов ПО с использованием различных методов. 4 Возможные варианты обнаружения дефектов диверсными методами d1 и d2 для каждого типа программного дефекта: Таблица 1 5 Эффект диверсификации технологий зависит от: а) полноты охвата контролируемых (оцениваемых) атрибутов для композиции диверсных технологий. б) чувствительности (проверяющей способности) каждой из диверсных технологий при обнаружении программных дефектов различных типов; в) реальной (не терминологической) степени разнообразия технологий по чувствительности к дефектам различных типов в условиях конкретного проекта ПО; 6 Предлагаемое решение – реализация диверсных технологий верификации на основе инвариантов ПО: а) технология на основе логико-числового анализа (инвариант – численное значение переменных с учетом интервальных ограничений, точности представления и логики вычисления); б) технология на основе семантического анализа (инвариант – физическая размерность переменных). 3 Дефект ПО – ключевое понятие при решении проблемы диверсификации технологий верификации, рассматривается: а) на уровне спецификаций (исходный текст ПО) – некорректное значение (аномалия) атрибута ПО (в терминах языков программирования); б) на уровне адресного поля ПО – отображение (проекция) аномалии на уровне спецификации ПО в некорректную композицию ячеек адресного поля ПО (в терминах исполняемого кода). 7 Критерии оценки – сохранение инвариантов (неизменных свойств ПО) в различных условиях эксплуатации ИУС. d1d2Результат композиции диверсных методов + +Подтверждение дефекта обоими диверсными методами +-Эффективное разнообразие диверсных методов -+Дополнительный анализ для разрешения противоречия --Нечувствительность обоих диверсных методов 1 Цель диверсификации технологий верификации ПО- повышение полноты и достоверности оценок характеристик качества ПО и получение улучшенной оценки за счет реализации принципа разнообразия.

8 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 8 Диверсификация технологий верификации ПО: оценка ПО на базе числовых и семантических инвариантов D' 1 U D' 2 –множество дефектов, обнаруживаемых 1-м или 2-м методом (в адресном поле ПО) D\D' 1 U D' 2 - множество дефектов, необнаруживаемых 1-м и 2-м методами (нечувствительность обоих методов) А1-множество атрибутов ПО на базе инварианта 1 и соответствующие метрики (метод 1+шкала 1) А 2 - множество атрибутов на базе инварианта 2 и соответствующие метрики (метод 2+шкала 2) Адресное поле ПО Исходное множество дефектов D D'1D'1 D' 2 D1D1 D2D2 А1А1 А2А2 Сравнительный анализ диверсных оценок А1А1 А2А2 А3А3 U Ai – база анализа и оценки характеристик ПО для композиции диверсных технологий (суперпозиция множеств атрибутов внутреннего, внешнего и качества в использовании и соответствующие им метрики) Дефект ПО – отображение на адресное поле ПО некорректного значения атрибута (измеряемого физического или абстрактного свойства ПО). Чувствительность (проверяющая способность) метода – вероятность обнаружения определенного типа программного дефекта Возможные варианты: d1 d D' 1 и D' 2 – отображения (проекций) на адресное поле ПО аномалий (дефектов) спецификации ПО на уровне языка программирования D 1 и D 2 Модель проверяющей способности композиции диверсных технологий верификации, основанных на числовых и семантических инвариантов ПО :

9 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 9 Теоретико-множественная модель остаточных дефектов ПО для композиции диверсных технологий верификации A – Адресное пространство программы Варианты: Пессимистический - M1 M2 Оптимистический - M1 M2 = Ø Общий случай: M1 M2 Ø A М М2 М1 M\M1 U M2 М1 – Подмножество остаточных дефектов, необнаруживаемых при верификации M1 M2– Подмножество остаточных дефектов, необнаруживаемых для композиции верификации и независимой верификации М2 – Подмножество остаточных дефектов, необнаруживаемых при независимой верификации M\M1 U M2 –подмножество обнаруженных дефектов для композиции верификации и независимой верификации Результативность верификации определяется вероятностью остаточных дефектов ПО Модель остаточных дефектов ПО представляет суперпозицию подмножеств М i для композиции диверсных методов верификации с различной чувствительностью (проверяющей способностью) M1 M2 М – Исходное множество дефектов

10 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 10 Максимально возможное значение выигрыша от независимой верификации может составить Р(М1) Выигрыш M1 \ М1 М2 Оценка эффективности диверсификации технологий верификации. Вероятность отсутствия дефектов ПО после верификации Рбд = 1-Р(М1) после независимой верификации Рбд 1.2= 1-Р(М1 М2) Индикатор снижения рисков остаточных дефектов ПО для композиции верификации и независимой верификации Р(М1 М2) В= Р(М1) - –––––––––––– Р(М1)= Р(М1) (1 – Р(М2М1) Р(М1) А М М1М1 М2М2 М1 М2 Мера разнообразия М1, М2 – подмножества дефектов ПО, не обнаруженных каждым из диверсных методов. М1 М2 – мера разнообразия диверсных методов. Множество дефектов Адресное поле ПО

11 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 11 Задачи: Реализация диверсных технологий на базе числового и семантического инвариантов ПО Определение количественного значения индикатора снижения рисков остаточных дефектов Исходное ПО Препроцессорная обработка исходного ПО. Переопределение переменных Компиляция. Формирование инструментированной версии. Расстановка контрольных точек (КТ) Рекурсивная интерпретация Оценка в соот- ветствии с алгеброй КТ БД проекта Операционная «смесь» исходного ПО Формирование профиля дефектов Матрица профиля дефектов Инструментированная версия исходного ПО Калибровка диверсных технологий методом «посева» дефектов. Регистрация первичных данных Профиль дефектов Статобработка и оценка: а)чувствительности и степени разнообразия диверсных технологий б) значения индикатора снижения риска остаточных дефектов ПО Результаты калибровки методом инъекции программных дефектов Предв. отчет по независимой верификации Заключение о снижении вероятности остаточных дефектов ПО. Отчет Исходное ПО с классом «тип+КТ» Функции, поддерживаемые инструментальной системой: грамматический разбор исходного ПО инструментирование исходного ПО; расстановка контрольных точек – зондов измерение атрибутов исходного ПО в режиме рекурсивной интерпретации; формирование интегральной оценки качества проекта ПО калибровка – экспериментальное определение чувствительности к дефектам ПО различных типов и степени разнообразия диверсных технологий методом капельной инъекции дефектов ПО в соответствии с профилями, устанавливаемыми с учетом статистического инварианта «смесь операций» конкретного проекта ПО Потоковая модель статического анализа и оценки атрибутов ПО Реализация диверсных технологий на основе статического анализа исходного ПО

12 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 12 Нормализация объекта экспертизы Формирование сценария экспертизы Функциональная модель полного сценария экспертизы или независимой верификации ПО ИУС критического применения Заявка Методика, утилита организац. типа Сообщения о несоответствиях Шаблон- анкета Методика, утилита информац. типа Профилирование требований Схема измерений Методика, утилита информац. типа «Ручной» анализ ТД проекта на основе экспертных карт Инструментальн. статический анализ исх. ПО Оценивание характеристик ПО Верификация результатов промежуточных этапов и сценария в целом Экспертное заключение Отчет Методика Методика, утилиты аналитич. типа Экспертное заключение. Отчет Методика, утилиты аналитич. типа Сценарий (ссылочный монитор) Нормализован- ный объект экспертизы Спецификация: атрибутов ПО КТ-зондов экспертных карт «ручного» анал. Схема измерений: места установки КТ оценка полноты покрытия чувствительность методов Нормативный профиль проекта Результаты измерения атрибутов при «ручном» анализе Результаты измерения атрибутов при статич.анализе Методика, группа анализа ОЭ 1 ОЭ 2 … ОЭn ТД проекта Место и роль статического анализа исходного ПО.

13 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 13 Сценарный подход: использование утилит поддержки сценария экспертизы ПО на аналитическом, информационном и организационном уровнях. Методики Сценарий (Планирование. Анализ. Оценивание. Управление.) Утилиты Утилиты организационного типа Утилиты информационного и аналитического типов Утилиты организационного и информационного типов Генерация отчета Планирование Управление График проведения утилит График проведения методик (WBS) Результаты методик ? ТД проекта Методики Оценивание Заявка Сценарий Экспертное заключение Инте гральная оценка Результаты утилит Т Т ТД проекта ПО Директивы WBS

14 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 14 Сценарий экспертизы ПО: статическая и динамическая спецификация сценария А0 А1 А24 А324 Фрагмент сценария - рабочий пакет (WBS), этап экспертизы, представленный диаграммой Ганта в терминах работ, выполняемых с использованием утилит и методик. Методология: IDEF0 (BPwin) Структура: Иерархия функциональных моделей в терминах утилит и методик График: «Сборочный чертеж» сценария в осях «Фрагмент сценария - время» время Фрагменты сценария (утилиты, методики) Базовые варианты сценария: 1). 2)

15 Оценивание качества ПО ИУС критического применения: диверсификация технологий верификации ПО… 15 Заключение 3. Необходимым элементом нормативно-методического оснащения процессов оценивания качества ПО ИУС критического применения являются нормативные профили требований к ПО различных статусов утверждения, определяющие регулирующие требования к процессам, методам, метрикам и процедурам оценивания для различных категорий ПО ИУС, включая повторное использование имеющегося или модернизированного ПО. Адекватные нормативные профили требований к ПО являются необходимым условием достижения качества и безопасности использования ИУС критического применения и представляют базу для формирования частных и интегральной характеристик качества для всех составляющих проекта ПО ИУС. 2. Диверсификация технологий основана на измерении семантических и логико-числовых инвариантов исходного ПО. Платформой для реализации диверсных технологий на основе инвариантов ПО является статический анализ исходных текстов ПО. Реализация диверсных технологий на основе статического анализа исходного ПО обеспечивает контролируемую степень разнообразия технологий при оценивании базовых характеристик качества ПО ИУС «Функциональность», «Надежность», «Обслуживаемость» и т.д. с использованием метрик «Семантика», «Интервал», «Точность» переменных ПО. 1. Концепцией нормативно-методического и инструментального оснащения процессов независимой верификации и экспертизы ПО ИУС является использование принципа разнообразия (технологической диверсности) как целевого средства повышения качества экспертных оценок соответствия ПО регулирующим требованиям по показателям достоверность, полнота, рентабельность. 4. Предложенный подход создает возможности в рамках risk-informed регулирования безопасности АЭС количественно оценивать и управлять величиной снижения вероятности рисков остаточных дефектов ПО ИУС в диапазоне 0 – 100% для композиции диверсных технологий верификации на основе экспериментальной калибровки чувствительности и реальной степени разнообразия диверсных методов верификации. 5. Перспектива длительной эксплуатации и развития инструментального оснащения испытательных лабораторий организаций- разработчиков ИУС и сертификационных центров с использованием методологии статического анализа исходного ПО ИУС обеспечивается благодаря использованию принципа открытой архитектуры и современных web-технологий ( web-сервисы, программируемые web-приложения, коммуникационные протоколы).