Метрики качества программного проекта Лаборатория информационных технологий (ИТЛаб) Учебно-исследовательский проект по курсу технологии программирования Куратор проекта: Карпенко С.Н. Разработчики: Гришин А.В. Никонов С.Н. Ионов А.А. Нижний Новгород 2003г. При поддержке фирмы Intel

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО2Введение Процессы разработки, приобретения и внедрения сложных систем Жесткий управленческий контроль характеристик Лекция 1

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО3Введение Наиболее важная характеристика программных продуктов Качество You cannot control what you cannot measure

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО4 Понятие качества и его многомерность Характеристики качества и его цена Характеристики качестваего цена Качество продукта, процесса, его организации Качество продукта, процесса, его организации Метрики качества Иерархизация метрик Статистический анализ

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО5 Понятие качества и его многомерность Качество - это полнота свойств и характеристик продукта, процесса или услуги, которые обеспечивают способность удовлетворять заявленным или подразумеваемым потребностям.(Определение ISO) Качество программного обеспечения - это степень, в которой оно обладает требуемой комбинацией свойств. (Определение IEEE)

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО6 Понятие качества и его многомерность Качество обслуживаемого бизнес процесса Качество ПО Качество данных Качество инфраструктуры Качество информации Качество сервиса Качество организации ISQ Enterprise Quality Information Systems Quality

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО7 Качество инфраструктуры Качество ПО Качество данных Качество информации Качество организации Качество сервиса Качество процесса Понятие качества и его многомерность качество аппаратного и поддерживающего программного обеспечения (например, качество операционных систем, компьютерных сетей и т.п.). качество программного обеспечения информационной системы. качество данных, использующихся информационной системой на входе качество информации, продуцируемое информационной системой качество менеджмента, включая качество бюджетирования, планирования и календарного контроля качество обучения, системной поддержки и т.п. качество обслуживаемого бизнес процесса

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО8 Анализ Сферы ответственности заинтересованных сторон in-process end-of-process stakeholder stakeholders Управление качеством будет успешным, если под контролем находятся все измерения качества. Понятие качества и его многомерность

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО9 Качество продукта Качество процесса Качество организации Понятие качества и его многомерность

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО10 НАЧАЛЬНЫЙ ЭТАП ЖЦ Разработчики Заказчики Цель проекта и детализация Набор функций Характеристики качества Характеристики качества

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО11 Характеристики качества Отсутствие характеристики при договоре Разный учёт или пропуск при испытаниях КОНФЛИКТ!

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО12 Дерево характеристик качества Не существует единственной метрики Спектр проектно-зависимых метрик Метрики качества - изначально неочевидная категория

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО13 Дерево характеристик качества Исторически сначала были выделены ряд универсальных и неполных метрик на основе следующих шагов 1. Определение множества характеристик, которые, являясь важными для программного обеспечения, допускают несложное измерение и не перекрываются. 1. Определение множества характеристик, которые, являясь важными для программного обеспечения, допускают несложное измерение и не перекрываются. 2. Выделение кандидатов в метрики, которые измеряют степень удовлетворения указанным характеристикам. 3. Исследование характеристик и связанных метрик, для определения корреляции, значимости, степени автоматизируемости. 4. Исследование корреляции между метриками, степени перекрытия, зависимости и недостатков. 5. Рафинирование множества метрик в целом во множество метрик, которые в совокупности адекватно отражают качество программного обеспечения. 6. Корректировка каждой метрики в итоговом множестве в контексте зафиксированных множеств характеристик и метрик. 6. Корректировка каждой метрики в итоговом множестве в контексте зафиксированных множеств характеристик и метрик.

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО14 Дерево характеристик качества Дифференциация нижнего уровня иерархии Ручной сбор информации, специальные автоматизированные средства или экспертный способ

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО15 Пример графического изображения качества Гибкость 82% Ремонтопригодность 60% Надежность 61% Корректность 97% Удобство в использовании 100% Безопасность 100%

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО16 Цена качества Цена качества Цена качества - стоимость в составе продукта, которая может быть сэкономлена, если все исполнители работают безупречно. Стоимость работ на доработку

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО17 Цена качества СогласованнаяЦенапредупреждения ЦенаконтроляНесогласованнаяВнутренниеиздержкиВнешниеиздержки сумма, затраченная на достижение качества продукта включает все издержки понесенные, вследствие выявления недостатков, возникновения ошибок и выхода из строя

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО18 Цена качества СогласованнаяЦенапредупреждения Ценаконтроля Предупреждением дефектов Предупреждением дефектов прежде, чем они произойдут (обучение коллектива, переход на современные технологии)

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО19СогласованнаяЦенапредупреждения Ценаконтроля Измерение, оценивание или ревизия продукта Цена качества

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО20 Цена качества НесогласованнаяВнутренниеиздержкиВнешниеиздержки Издержки связанные с проблемами, выявленными до того, как продукт отправлен заказчику Затраты связанные с ошибками, проявившимися при продукта Затраты связанные с ошибками, проявившимися при эксплуатации продукта

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО21 Цена качества Совершенствование процесса разработки и внедрения программного обеспечения значительно уменьшают относительную несогласованную стоимость качества при сохранении согласованной стоимости не прежнем Инвестиции в совершенствование процесса разработки ведут к значительному сокращению дефектов и дают высокий положительный экономический эффект

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО22 Качество продукта Какие характеристики важнее? Пользователь – Применение ПО, его производительность, результаты использования. Разработчик – Требования пользователя к конечному продукту – Характеристики качества промежуточной продукции Руководитель – Общее качество – Коммерческие требования Лекция 2

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО23 Качество продукта Оценка качества программного продукта Продукт приемлем или нет Продукция или промежуточный продукт Определение требований качества Выбор Метрик Определение уровня ранжирования Определение критерия оценки Разработка ПО Измерение Ранжирование Оценка Определение требований Подготовка Оценивание

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО24 Качество процесса, его организация Модель качества процесса разработки Двусмысленность требований Сложность продукта структура продукта Зрелость программного процесса Качество разработки Качество реализации Качество продукта

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО25 Качество процесса, его организация Следствия принятой модели: Качество накапливается в продукте при сложном производстве кумулятивным образом, причем, вклад в качество, осуществленный на ранних стадиях, имеет более сильное влияние на конечный продукт, чем на более поздних стадиях. Тестирование и измерение качества должно происходить на всех стадиях жизненного цикла.

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО26 Качество процесса, его организация Подход тотального управления качеством (TQM – Total Quality Management) Стандарты: ISO проектирование в процессе производства ISO , формулирует требования модели качества ISO 9001 к организации процесса разработки программного обеспечения

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО27 Качество процесса, его организация Наличие процесса разработки программного обеспечения, удовлетворяющего высокому уровню качества, не гарантирует выпуска продукта высокого качества. Отсутствие информации о качестве процесса означает, что качество разрабатываемого продукта является непредсказуемым.

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО28 Метрики качества При выборе метрик главными показателями являются : Адекватность метрик целям качества Прозрачность и четкость интерпретации Экономическая эффективность получения

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО29 Метрики качества Метрики менеджмента: Цена (Cost) Время разработки (Time-to-market) Среда разработки (Software Engineering Environment) Использование системных ресурсов (System Resource Utilization) расходы на приобретение/ разработку мера времени от формирования заказа на программу до поставки процент целевых компьютерных ресурсов, используемых системой мера способности производителя разрабатывать программное обеспечение высокого качества

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО30 Метрики качества Метрики требований: Соответствие требованиям (requirement conformance) Стабильность требований (requirement stability) дают возможность контролировать спецификации, изменение требований, а также степень их удовлетворения

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО31 Метрики качества Метрики качества: Адаптируемость(adaptibility) Сложность интерфейсов и интеграции (complexity of interfaces and integration) Тестовое покрытие (test coverage) Надежность (reliability) Профили ошибок (fault profiles) Степень удовлетворения потребностей заказчика (customer satisfaction) мера гибкости системы метрика, измеряющая степень сложности интерфейса или дополнительного программирования требуемого для интеграции компоненты в систему степень полноты различных типов тестирования вероятность работы системы без отказов кумулятивное число обнаруженных ошибок степень соответствия программного обеспечения ожиданиям и требованиям заказчика

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО32 Метрики качества Циклическая модель Гибкость (flexability) – Модульность (Modularity) – Изменяемость (Changeability) – Сопровождаемость (Maintainability) Адаптивность (adaptability) – Настраиваемость (customizability) – Переносимость (Portability) – Способность к взаимодействию (Interoperability)

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО33 Метрики качества Стоимость эксплуатации и сопровождения в составе общей стоимости владения системы (total cost ownership ) увеличивается с ростом системы опережающими темпами Вывод: Чем легче программный продукт модифицировать, тем легче достичь изначальных показателей качества ( кроме производительности )

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО34 Проектно-ориентированные метрики качества Проектно-ориентированные метрики качества разрабатываются в виде стандарта качества на ранних стадиях разработки проекта. Продукт проекта должен удовлетворять этим метрикам на всех стадиях. Такие метрики разрабатываются структурно - сверху-вниз. Лекция 3

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО35 Методология создания проектно- ориентированных метрик качества Определение нетехнического уровня Определение технического уровня Декомпозиция суб-факторов в метрики

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО36 Формирование требований качества Выбор свойств, установка приоритетов и связи с требованиями. Присвоение свойств факторам качества, которые отражают представление заказчика на качество. Установка измерений для факторов качества. Определение допустимых коридоров для величин качества. Определение нетехнического уровня (предназначен для заказчика)

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО37 Производится декомпозиции факторов качества в измеряемые характеристики программного обеспечения, определяемые как суб-факторы. Определение технического уровня (предназначен для разработчиков)

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО38 Это уровень разработанных правил и норм, которым должен удовлетворять продукт или процесс с тем, чтобы были выполнены факторы качества. Декомпозиция суб-факторов в метрики (нижний уровень иерархии)

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО39 Статистические методы предназначены для п олучения объективных данных, которые о беспечивают принятие э ффективных р ешений при производстве. Статистический анализ

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО40 Гистограмма Диаграммы рассеивания Контрольные карты Диаграммы Парето Методы статистического анализа

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО41 Гистограмма Гистограмма - это графический метод представления данных, сгруппированных по частоте попадания в определенный интервал.Гистограмма

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО42 Диаграммы рассеивания Диаграммы рассеивания – графическое представление пар исследуемых данных в виде множества точек на координатной плоскости. Предназначены для оценки наличия или отсутствия зависимости между двумя изучаемыми величинами. Диаграммы рассеивания

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО43 Контрольные карты Контрольные карты графически отражают динамику процесса, т.е. изменение показателей во времени. На карте отмечен диапазон неизбежного рассеивания, который лежит в пределах верхней и нижней контрольных границ. Контрольные карты

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО44 Диаграмма Парето - графическое представление степени важности факторов. Предназначена для определения немногочисленных существенно важных причин. Диаграмма Парето: по результатам деятельности по причинам Диаграммы Парето отражает нежелательные результаты в сферах качества, себестоимости, поставок, безопасности отражает причины проблем по кадрам, оборудованию, методам работы

(c)ИТЛаб, ННГУ, ВМК, 2003г. Метрики качества ПО45 Список литературы 1. 1.Александр Попов «Метрики качества программного обеспечения», Попов «Метрики качества программного обеспечения», Владимир Липаев, «Сетевой журнал» Владимир Липаев, «Сетевой журнал» Владимир Липаев «Стандартизация характеристик и оценивания качества программных средств», Липаев «Стандартизация характеристик и оценивания качества программных средств», Владимир Липаев «Сертификация систем качества предприятий, разрабатывающих программные средства для информационных систем, на соответствие стандартам серии ISO 9000», Липаев «Сертификация систем качества предприятий, разрабатывающих программные средства для информационных систем, на соответствие стандартам серии ISO 9000», ГОСТ Р ИС09126 «Характеристики качества и руководства по их применению»ГОСТ Р ИС09126 «Характеристики качества и руководства по их применению» 6. 6.Жарко Е.Ф. «Проблемы управления качеством программного обеспечения» Е.Ф. «Проблемы управления качеством программного обеспечения» Романов В.Ю. «Анализ программного обеспечения с использованием объектно-ориентированных метрик. Обзор метрик», В.Ю. «Анализ программного обеспечения с использованием объектно-ориентированных метрик. Обзор метрик»,