Тестирование программных средств Сафронов Сергей, 2008 год

Оглавление Модель СММ Модель СММ История возникновенияИстория возникновения Краткая характеристикаКраткая характеристика Модель ТММ Модель ТММ Краткая характеристикаКраткая характеристика Основные этапы СММ/ТММ Основные этапы СММ/ТММ Другие модели оценки зрелости тестирования Другие модели оценки зрелости тестирования

История возникновения СММ CMM – Capability Maturity Model Разработан в 1987 году Институтом программной инженерии (SEI) совместно с корпорацией Mitre Предназначен для организации эффективного процесса управления разработкой ПО СММ определяет ЧТО надо сделать, но не определяет КАК

Краткая характеристика этапов 1InitialНачальный Chaotic, ad hoc, heroic (хаотичный, специфический, героический) 2RepeatableПовторяемость Project management, process discipline (есть управление проектом и дисциплина проекта) 3DefinedОпределенность Institutionalized (учрежденный) 4ManagedУправляемость Quantified (дискретный) 5OptimizingОптимизация Process improvement (постоянное улучшение процесса)

Проблемные места СММ Отсутствие формальной теоретической базы Отсутствие формальной теоретической базы Отсутствие/неясность эмпирических примеров (уровни 1, 4 и 5) Отсутствие/неясность эмпирических примеров (уровни 1, 4 и 5) СММ чтит процесс, но игнорирует людей СММ чтит процесс, но игнорирует людей Смещение акцента с улучшения процесса на переход на более высокий уровень зрелости Смещение акцента с улучшения процесса на переход на более высокий уровень зрелости Отсутствие инноваций (только 5 уровень, а таких организаций менее 10 в мире): требуется быть предсказуемым, тогда как успех часто связан именно с гибкостью (Agile) Отсутствие инноваций (только 5 уровень, а таких организаций менее 10 в мире): требуется быть предсказуемым, тогда как успех часто связан именно с гибкостью (Agile) Самый яркий аргумент против: Существует много процветающих организаций, которых по СММ вообще не должно существовать

TMM TMM – Testing Maturity Model ТММ была разработана как дополнение к модели СММ Организация, пытающаяся достигнуть некого уровня ТММ, должна обладать как минимум таким же уровнем СММ Хорошая программа тестирования не существует в вакууме – она является составной частью процесса разработки ПО

Этап первый: начальный СММ: СММ: Процесс разработки не организованПроцесс разработки не организован Нет никаких попыток улучшенияНет никаких попыток улучшения Все зависит от исполнителейВсе зависит от исполнителей «Black box» project (На входе отдел программистов, на выходе – продукт)«Black box» project (На входе отдел программистов, на выходе – продукт) Не получается укладываться в сроки и бюджетНе получается укладываться в сроки и бюджет ТММ ТММ Хаотическое тестирование разработчикамиХаотическое тестирование разработчиками Тестирование и отладка не различиютсяТестирование и отладка не различиются Цель – показать, что ПО работаетЦель – показать, что ПО работает Отдел тестирования отсутствуетОтдел тестирования отсутствует

Этап второй: повторяемость СММ: СММ: Начинается создание внутренних стандартов разработки ПОНачинается создание внутренних стандартов разработки ПО Начинает внедряться планированиеНачинает внедряться планирование Налаживается обратная связь с заказчикомНалаживается обратная связь с заказчиком Процесс стандартизован только для конкретных областейПроцесс стандартизован только для конкретных областей Проект разбивается на небольшие части и становится более понятенПроект разбивается на небольшие части и становится более понятен Создаются информационные и функциональные моделиСоздаются информационные и функциональные модели Проблемы решаются по мере возникновенияПроблемы решаются по мере возникновения

Этап второй: повторяемость СММ: СММ: Тестирование отделено от отладкиТестирование отделено от отладки Тестирование – выполнение тестов, зависит от кода -> после кодированияТестирование – выполнение тестов, зависит от кода -> после кодирования Цель тестирования– показать, что программа соответствует спецификацииЦель тестирования– показать, что программа соответствует спецификации Часть ошибок ловятся очень поздно, ибо тестирование не покрывает фаз анализа требований и проектированияЧасть ошибок ловятся очень поздно, ибо тестирование не покрывает фаз анализа требований и проектированияЦели: Определены задачи разработки и тестированияОпределены задачи разработки и тестирования Инициировать процесс планирования тестированияИнициировать процесс планирования тестирования Зафиксировать и описать базовые процедуры и методикиЗафиксировать и описать базовые процедуры и методики

Этап третий: определенность СММ: СММ: Уровень мирового классаУровень мирового класса Детальная стандартизация разработки ПО с учетом дальнейшего развитияДетальная стандартизация разработки ПО с учетом дальнейшего развития Все процессы интегрированы в общий процесс разработкиВсе процессы интегрированы в общий процесс разработки Процесс улучшается каждый раз по завершению проектаПроцесс улучшается каждый раз по завершению проекта Отдельные личности перестают влиять на результатОтдельные личности перестают влиять на результат Четкое определение функциональных обязанностей сотрудниковЧеткое определение функциональных обязанностей сотрудников Возможность получить информацию о текущем состоянии проектаВозможность получить информацию о текущем состоянии проекта Снижаются затраты и сроки реализацииСнижаются затраты и сроки реализации Возможно оценить рискиВозможно оценить риски

Этап третий: определенность ТММ: ТММ: Тестирование интегрировано во все фазы разработки ПОТестирование интегрировано во все фазы разработки ПО Цели устанавливаются с учетом требований клиентовЦели устанавливаются с учетом требований клиентов Тестировани выделено в профессиональную деятельностьТестировани выделено в профессиональную деятельность Определена организация процесса тестированияОпределена организация процесса тестированияЦели: Выделить тестирование в отдельную группуВыделить тестирование в отдельную группу Определить программу технического обучения для тестировщиковОпределить программу технического обучения для тестировщиков Интегрировать процесс тестирования в процесс разработкиИнтегрировать процесс тестирования в процесс разработки Контроль процесса тестированияКонтроль процесса тестирования

Этап четвертый: управляемость СММ: СММ: Все процессы унифицировныВсе процессы унифицировны Выработаны критерии оценки результатовВыработаны критерии оценки результатов Полная документация по процессамПолная документация по процессам Процесс легко управляемПроцесс легко управляем Основной упор – эффективное управление, за счет чего повышается качество и снижаются требования к ресурсамОсновной упор – эффективное управление, за счет чего повышается качество и снижаются требования к ресурсам Проблемы оказывают минимальное воздействие на проектПроблемы оказывают минимальное воздействие на проект ПО разрабатывается в заданный срок с заданным качествомПО разрабатывается в заданный срок с заданным качеством Менеджеры не только понимают процессы, но управляют имиМенеджеры не только понимают процессы, но управляют ими

Этап четвертый: управляемость ТММ: ТММ: Тестирование – измеряемый и контролируемый процессТестирование – измеряемый и контролируемый процесс Проверки на всех фазах жизненного цикла признаны работами по тестированию и контролю качестваПроверки на всех фазах жизненного цикла признаны работами по тестированию и контролю качества Проект проверяется на такие атрибуты качества, как надежность, удобство использования и легкость поддержкиПроект проверяется на такие атрибуты качества, как надежность, удобство использования и легкость поддержки Существует централизованная база данных тестов для повторного и регрессионного тестированияСуществует централизованная база данных тестов для повторного и регрессионного тестирования Классификация всех найденных дефектовКлассификация всех найденных дефектовЦели: Внедрение процесса инспектирования на всех уровняхВнедрение процесса инспектирования на всех уровнях Внедрить оценку качества ПОВнедрить оценку качества ПО

Уровень пятый: оптимизация СММ: СММ: Непрерывная и неограниченная оптимизацияНепрерывная и неограниченная оптимизация Определены четкие области применения для всех процессов, их сильные и слабые стороныОпределены четкие области применения для всех процессов, их сильные и слабые стороны Улучшение поддается количественной оценкеУлучшение поддается количественной оценке

Уровень пятый: оптимизация ТММ: ТММ: Стоимость тестирования и его эффективность четко определеныСтоимость тестирования и его эффективность четко определены Применяются на практике методы предотвращения возникновения ошибок и контроля качестваПрименяются на практике методы предотвращения возникновения ошибок и контроля качества Постоянное повышение качества и гибкости тестированияПостоянное повышение качества и гибкости тестирования Автоматизированное тестирование – основной подходАвтоматизированное тестирование – основной подход Существует и постоянно улучается набор инструментов для всех основных процессов: разработка тестов, анализ результатов, разбор ошибок, сбор метрик качества, etcСуществует и постоянно улучается набор инструментов для всех основных процессов: разработка тестов, анализ результатов, разбор ошибок, сбор метрик качества, etcЦели: Оптимизация процесса тестированияОптимизация процесса тестирования Предотвращение ошибокПредотвращение ошибок Контроль качестваКонтроль качества

Другие модели зрелости ABCD-model: D - DenialD - Denial Зачем нам тестирование, мы лучше больше кода напишем! C – CapableC – Capable Ну, да – бывают проблемы, но их мы по ходу дела решать будем! B – Break itB – Break it Больше тестирования и больше просмотров – больше выявленных проблем! A – ActualizedA – Actualized Мы знаем, какие проблемы могут быть в проекте и постараемся предотвратить их до того, как они проявятся