Документирование результатов тестирования

Процесс Тестирования План Тестирования Выбор стратегии Тест-план Анализ Документации Подробное описание тестов и оборудования Тест кейсы Выполнение тестов Поддержка, редактирование тестов Обнаружение и документирование ошибок Отчеты об ошибках Журналы испытаний Анализ результатов Финальный отчет

Анализ результатов тестирования Анализ результатов тестирования проводится с некоторой периодичностью в процессе работы с проектом, а также в конце работы с проектом. Его основная задача – оценить текущее или финальное качество проекта и принять (если необходимо) – соответствующие решения и меры.

Отчёт о результатах тестирования Отчёт о результатах тестирования (test result report, TRR) – часть тестовой документации, включающая в себя описание процесса тестирования, суммарную информацию о протестированных за подотчётный период биллах, информацию о деятельности тестировщиков, а также некоторые статистические данные. Цель написания TRR – предоставление лицам, заинтересованным в проекте, полной и объективной информации о текущем состоянии качества проекта. Эта информация выражается в конкретных фактах и цифрах. Обычно, TRR предоставляется для ознакомления всей проектной команде и заказчику.

Задачи отчетности оценка объёма и качества выполненных работ; сравнение текущего прогресса с тест-планом (в том числе с помощью анализа значений метрик); описание имеющихся сложностей и формирование рекомендаций по их устранению; предоставление лицам, заинтересованным в проекте, полной и объективной информации о текущем состоянии качества проекта, выраженной в конкрет-ных фактах и числах.

Кому нужен отчет? менеджеру проекта как источник информации о текущей ситуации и ос-нова для принятия управленческих решений; руководителю команды разработчиков («дев-лиду») как дополнительный объективный взгляд на происходящее на проекте; руководителю команды тестировщиков («тест-лиду») как способ структурировать собственные мысли и собрать необходимый материал для обращения к менеджеру проекта по насущным вопросам, если в этом есть необходимость; заказчику как наиболее объективный источник информации о том, что про-исходит на проекте, за который он платит свои деньги.

Индивидуальный отчет Индивидуальный отчет является кратким описанием (примерно 1-1/2 стр.) проделанной самостоятельной работы за отчетный период Новости -Есть ли какие-нибудь новости? Качество -Найдены ли серьезные проблемы? -Сколько багов назначено, исправлено, отклонено? -Какого типа баги встречались чаще всего? -Как ситуация изменилась по сравнению с прошлой неделей? -и д.р. Ваше задание -Что вы делали на прошлой неделе? Вложились в расписание? Рекомендации -Что тебе еще необходимо для выполнения твоей работы? Твой план -Описание корректного плана работы на следующую неделю Риски -Какие проблемы могут скоро возникнуть?

1. Команда тестировщиков 2. Проверенные билды 2. Проверенные билды (Builds released) Описание процесса тестирования 3. Описание процесса тестирования (Testing Process Description) Краткое описание 4. Краткое описание (Summary) Расписание 5. Расписание (Testing Time) Сстатистика по ошибкам за данный период 6. Сстатистика по ошибкам за данный период (Bugs Status Progression over a Period) Список новых ошибок 7. Список новых ошибок (List of New Bugs Found) статистика по ошибкам 8. Общая сстатистика по ошибкам (Overall Bugs Status) 9. Рекомендации (Recommendations) Структура отчета

В этой части TRR перечисляются все задействованные в процессе тестирования сотрудники с указанием занимаемой должности и роли на проекте в подотчётный период. Например: ФИОДолжность на данном проекте Роль в подотчётный период Василий Пупкин Лидер команды тестировщиков Координирование работы команды, базовая проверка билдов, ревизия тестовых сценариев Василиса Пупкина Старший тестировщик Автоматизированное тестирование Структура отчета. Команда тестировщиков (test team)

Проверенные билды (Builds released) - Название, краткое описание, версия проверенных билдов В краткое описание может быть включено краткое описание работы, назначение, взаимодействие с другими биллами и д.р. Описание процесса тестирования (testing process description) В этой части TRR даётся краткое описание того, как происходило тестирование: какие использовались методы, техники, инструментальные средства и т.п. Пример: Приложение было протестировано под ОС Windows XP sp2. en с использованием браузера FireFox 3.0. Смоук-тест был выполнен с использованием средства автоматизации JUnit 4.0. Тест критического пути и расширенный тест были выполнены вручную согласно документу «Тесты для ручного тестирования VWS версия doc». Подробная информация о стратегии тестирования представлена в документе «Стратегия тестирования VWS версия doc». Структура отчета. Проверенные билды. Описание процесса тестирования

Краткое описание (summary) В этой части TRR даётся краткое описание того, какие билды были протестированы, есть ли в качестве приложения прогресс или регресс, есть ли какие-либо проблемы, требующие внимания руководства. Пример: Билд был успешно инсталлирован под обеими платформами (Windows XP sp2.en, FedoraCore 6.0). Смоук-тест пройден успешно. Приложение работает стабильно, основная функциональность работоспособна. Существующие проблемы в основном связаны с функциональностью, реализованной с момента выпуска последнего билла. Большинство найденных ранее ошибок успешно устранено и верифицировано. Наблюдается значительный прогресс в качестве приложения. На текущий момент выполнено более 80% запланированных тестов (остальные планируется выполнить до конца следующей недели). Было обнаружено всего четыре новых ошибки с важностью «высокая». Структура отчета. Краткое описание (summary)

В данном разделе отчёта приводится детализированное описание того, какая работа и на протяжении какого времени выполнялась каждым тестировщиком. Например: ФИОДата ОписаниеДлительность, ч Василиса Пупкина Подготовка тестового окружения 5 Василиса Пупкина Проведение смоук- теста под Windows XP 2 Василиса Пупкина Общение с коллегами по вопросам проекта 1 Структура отчета. Расписание (testing time)

Здесь приводится сводная таблица, содержащая информацию об ошибках, с которыми команде тестировщиков приходилось иметь дело в подотчётный период. Пример: Статус Количество Важность Критич.Высок.Средн.Мин. Исправл Провер Откр. заново Найдено Отклон Структура отчета. Сстатистика по ошибкам за данный период (Bugs Status Progression over a Period )

Здесь приводится список ошибок, обнаруженных командой тестировщиков за подотчётный период. Список ошибок легко извлечь из баг-трекинговой системы. Пример: Идентификатор ВажностьОписание VWS Высокая На форуме гость получает права пользователя VWS КритическаяСУБД зависает при достижении БД объёма 400 Mb Структура отчета. Список новых ошибок (List of New Bugs Found)

Здесь приводится сводная таблица, содержащая информацию об ошибках, с которыми команде тестировщиков приходилось иметь дело за всё время работы с проектом. Пример: Статус Количество Важность Критич.Высок.Средн.Мин. Исправл Провер Откр. заново Найдено Отклон Структура отчета. Сстатистика по всем ошибкам (Overall Bugs Status)

Сстатистика по всем ошибкам также отражается в виде графика: Найденные баги. Отражает количество найденных за отдельный подотчётный период багов. Закрытые баги. Отражает количество закрытых за отдельный подотчётные период багов. Всего найдено багов. Отражает количество багов, найденных за всё время работы с проектом. Всего закрыто багов. Отражает количество багов, закрытых за всё время работы с проектом. Структура отчета. Сстатистика по всем ошибкам (Overall Bugs Status)

В этой части TRR следует подчеркнуть те важные моменты, на которые следует обратить внимание руководству или лидерам проектных команд. Здесь также, возможно, будет дана рекомендация на передачу проекта заказчику («передачу в продакшн»). Примеры: 1. Билд 3.45 рекомендован в продакшн. Билд работает стабильно. Все найденные баги закрыты. 2. Рекомендуется уделить особое внимание регрессионному тестированию в связи с резким возрастанием количества багов, найденных в ранее реализованной и протестированной функциональности. 3. В связи с возникшими сложностями по тестированию приложения под FreeBSD рекомендуется рассмотреть возможность подключения к проекту специалистов по тестированию под данной платформой. Структура отчета. Рекомендации (recomendations)

Выводы строятся на основе целей (которые были отражены в плане). Выводы дополняются рекомендациями. Как выводы, так и рекомендации строго обосновываются. Обоснование опирается на объективные факты.

Выводы должны быть: Краткими. Информативными.

Финальный отчёт В конце работы с проектом формируется ещё один отчёт о результатах тестирования – финальный. В дополнение к уже рассмотренным разделам такой отчёт включает описание и анализ существовавших на проекте проблем и найденных эффективных решений. Такой отчёт обсуждается на общем собрании проектной команды, где по результатам обсуждения формируются и документируются выводы, направленные на избежание в будущем проблем, возникших на данном проекте, а также направленные на накопление позитивного опыта с целью применения его в будущих или выполняемых параллельно проектах.