РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ 2. - презентация

1

2 РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ 2

3 Цели и задачи: Что за ошибки? Почему это ошибки? Как их избежать? Oracle ISV Forum3

4 Классификация ошибок Идеология и методология Планирование Персонал Механика Технологии Oracle ISV Forum4

5 ИДЕОЛОГИЯ И МЕТОДОЛОГИЯ Oracle ISV Forum5

6 Идеология и методология - 1 Oracle ISV Forum6 Группа тестирования ответственна за обеспечение качества Группа тестирования ответственна за контроль и измерение качества! Обеспечение качества – командная задача

7 Идеология и методология - 2 Oracle ISV Forum7 «Цель тестирования – нахождение дефектов»

8 Идеология и методология - 2 Oracle ISV Forum8 «Цель тестирования – нахождение важных дефектов» Важных - ?

9 Идеология и методология - 3 Oracle ISV Forum9 Удобство использования Вопросы масштабирования Вопросы локализации … Узость представление о тестировании – что считать дефектами?

10 Идеология и методология - 4 Oracle ISV Forum10 Пренебрежение оценками качества и качеством этих оценок Метрики Покрытие Тестирование Контекст оценок

11 Идеология и методология - 5 Oracle ISV Forum11 Слишком позднее начало тестирования Некогда проводить Некогда исправлять Пропускаем дефекты …

12 Oracle ISV Forum12 Идеология и методология - сумма «Цель команды тестирования – обеспечение качества» «Цель команды тестирования – находить дефекты» Узость взглядов на задачи тестирования Пренебрежение оценками качества и качества оценок Слишком позднее тестирование

13 ПЛАНИРОВАНИЕ Oracle ISV Forum13

14 Oracle ISV Forum14 Неправильное определение рисков Планирование - 1 Ставит под вопрос эффективность всего следующего процесса Упускаем важные дефекты

15 Планирование - 2 Oracle ISV Forum15 Излишний фокус на функциональном тестировании Пользователь реализует свои задачи, а не функционал Упускаем типовые шаблоны работы пользователей Можем пропустить важные ошибки

16 Планирование - 3 Oracle ISV Forum16 Планирование нагрузочных тестов на последний момент Тяжело Долго Дорого исправлять

17 Планирование - 4 Oracle ISV Forum17 Переоценка возможностей β-тестирования Предвзятость тестеров Несерьезное использование (не «боевое») Редко отсылают отчеты о дефектах Ценность отчетов сомнительна Не дают отчетов по удобству использования

18 Планирование - 5 Oracle ISV Forum18 В планы не вносится «исследовательское» тестирование Гипотетические дефекты пропускаются Не испытываются новые последовательности действий

19 Oracle ISV Forum19 Планирование- сумма Неправильное определение рисков Излишний фокус на функциональном тестировании Планирование нагрузочных тестов на последний момент Переоценка возможностей β - тестирования Отсутствие в планах «исследовательского тестирования»

20 ПЕРСОНАЛ Oracle ISV Forum20

21 Oracle ISV Forum21 «Тестирование – для начинающих программистов» Персонал - 1 Стремятся проявить себя как программисты Могут получится «специалисты по инструментам» Нетерпеливость Незаинтересованность

22 Oracle ISV Forum22 «Тестирование – для неудавшихся программистов» Персонал - 2 Невнимательный программист – невнимательный тестировщик Усталость Незаинтересованность

23 Oracle ISV Forum23 Отсутствие специалистов в предметной области Персонал - 3 Пропускаем важные дефекты Неэффективно тестируем Не знаем, как наши пользователи работают с продуктом

24 Oracle ISV Forum24 «Тестировщик должен уметь программировать» Персонал - 4 Можно научить и специалиста-предметника Лучше хорошо тестировать чем не очень хорошо программировать

25 Oracle ISV Forum25 Пробелы в знаниях команды тестирования Персонал - 5 Тяжело компенсировать Пропускаем важные дефекты, и некому на это указать

26 Oracle ISV Forum26 «Программисты не должны тестировать» Персонал - 6 Не все может быть протестировано тестировщиком Кто кроме программиста лучше знает его код?

27 Oracle ISV Forum27 Персонал - сумма «тестирование – для начинающих программистов» «тестирование – для неудавшихся программистов» Отсутствие специалистов в предметной области «Тестировщик должен программировать» Пробелы в знаниях команды тестирования «Программисты не должны тестировать»

28 МЕХАНИКА Oracle ISV Forum28

29 Oracle ISV Forum29 Невнимательность к тест-дизайну Механика - 1 Пропускаем сложные сценарии Пропускаем важные тесты Производим синтетические тесты

30 Oracle ISV Forum30 Чересчур подробные сценарии Механика - 2 Сложно поддерживать Долго писать «А что будет, если мы интерфейс поменяем?»

31 Oracle ISV Forum31 Чересчур обобщенные сценарии Механика - 3 Сложно поддерживать Понятны только автору «И как это проверять?»

32 Oracle ISV Forum32 Тестирование продукта только через UI Механика - 4 Пропускаем дефекты, связанные с внутренней архитектурой (утечки, сроки, …) Теряем контроль за происходящим в системе

33 Oracle ISV Forum33 «Плохие» отчеты об ошибках Механика - 5 Трудно повторить Трудно понять Не описывают, что именно неправильно Не описывают, как правильно надо Не могут помочь в отладке Служат причиной обиды

34 Oracle ISV Forum34 Механика - сумма Невнимательность к тест-дизайну Чересчур подробные сценарии Чересчур общие сценарии Тестирование продукта только через UI «Плохие» отчеты об ошибках

35 ТЕХНОЛОГИИ Oracle ISV Forum35

36 Oracle ISV Forum36 «Мы прогоним 100% наших ручных скриптов!» Технологии - 1 Долго, если вообще реально Зачем, если вероятность найти дефект для некоторых тестов мала, но ресурс мы израсходуем?

37 Oracle ISV Forum37 «Давайте мы автоматизируем все!» Технологии - 2 Тяжело Долго Малое соотношение «время разработки/количество найденных дефектов»

38 Oracle ISV Forum38 «С помощью point-and-click инструмента автоматизации мы сможем автоматизировать много тестов» Технологии - 3 Требует много времени на редактирование Требует много времени на поддержку Как правило не понимает custom - элементы

39 Oracle ISV Forum39 «С помощью наших регрессионных тестов мы найдем много дефектов!» Технологии - 4 Статистика показывает, что новые тесты справляются лучше Найдем, но лучше спроектировать новые тесты Регрессионное тестирование надо проводить с умом

40 Oracle ISV Forum40 «Мы должны обеспечить 100% покрытие» Технологии - 5 Слабое утверждение с точки зрения нахождения важных дефектов Не самая показательная метрика Много времени может уйти только на покрытие, вместо поиска дефектов

41 Oracle ISV Forum41 «А зачем нам контролировать покрытие?» Технологии - 6 Не дает представления о текущей ситуации Не дает метрик для анализа следующих релизов и похожих проектов

42 Oracle ISV Forum42 Технологии - сумма 100% прогон ручных тестов 100% автоматизация Неразумное регрессионное тестирование Переоценка важности тестового покрытия Недооценка важности тестового покрытия

43 Oracle ISV Forum43 Вопросы?