Disclaimer This presentation is for educational purpose only It does not constitute the opinion of Microsoft Corporation. - презентация

1 Disclaimer This presentation is for educational purpose only It does not constitute the opinion of Microsoft Corporation

2 CООБРАЖЕНИЯ О ТЕСТИРОВАНИИ И ГОТОВНОСТИ ПО Григорий Мельник Microsoft patterns & practices

3 Качество

4 Качество относительно

5 5 Роль тестирования

6 Влияние экономики

7 Уровень качества Прибыль Минимум Качества с Максимумом Прибыли Закон убывающей предельной полезности

8 Процесс приёмки Решение о готовности Оценка готовности Производство Решение о приёмке Приёмочное тестирование Недостаточно данных по качеству Недостаточно функциональности и качества Недостаточно данных по качеству Недостаточно функциональности и качества

9 Выход в свет

10 Функции/Возможности/Features MMF = Minimum Marketable Functionality Готовность Выход в свет MQR = Minimum Quality Requirement RAT = Ready for Acceptance Testing

11 Прогресс «выхода в свет» Время «Водопад»/ Тейлорический процесс Экстремальное Программирование (ЭП) Инкрементный процесс с циклами дольше, чем ЭП

12 Done-Done (Feature Level) – The acceptance criteria are specified and agreed upon – The team has a test/set of tests (preferably automated) that prove the acceptance criteria are met – The code to make the acceptance tests pass is written – The unit tests and code are checked in – The CI server can successfully build the code base – The acceptance tests pass on the bits the CI server creates – No other acceptance tests or unit tests are broken – User documentation is updated – The product owner signs off on the story readiness = готовность

13 Done-Done (Release Level) – All MMF features are included in the RC build. – A security review has been conducted. – Test team is confident that none of the included features has a significant risk of causing problems in the production environment, i.e. MQR is met, incl: – no Sev 1 or 2 known bugs unsolved – config testing, side-by-side – min localizability – min globalization testing – accessibility (Level 0) – user experience – performance – Business compliance achieved – Policheck completed – There are clear, concise deployment and rollback instructions for the operations team. – There are clear trouble-shooting scripts and knowledge base articles for use by the help desk representatives. – All included features have been demoed to and accepted by the product owner. acceptance = приёмка

14 КОМПОНЕНТНЫЕ ТЕСТЫ СИСТЕМНЫЕ ТЕСТЫ БЛОЧНЫЕ ТЕСТЫ Традиционная стратегия

15 КОМПОНЕНТНЫЕ ТЕСТЫ СИСТЕМНЫЕ ТЕСТЫ БЛОЧНЫЕ ТЕСТЫ Альтернативная стратегия

16 Дизайн для тестирования

17 Подкожное Тестирование

18

19

20 Гипотеза Эквивалентности Мартина-Мельника IEEE Software, 25(1): 54-59, 2008

21 Автоматизация тестирования

22 Record & Playback != Качественная автоматизация тестирования

23

24 Record & Refactor спешит на помощь [TestMethod] public void CanEnableNotificationsAndSetUp Rule() { Login("csrTestUser01", "pa$$w0rd"); SearchForCustomer("Cook"); EnsureThatSelectedCustomerIs("Cook;Kevin;123 Elm;City;WA;12457"); RetrieveSelectedCustomerInformation(); SelectManageNotifications(); EnableNotificationsVia (); EnsureThatItpsIsEnabled(); EnsureThatNotificationsWillBeSentVia(" "); CreateNewRuleForThousandDollarTransactionsInTheUnitedStates(); EnsureThatOneNotificationRuleExists(); }

25 Ботиночное Тестирование

26 Целостность команды

27 КАЧЕСТВО ОТНОСИТЕЛЬНО GOOD ENOUGH КУЛЬТУРА ИНФОРМАЦИОННОГО СЕРВИСА ПИРАМИДА РАСПРЕДЕЛЕНИЯ ТЕСТОВЫХ УСИЛИЙ ДИЗАЙН ДЛЯ ТЕСТИРОВАНИЯ АВТОМАТИЗАЦИ Я RECORD & REFACTOR ПОДКОЖНОЕ ТЕСТИРОВАНИЕ НАБОР ИНСТРЕМЕНТАРИЕВ ВЫХОД В СВЕТ ВНУТРЕННЯЯ ГОТОВНОСТЬ ПРИЁМКА ПОКУПКА/ИСПОЛЬЗОВАНИЕ ОБРАТНАЯ СВЯЗЬ БЫСТРАЯ ОТ ВСЕХ СТОРОН ВКЛЮЧАЯ КОД ЗДОРОВАЯ КОМАНДА ЦЕЛОСТНОСТЬ МАЛЫЙ BUG DEBT ИТОГ И УРОКИ

28 СПАСИБО ЗА ВНИМАНИЕ! ОБРАТНАЯ СВЯЗЬ: gmelnik.com TestingGuidance.codeplex.com