PM Team Leader SQA Days 7 Kharkov QA Club ZoralLabs It-Jam 2010 lysenko_i@mail.ru http:// myqanotes.blogspot.com It-Jam 2011 PO QA. - презентация

1

2 PM Team Leader SQA Days 7 Kharkov QA Club ZoralLabs It-Jam myqanotes.blogspot.com It-Jam 2011 PO QA

3 » Проработка и проектирование сценариев » Создание и отладка » Организация проведения и запуск » Анализ и отладка системы - от пары минут до пары дней - дня три, может четыре - один-три дня и минут - от получаса до пары человеконедель

4 …….

5

6 » Время отклика » Время (календарное) транзакции » Код ответа сервера » Полный ответ сервера в случае ошибки » Загрузки ЦПУ сервера » Загрузка памяти сервера » Загрузка ЦПУ клиента » Загрузка памяти клиента » Кол-во переданных байт

7 Время Ответы сервера Использование ресурсов сервера Использование ресурсов клиента Передаваемые объемы На чем будем строить анализ

8

9

10

11 » Тенденция во времени » Распределения времени ответов » Декомпозиция » Кластеризация » Сравнение и поиск зависимостей ˃Использования памяти ˃Использования процессора ˃Задержек и загрузки БД ˃Времени и результатов запросов ˃etc.

12 1 Text 3 4 Кластеризация Сравнение и поиск зависимостей Тенденция во времени Распределение времени ответов Декомпозиция 2 5

13 » Просмотр ответов серверов » Просмотр логов » История выполнения запросов на БД » Использование ресурсов сервера » Использование ресурсов клиента » Использовать не только результаты предоставляемые нагрузочной тулзой

14 Результаты B E C D A Логи Хранилище данных Загрузка ресурсов сервера и клиента Любые другие результаты Ответы сервера

15

16 Action#SamplesErrorAverageMinMaxDeviation Throughput KB/sec Avg. Bytes login.htm5740,000% ,4410,7789, ,8 /login5682,641% ,9040,646222, ,5 Open Checkout 3910,000% ,2710,44530, ,1 Checkout3910,256% ,0300,44430, ,4 /logout5640,709% ,1240,770262, ,4 GB Checkout1770,000% ,0760,27719, ,0 TOTAL26650,75% ,23,013521, , 2

17 Code titleResponse Code # of Rqsts% of Errors OK Internal Server Error500840,00% Non HTTP response message: Unexpected end of ZLIB input stream Non HTTP response1260,00%

18

19

20 500 Average470.1 Min75 Max4397 Non HTTP Average Min Max305086

21

22

23

24

25

26

27

28 » Собирайте максимум данных (но помните, что это может влиять на результат) » Анализируйте не только сами результаты » Лучший источник реальных данных – production server (не грузите его в prime time) » Копайте как можно глубже (но не забывайте, что результаты могут лежать и на поверхности)

29

30 » »

31