Проект Testbot

Концепция подхода Применение Архитектура 2

3

4

5

6 100 сценариев Изменились шрифты...Прошла неделя...

7

Независимость теста от отображения данных. Обработка непредвиденных ситуаций. 8

9

10 Событие Реакция

App Testbot Events Информация пользовательского уровня Фокусировка на файле Файл открылся Открылось контекстное меню Анализ события Анализ контекста Actions Используемая память Ошибки в приложении 11 Время Служебная информация

1. Окрыть документ (курсор в первом параграфе). 2. Перемещать курсор вправо, пока он не достигнет начала следующего параграфа. 3. Нажать Backspace. Exp. result: параграфы объединились. 12

13

Time Line File For test.docx is focused Testbot Press Enter 14 File For test.docx is focused Press Enter

Pass Time Line Testbot 15 File For test.docx is focused Press Enter Document is opened Press Right Cursor is moved right in paragraph 0 Press Right Cursor is moved right in paragraph 0 Press Right Cursor is moved right in paragraph 1 Press Backspace Paragraphs are merged Pass Document opened Press Right Cursor is moved right in paragraph 0 Press Right Cursor is moved right in paragraph 0 Press Right Cursor is moved right in paragraph 1 Press Backspace Paragraphs are merged

16

Тестирование неограниченного количества документов Регрессионное тестирование рендеринга CIT Интересная работа 17

18

Фиксированный набор специально- созданных и реальных документов Снимаем изображение -> картинки Проверяем картинки –> сохраняем как эталон Тестируем этот же набор на следующей сборке Автоматически сравниваем картинки с эталоном 19

20

Использование библиотеки OpenCV для поиска изображения на экране Использование в диалогах Зависимость от отображения 21

Автоматическая сборка на билд-сервере Нотификация тест-сервера через Jabber Объединение тестов в тест-сеты; ассоциация тест-сета и сборки нотификации по завершению теста 22

23

25

Приложение запущено в 3-х отдельных процессах Не смогли получить информацию о состоянии диалогов в 2-ом и 3-ем процессе Нет возможности следить за изменениями в документе 26

Testpoints Файл логирования 27 Testbot

06:29: E Error:Resource 'arrowleft' not found in 'id 06:29: E Error:Resource 'arrowright' not found in 'id 06:29: W Retrieving the token without setting it first. 06:29: V TESTPOINT: filelist refreshed - ROOT 06:29: W Retrieving the token without setting it first. 06:29: E Error:Retrieving the consumer 06:29: V TESTPOINT: Account is armed in FileSystemList [name:null] [id:null] 06:33: E Error:Resource 'arrowleft' not found in 'id 06:33: E Error:Resource 'arrowright' not found in 'id 06:33: V TESTPOINT activity started; [path:/mnt/sdcard/!QP-Groups-MSO2003.ppt] 06:33: E Error:Can not load table_styles_default_xml 06:33: V TESTPOINT: Start loading presentation 06:33: D openDocument() new HSLFSlideShow finished in: :33: D openDocument() initHSLFAndroid finished in: :33: D openDocument() new SlideShow finished in: :33: D openDocument() SlideAdapters created finished in: :33: I Document was parsed by POI in 1630 ms. 06:33: V TESTPOINT: End loading presentation 06:33: D PointImageUtil: Metafile loaded and cached: size: 1789x :33: D PointImageUtil: Metafile loaded and cached: size: 1963x :33: W Got unhandled activity result. requestCode=12 06:29: V TESTPOINT: filelist refreshed - ROOT 06:29: V TESTPOINT: Account is armed in FileSystemList [name:null] [id:null] 06:33: V TESTPOINT activity started; [path:/mnt/sdcard/!QP-Groups-MSO2003.ppt] 06:33: V TESTPOINT: Start loading presentation 06:33: V TESTPOINT: End loading presentation Обработка файла логирования приложения Строки для обработки 28

1.Document is opened 2.Cursor is moved in paragraph 0 3.Cursor is moved in paragraph 1 4.Paragraphs are merged Лог 29 Time Line A: Document is opened: pressRight(); B: Cursor is moved: if (index == 0) pressRight(); else pressDelete() C: Paragraphs are merged : pass(); Document is opened pressRight() Cursor is moved in paragraph 0 pressRight() Cursor is moved in paragraph 1 pressDelete() Paragraphs are merged Pass();

1.Starting to open document … Лог 30 Time Line Starting to load document wait(120); Failed(Could not load) A: Starting to load onEvent(): setTimeOut(120) onTimeOut(): failed(Could not load);

1.Starting to open document 2.Null pointer exception Лог 31 Time Line Starting to load document wait(120); recordStackTrace(); wait(30); Failed(Could not load) A: Starting to load onEvent(): setTimeOut(120) onTimeOut(): failed(Could not load); onError(): recordStackTrace()

32

Дмитрий Вильнер Олег Орлов 33