Оценка затрат на автоматизацию тестирования Илья Гаврилов. Exigen Services

Цель ГоловыПродукт

Цель Бюджет ROI = (G – I)/I I = ? Рентабельность инвестиций

План Обзор существующих методов оценки затрат на автоматизацию Анализ сильных и слабых сторон Выработка критериев для нового метода оценки Разработка нового метода Анализ результатов

Существующие подходы оценки затрат на автоматизацию Оценка по типовому коэффициенту Оценка методом декомпозиции задач

Оценка по типовому коэффициенту Плюсы Скорость оценки Минусы Большая погрешность оценки Большая субъективность Ограниченная область применения Разработка % % Итоговая оценка

Оценка методом декомпозиции задач Плюсы Хорошая точность оценки Минусы Большое время на оценку Большая субъективность 1Manage entities functionality DB3 2.2Entity list UI + filtration business9 2.3UI for add/edit/view entity item9 2.4 Support for cutoff date/time (including Region default values overriding); extension time Support for dependent lists (Region, Country, Business unit) Support for audit3 2.11Permissions3 2.15TC for view/add/edit Entity creation4 2.16TC for view/add/edit Entity execution6 2.17Automation for view/add/edit Entity10

Критерии для нового метода оценки

Анализ задачи TCs ВходВыход Время на оценку Точность оценки

Анализ задачи - проблема Все тест кейсы отличаются: по объему сложности и т.п.

Анализ тест кейса Взаимодействие с интерфейсом Написание хранимых процедур, для подготовки тестовых данных Взаимодействие с интерфейсом Подготовка тестовых данных через базу данных СодержаниеТип активности тестировщика

Автоматизация набора тест кейсов TCs TC UIA TC DB

Оценка написания хранимых процедур TC DB

Оценка написания хранимых процедур Единицы (поля таблицы 1) (поля таблицы 2) (поля таблицы 3)

Единицы-> Часы Единицы На основании статистики 100 единиц = X часов

Оценка тест кейсов TC UIA ? Все тест кейсы разные

Оценочный тест кейс Разные по объему тест кейсыОценочный тест кейс

Границы оценочного тест кейса 1 < 10 Оценочный тест кейсВзаимодействие с интерфейсом

Оценочный тест кейс -> Часы На основании статистики 10 оценочных тест кейсов = Y часов

Суммарная оценка затрат на автоматизацию TCs TC UIA TC DB Оценочные Тест Кейсы Единицы

Проекты Проект 1 Большие тест кейсы Тестовые данные создаются через интерфейс Много не стандартных элементов управления Проект 2 Небольшие тест кейсы Тестовые данные создаются через базу данных

Время потраченное на оценку ПроектКол-во тест кейсов, шт Метод декомпозиц ии задач, часы Новый метод, часы Проект Проект

Точность оценки ПроектМетод декомпозиц ии задач Новый метод Факт Проект 1127 часов142 часов136 часов 93,38 %104,41 %100% Проект 2298 часов260 часов280 часов 106,42 %92,85 %100%

Анализ результатов Время затраченное на оценку ~ в 3 раза меньше от метода декомпозиции задач Точность варьируется в пределах 8% от фактического результата Точность сопоставимая с методом декомпозиции задач Меньше субъективность оценки

Спасибо за внимание! Вопросы? Илья Гаврилов