E-Learning: как оценить результаты? Competentum, 2009 г.

Оценка эффективности: для чего? А зачем? И что, собственно, надо оценивать?

Цели внедрения e-Learning Частая ошибка – рассматривать только как средство снижения издержек на обучение Цель – одно из средств повышения ОБЩЕЙ эффективности компании Любой проект должен сверяться с общими бизнес-целями компании Эффективность как достижение бизнес-целей с оптимальными издержками

Примеры целей Пример 1 Экспансия в регионы. Бизнес- цель – быстро набрать персонал на местах и обучить до необходимого уровня Пример 2 Компания в режиме жесткой экономии, нужно уволить часть сотрудников и дообучить других В этих случаях разные цели – и для оценки эффективности нужно использовать разные показатели (необязательно финансовые!)

Риски Создание и поддержка всеобъемлющей системы оценки эффективности требует затрат (порой, весьма существенных) Компания развивается. К моменту построения системы оценки эффективности она уже не отвечает насущным потребностям ПОЭТОМУ Пытайтесь найти оптимальное сочетание полноты системы оценки и усилий (и денег) на ее создание и поддержку

Если решаемся - вопросы: Оценивать или не оценивать? Зачем проводить оценку? Что (кого) оценивать? Когда оценивать? Как оценивать? Есть ли необходимые для оценки данные и насколько они точны? Какие ресурсы потребует оценка и имеет ли она все еще смысл?

ВАЖНО! Вопросы оценки эффективности являются взаимосвязанными Наиболее качественным окажется обучение, которое оценивается и дает хорошие результаты по большому спектру направлений оценки Учтем - оценка искажает реальные результаты

Два подхода Подсчитываем, насколько увеличились доходы компании за счет внедрения СДО. Определен средний объем продаж на одного сотрудника отдела до и после обучения. Результаты оказались плачевными скачок продаж был очень мал, проект выглядит явно нерентабельным. Оцениваем совокупное влияние СДО на компанию - результаты принципиально иные. Хотя скачок продаж и был небольшим на момент оценки, он имел тенденцию устойчивого роста. Снизилась текучка кадров. Сотрудники отмечают большую заинтересованность руководства. Снизились расходы на найм нового персонала.

Методики оценки Дональда Киркпатрика или Джека Филипса целевой подход Тайлера прикладная теория Поля Кирнса натуралистический подход Губа бенчмаркинг модель Скривенса модель Стафлебима CIPP схема CIRO модель V Брюса Аарона В России этот список ограничен первыми пятью пунктами.

Методики оценки Качественные подходы наиболее популярны в среде HR и T&D-специалистов и маркетологов, точные количественные – среди финансистов и IT- специалистов. Качественные показатели позволяют значительно упростить выявление воздействия на тот или иной объект исследования, однако всегда оперируют более вольными заключениями, касающимися корреляции и связей. Выявление количественных показателей сопряжено с большими издержками и трудностями, но это окупается точностью полученных данных и меньшими рисками неверной оценки связей. Обычно все методики представляют собой некий синтез качественных и количественных оценок.

Уровни оценки (Киркпатрик) Реакция слушателей Обратная связь Знания и опыт (компетенции) Тестирование Поведение на рабочем месте Экспертная оценка Влияние на бизнес компании Консультанты Экономическая эффективность Return of Investments (ROI)

Система сбалансированных показателей Методика ССП предлагает четыре направления оценки, отвечающие за все значимые вопросы в компании и находящиеся в сложных зависимостях между собой: ФинансыКлиентыБизнес-процессыРазвитие Они взаимосвязаны и необходимы для успешной работы любой компании. Однако для разных компаний эти направления имеют разную ценность (вес).

Система сбалансированных показателей Для каждого направления выбираются количественные индикаторы, с помощью которых предполагается определять эффективность работы по каждому направлению Гибкость набора индикаторов: выражается в систематической переоценке целей и набора индикаторов для оценки. При этом предпочтение отдается тем, которые являются наиболее релевантными для компании Фактически ССП одна из немногих (если не единственная) методик, которая не стареет морально и способна изменяться вместе с компанией.

Роль LMS в оценке эффективности Обратная связьТестированиеСистема оценкиПрофили компетенцийСводные отчёты

Взгляд на e-Learning Экономические показатели Временные показатели

Пример 1. Эффективная презентация 2. Продажи по телефону (холодные звонки) 3. Продуктовая линейка

Пример 1. Бюджета не хватает 2. Сотрудник уволился 3. Нет возможности командировок

Пример: розничная сеть 89 филиалов, 82 города, 900 продавцов Новая продуктовая линейка раз в месяц

Пример: промышленное предприятие сотрудников Инструктаж и аттестация по технике безопасности – около человек

Преимущества e-Learning Сроки обучения не зависят от количества обучаемых Низкая стоимость обучения на человека

Что нужно для e-Learning? Система управления обучением Готовые электронны е курсы Индивидуа льная разработка курсов Время сотруднико в компании

В комплексе Выбор формы обучения Выбор системы Выбор контента Выбор правильных срезов аналитики

Пример оценки электронных курсов Матрица эффективности – при структурированном подходе можно количественно оценить эффективность применения разных типов электронного контента

Составление бюджета проекта Внедрение LMS Закупка курсов Разработка курсов Время сотрудников IT-отдел HR-отдел Корпоративный университет Все сотрудники

Пример расчета Базовые показатели (очно/дистанционно) Технолог. Курс «Стеллажная система ЛОФТ» Часовая зарплата – 170 рублей Длительность курса – 16/8 часов Стоимость курса – 6000/360 рублей Важность навыков – 5 Бизнес-результаты (4-й уровень) За 10 часов рабочего времени после изучения курса выполняется работа, равная по объему выполняемой в среднем за 31 час до изучения курса Пример расчета

Затраты компании 170 р. (часовая зарплата) * 16 часов курса р. (стоимость курса) = 8 720р (1 720р) Экономия в неделю за счет увеличения эффективности работы (31 час – 10 час) * 170 р. зарплаты = р. Экономия за 3 месяца (13 недель) 13 * 3570 = р.

Пример расчета ROI (очно) = Добавленная стоимость / Инвестированные средства = (( – 8 720) / 8 720) * 100 % = 432,1 % Период возврата (очно) = (100% * Период оценки) / ROI = (100% * 65)/ROI = 6 500/432 = = 15 дней Это может быть распространено на сотрудников с важностью навыков, равной 5

Пример расчета ROI (дистанционно) = Добавленная стоимость / Инвестированные средства = (( – 1 720) / 1 720) * 100 % = 2598,3 % Период возврата (дистанционно) = (100% * Период оценки) / ROI = (100% * 65)/ROI = 6 500/2598 = = 2,5 дней Столь высокий ROI типичен для эффективных проектов e- learning в подходящих сферах (IBM)

Выводы Проблемы эффективности обучения должны рассматриваться в контексте общей эффективности деятельности компании и быть в сфере внимания топ-менеджеров

Практикум Эффективность обучения каких категорий сотрудников оцениваем? Какие бизнес-цели ставим перед обучением? По каким показателям оцениваем достижение бизнес-целей? Каким образом эти показатели могут быть учтены в системе? Каким образом организуем сбор показателей? Какие сопутствующие факторы должны учитывать?

Ваши вопросы, пожалуйста! +7 (495)