Разработка квалификационных тестов (на базе Интернет-системы HT-LINE) Ольга Иванова, Александр Чумаков ЗАО Лаборатория «Гуманитарные технологии» (научный. - презентация

1 Разработка квалификационных тестов (на базе Интернет-системы HT-LINE) Ольга Иванова, Александр Чумаков ЗАО Лаборатория «Гуманитарные технологии» (научный руководитель – А.Г.Шмелев)

2 Основное определение ПРОФЕССИОНАЛЬНЫЕ (КВАЛИФИКАЦИОННЫЕ) ТЕСТЫ – это специализированные тесты, предназначенные для проведения на определенной группе профессионалов или кандидатов в профессионалы, в ходе которых измеряется уровень сформированности знаний, умений и навыков, необходимых для данной профессии. Иногда к профессиональным тестам относят компетентностные тесты, но только в том случае, когда эти тесты базируются на объективных критериях решения тестовых заданий (кейсов).

3 Подготовка к созданию теста Прежде чем создавать тест, менеджер проекта должен решить следующие вопросы: Прежде чем создавать тест, менеджер проекта должен решить следующие вопросы: 1. Определение задачи (для чего создается тест); 2. Уточнение организационного контекста (разделение ролей): - респонденты - заказчик - исполнитель - группа исполнителей; 3. Определение бизнес-процессов (этапы от создания теста до проведения тестирования и анализа результатов).

4 Основные бизнес-процессы 1. Создание спецификации теста (общие представления о конструкции, модели будущего теста) 2. Создание банка заданий (кто и как создает, где хранит) 3. Создание вариантов (кто, когда, каким образом) 4. Проведение теста (кто, когда, где) 5. Обработка результатов (кто, каким образом) 6. Анализ результатов и выводы (кто анализирует и принимает организационные решения по результатам)

5 Формирование критериев оценки (шкал теста) 1. Фокус-группа, состоящая из: 1. Фокус-группа, состоящая из: - компетентных специалистов направления, для которого создается тест; - руководителей направления, для которого создается тест; - представителей HR-департамента организации; - внешних консультантов (если они привлекаются); 2. Экспертное шкалирование списка предложенных критериев (шкал или субшкал) по двум основаниям: - значимость; - оригинальность.

6 Автоматизация экспертных оценок в Интернет-системе HT-LINE Эксперты в автоматизированном режиме оценивают значимость и оригинальность предложенных критериев (шкал) будущего теста

7 Автоматизация экспертных оценок По результатам шкалирования автоматически рассчитывается согласованность экспертов (так что оценки несогласованных можно быстро отбросить)рассчитывается согласованность экспертов (так что оценки несогласованных можно быстро отбросить) строится рейтинг «самых значимых» и «самых оригинальных» факторов будущего тестастроится рейтинг «самых значимых» и «самых оригинальных» факторов будущего теста !!! Появляется возможность обоснованно отобрать будущие шкалы теста, набравшие наибольшие баллы по значимости и оригинальности.

8 Выбор методического решения (коротко) Виды тестов: 1.Выбор одной из альтернатив (тесты с вынужденным выбором одного или нескольких предложенных вариантов); 2.Тесты, включающие краткие свободные ответы; 3.Тесты, предполагающие свободный развернутый письменный ответ; 4.Тесты кейсового типа (с развернутым описанием проблемной ситуации) со стандартным набором ответов; 5.Тесты кейсового типа со свободным развернутым письменным ответом.

9 Выбор технического решения (коротко) Варианты проведения тестирования: 1.Бланковое тестирование; 2.Компьютерное off-line тестирование; 3.Телеверсия тестов (оффлайн-тестирование и онлайн- обработка результатов); 4.On-line-версия тестов (онлайн-тестирование и оффлайн- обработка); 5.Хостирование (размещение) on-line-системы тестирования на сайте (онлайн-тестирование и онлайн-обработка); 6.Адаптация тестов к существующей в организации компьютерной системе.

10 Создание банка заданий 1. Выбор группы авторов (особые требования к авторам тестовых заданий): - отличная осведомленность в оцениваемой области - опыт работы в данной области (от 1 года) - аналитические и вербальные способности - наличие достаточного рабочего времени - отсутствие прямых контактов и-или заинтересованности в информировании контингента тестируемых о тестах 2. Составление рабочей инструкции для авторов: - цель и задачи создания теста; - условия работы авторов; - правила создания тестовых пунктов; - благодарность за участие в работе.

11 Создание банка заданий Правила создания тестовых заданий: 1. Задания должны быть валидными. 2. Дистракторы должны быть равновероятными. 3. Количество ответов в задании должно быть от 4 до 6.

12 Создание банка заданий (коротко) Типология заданий: 1. Фактологический вопрос по модели «Что-где-когда?» 2. Персонологический вопрос по модели «Кто?» 3. Причинно-следственный вопрос «Почему? Что следует?» 4. Функционально-целевой вопрос по модели «Для чего-зачем? С какой целью?» 5. Структурный вопрос по модели «Из чего?» 6. Инструментальный вопрос по модели «Как? Каким образом?» 7. Обстоятельственный вопрос по модели «При каких условиях?» 8. Словарно-концептуальный вопрос по модели «Определите понятие» («Как называется? Что значит термин?»)

13 Создание банка заданий (коротко) Типология заданий: (продолжение) 9. Логико-дедуктивный вопрос по модели «Что следует из данных посылок?» 10. Концептуально-ассоциативный вопрос по модели «Заполните пропуск» 11. Концептуально-аналитический вопрос по модели «Проведи аналогию» 12. Задание на восстановление последовательности или структуры по типу «Продолжите ряд» («В какой последовательности?») 13. Концептуально-семантическое задание для установления смысловой эквивалентности или близости 14. Проблемно-операциональное задание «Решите задачу» 15. Исключение лишнего и вопросы с «НЕ».

14 Примеры разных типов заданий Инструментальный вопрос («Как?»)

15 Примеры разных типов заданий Обстоятельственный вопрос («При каких условиях?»)

16 Примеры разных типов заданий Фактологический вопрос («Что? Где? Когда?»)

17 Примеры разных типов заданий Функционально-целевой вопрос («Для чего? С какой целью?»)

18 Создание банка заданий Авторы создают избыточный банк тестовых заданий. В простом текстовом формате задания вносятся в Личный Кабинет HT-LINE – автоматизированную систему для создания и использования тестов.

19 Экспертиза заданий Проводится автоматизированная экспертная оценка тестовых заданий с помощью сервиса "Шкалирование" (сбор экспертных оценок в системе HT-LINE). Оценка по качеству выставляется экспертами в зависимости от отсутствия ошибок в задании, адекватности вариантов ответов, соответствия тематике и т.д., здесь же эксперты вносят правки. Пример интерфейса для экспертов:

20 Экспертиза заданий Типичные ошибки, снижающие качество тестовых заданий: Задание не относится к заявленной тематике -Задание содержит несколько ответов, которые могут считаться правильными (или правильными при некоторых условиях) -Задание не имеет ни одного правильного ответа -Задание имеет неточности в формулировке вопроса или вариантов ответов -Правильный ответ является самоочевидным (на уровне здравого смысла или методом исключения абсурдных ответов) -Шуточные варианты ответов и т.д. -Правильный ответ предстает как самый аргументированный и длинный по формулировке почти в каждом задании

21 Экспертиза: как НЕ надо Экспертиза: как НЕ надо Несколько вариантов претендуют на правильность Несколько вариантов претендуют на правильность

22 Экспертиза: как НЕ надо Экспертиза: как НЕ надо Шуточные варианты ответов Шуточные варианты ответов

23 Экспертиза: как НЕ надо Экспертиза: как НЕ надо Дистракторы не работают, вопрос решается на уровне здравого смысла вопрос решается на уровне здравого смысла

24 Экспертиза: как НЕ надо Экспертиза: как НЕ надо Слишком легкий вопрос Слишком легкий вопрос Как можно его изменить, чтобы использовать?

25 Пилотажное исследование Разрабатывается первоначальная версия теста. После проведения пробного тестирования получаем статистические данные о каждом задании: 1) уровень трудности 2) коэффициент дискриминативности (способность задания отличать «знающих» респондентов от «незнающих») Слишком трудные, слишком легкие задания, а также задания Слишком трудные, слишком легкие задания, а также задания с низким или отрицательным коэффициентом дискриминативности либо удаляются из банка заданий, либо переформулируются – в зависимости от выявленных психометрических показателей задания. ВНИМАНИЕ: Пилотажное исследование не всегда удается организовать из-за риска разглашения теста на тестируемом контингенте!

26 Пилотажное исследование : результаты

27 Формирование тестовой методики После проведения пилотажного исследования и психометрического анализа тестовых пунктов формируется итоговая версия методики. В ней собраны лучшие тестовые задания, обладающие высокой диагностической способностью и показавшие значимые значения корреляции со шкалами теста.

28 Формирование тестовой методики После проверки пилотажного исследования формируется итоговая версия методики. В ней собраны тестовые задания, обладающие высокой диагностической способностью и показавшие значимые значения корреляции со шкалами теста. После проверки пилотажного исследования формируется итоговая версия методики. В ней собраны тестовые задания, обладающие высокой диагностической способностью и показавшие значимые значения корреляции со шкалами теста. Пример интерфейса для респондентов: Пример интерфейса для респондентов: Пример интерфейса для респондента

29 Новая услуга Лаборатории «Гуманитарные технологии» ДОНАРМ (Дистанционное Обучение НА Рабочем Месте)

30 ДОНАРМ (Дистанционное Обучение НА Рабочем Месте) Цель и ситуация: если Вы хотите в кратчайшие сроки обучить сотрудников, не отрывая их от работы;если Вы хотите в кратчайшие сроки обучить сотрудников, не отрывая их от работы; получить возможность проконтролировать знания персонала в важной профессиональной области;получить возможность проконтролировать знания персонала в важной профессиональной области; но не имеете в своем штате свободных специалистов, готовых посвящать своё время разработке курсов дистанционного обучения;но не имеете в своем штате свободных специалистов, готовых посвящать своё время разработке курсов дистанционного обучения; а также не готовы приобретать дорогостоящую многофункциональную систему дистанционного обучения…а также не готовы приобретать дорогостоящую многофункциональную систему дистанционного обучения… … обратите внимание на услугу «ДОНАРМ» Результат: Вы получаете обученных сотрудников прямо на рабочем месте!!!

31 ДОНАРМ (Дистанционное Обучение НА Рабочем Месте) Как это работает? Мы берем на себя весь комплекс работ по созданию и проведению дистанционного компьютеризированного обучения Ваших сотрудников. 1.По вашим рабочим документам наши специалисты готовят курс дистанционного обучения. 2.Эксперты из числа Ваших сотрудников оценивают качество созданных заданий, отбирают лучшие. 3.Ваши сотрудники проходят курс обучения прямо на рабочих местах (изучают теоретический материал, проходят тесты знаний по этому материалу). 4.Вы (руководитель) можете оперативно отслеживать учебную ведомость (кто уже прошел обучение и насколько успешно) и принимать организационные решения.

32 ДОНАРМ (Дистанционное Обучение НА Рабочем Месте) Куда обращаться? Демо-версию обучающей системы «Личный кабинет HT-LINE» можно увидеть на сайте Заявки надо посылать по адресу э-почты Или звонить по телефону: 7(495)

33 Спасибо за внимание! Контактная информация: Ольга Иванова – Александр Чумаков –