Разработка тестов знаний. Формирование критериев оценки Фокус-группа для определения областей знаний, которые подлежат проверке: 1)Специалисты направления. - презентация

1 Разработка тестов знаний

2 Формирование критериев оценки Фокус-группа для определения областей знаний, которые подлежат проверке: 1)Специалисты направления 2)Руководители направления 3)Представители HR Заключительная оценка списка критериев по двум параметрам: 1)Значимость 2)Оригинальность Пример – критерии (шкалы теста) для оценки знаний в области бухгалтерии:

3 Выбор технического решения 1)Бланковая технология 2)Компьютерная тестовая оболочка (локальное тестирование) 3)Телеверсия тестов 4)On-line версия тестов 5)Хостирование on-line системы тестирования на сайте организации

4 1. Создание банка заданий Критерии для отбора авторов заданий из числа сотрудников: 1)Отличная осведомленность в данной области знаний 2)Опыт работы – от 1 года 3)Аналитические и вербальные способности 4)Достаточное количество времени

5 1. Создание банка заданий Правила создания тестовых заданий для теста знаний: 1)Задания должны быть валидными 2)Дистракторы должны быть равновероятными 3)Количество ответов в задании должно быть от 4 до 6 Валидно ли задание: «Сколько орфографических ошибок в предложении: «Я помню чюдное мгновенье…», если учесть, что задание работает на шкалу «Вычисления»?

6 1. Создание банка заданий Авторы согласно инструкции создают избыточный банк тестовых заданий. Авторы согласно инструкции создают избыточный банк тестовых заданий. Пример формата задания, предоставляемого автором: Пример формата задания, предоставляемого автором:

7 1. Создание банка заданий

8 2. Экспертиза Проводится перекрестная экспертная оценка тестовых заданий. В ней могут принимать участие как авторы, как и вновь приглашенные эксперты. Проводится перекрестная экспертная оценка тестовых заданий. В ней могут принимать участие как авторы, как и вновь приглашенные эксперты. Признаки НЕкачественного задания: 1)Задание не относится к заявленной тематике теста 2)Задание содержит несколько ответов, которые могут считаться правильными 3)Задание не имеет ни одного правильного ответа 4)Задание имеет неточности в формулировке самого вопроса или вариантов ответа

9 2. Экспертиза Пример интерфейса редактора сервиса «Шкалирование»:

10 2. Экспертиза Пример интерфейса для экспертов (сервис «Шкалирование»):

11 3. Пилотажное исследование Разрабатывается первоначальная версия теста. Проводится пробное тестирование, в ходе которого HR-Лаборатория получают статистические данные об уровне трудности каждого задания. Разрабатывается первоначальная версия теста. Проводится пробное тестирование, в ходе которого HR-Лаборатория получают статистические данные об уровне трудности каждого задания. При проверке удаляются слишком трудные (менее 25% верно ответивших) и слишком легкие задания (более 90% верно ответивших), не имеющие диагностической ценности. При проверке удаляются слишком трудные (менее 25% верно ответивших) и слишком легкие задания (более 90% верно ответивших), не имеющие диагностической ценности. Пример распределения долей ответов и расчет уровня трудности заданий с пятью вариантами ответа: Пример распределения долей ответов и расчет уровня трудности заданий с пятью вариантами ответа:

12 3. Пилотажное исследование Коэффициент дискриминативности – коэффициент, отражающий различающую способность тестового задания: способность различать испытуемых по уровню знаний. Определяется как связь между выполнением испытуемыми данного тестового задания и общим баллом по всему тесту. Коэффициент дискриминативности – коэффициент, отражающий различающую способность тестового задания: способность различать испытуемых по уровню знаний. Определяется как связь между выполнением испытуемыми данного тестового задания и общим баллом по всему тесту. Коэффициент оптимальной трудности – коэффициент, отражающий процент испытуемых, давших правильных ответ на данное тестовое задание: чем меньше испытуемых справились с заданием, тем выше уровень его трудности. Слишком легкие и слишком трудные пункты автоматически оказываются малоинформативными. Коэффициент оптимальной трудности – коэффициент, отражающий процент испытуемых, давших правильных ответ на данное тестовое задание: чем меньше испытуемых справились с заданием, тем выше уровень его трудности. Слишком легкие и слишком трудные пункты автоматически оказываются малоинформативными.

13 3. Пилотажное исследование Примеры обработки диагностической способности вопросов в сервисе «Авторские тесты»: Примеры обработки диагностической способности вопросов в сервисе «Авторские тесты»:

14 4. Формирование тестовой методики После проверки пилотажного исследования формируется итоговая версия методики. В ней собраны тестовые задания, обладающие высокой диагностической способностью по результатам пилотажного исследования. После проверки пилотажного исследования формируется итоговая версия методики. В ней собраны тестовые задания, обладающие высокой диагностической способностью по результатам пилотажного исследования. Пример результатов по тесту знаний в сфере подбора персонала в системе Maintest Пример результатов по тесту знаний в сфере подбора персонала в системе Maintest

15 HR-Лаборатория предлагает различные варианты технического обеспечения тестирования для любого масштаба проведения оценки или аттестации сотрудников. Использование теста в работе Варианты установки программы тестирования: 1. Локальная версия на один компьютер. 2. Сетевая версия с указанием рабочих мест. 3. On-line версия без указания рабочих мест с возможностью межрегионального и международного доступа к тестированию.

16 Спасибо за внимание!