VIII Саммит психологов (Спб-2014) Интерактивная лекция «Практическая тестология - это прикладная психология или нет?» Шмелев Александр Георгиевич, профессор. - презентация

1 VIII Саммит психологов (Спб-2014) Интерактивная лекция «Практическая тестология - это прикладная психология или нет?» Шмелев Александр Георгиевич, профессор МГУ, научный руководитель Лаборатории «Гуманитарные технологии»,

2 План лекции Участники корпоративной системы тестирования. «Практическая тестология» (ПТ) и «дифференциальная психометрика» О книге «Практическая тестология» Сайт книги и как ее приобрести forum.ht-line.ru – интерактивное упражнение Роли разных специалистов в ПТ Интеграция тестовых баллов и экспертных оценок Модуль «Интегратор» в системе HT-LINE Метод целочисленного взвешивания

3 Парадигма «один на один» уходит Парадигма традиционной психологии «один психолог- исследователь – один обследуемый клиент» в эпоху ИКТ-революции и глобализации в крупных корпорациях исчезает: кандидаты оспаривают вакансии, выполняя с самого начала дистанционные онлайн-тесты, в создании и проведении которых участвуют многие (десятки человек)»

4 Testology-book.ru 1) Для психометристов – психологов с математической подготовкой 2) Для менеджеров- оргпсихолологов 3) Для авторов тестовых заданий (предметников) 4) Для ИТ-специалистов 5) Для руководителей подразделений качества в ВУЗах

5 Практическая тестология и дифференциальная психометрика Предмет практической тестологии шире – это не только измерение психических свойств, но профессиональных и образовательных компетенций (ЗУНов). Поле практической тестологии – это поле деятельности не в лабораторных условиях, а в реальной оргсреде образовательного учреждения в целом и-или производственной (коммерческой) организации.

6 Требования к тестологу Современный практический тестолог – это не просто прикладной математик, получивший дополнительную подготовку в области психологии, и не просто прикладной психолог, получивший дополнительную математическую подготовку, - это универсальный ИТ-МЕНЕДЖЕР, способный скоординировать работу междисциплинарного коллектива исполнителей – работу по внедрению Автоматизированной Системы Тестирования (АСТ) в организации.

7 Оглавление книги 1. Определения и классификация тестов 2. Конструкция и конструирование тестов 3. Разработка тестовых заданий и образцы 4. Математическая тестология (с. 262 – 350) 5.Организационно-технологическое обеспечение тестовых систем 6.Валидность, рентабельность и достоверность 7. Внедрение тестов в систему вузовских экзаменов 8.Социально-психологические проблемы внедрения тестов.

8 Где и как приобрести книгу? На сайте в правой колонке есть раздел «Подписка на книгу Шмелева». Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли.

9 Интерактивная работа экспертов в И-сообществе Вход на форум экспертов со страницы forum.ht.ru (возможна саморегистрация, а о регистрации «через Фейсбук» доступна инструкция на первой странице).forum.ht.ru Раздел «Объединение психологов –> Разработка стандартов». Тема: «Проконтролируйте себя на согласованность с экспертами». Опрос-голосование: «Назовите признаки, входящие в определение понятия «измерительный тест».

10 Роли в тестологической команде ВУЗа Главный менеджер проекта (Генконструктор АСТ) Менеджер- предметник (Зампред УМК) Автор-эксперт 1 Инспектор(ы) учебной части Супервизоры в к-классах ИТ-менеджер Оператор- программист

11 Модель интеграции тестовых баллов и экспертных оценок Эксперт. оценки Тестовые баллы Эксперт. оценки в стенах 2 неуд 1 – 32 3 удов 4 – хор 6 – отл Главная проблема – это не формула подсчета, а непонимание психологами способа приведения разнотипных шкал к одной шкале.

12 Расчетный пример ФИО респондента А Балл по тесту В Э-оценка С Перевод A в шкалу грейдов D Перевод В в шкалу стенов Иванов Петров Усреднение в грейдах Усреднение в стенах ИвановMean(5, 4)= 4.5Mean(8, 6.5)= 7.25 ПетровMean(5, 5)= 5Mean(10, 9)= 9.5

13 Модуль «Интегратор» в системе HT-LINE

14 Вкладка-режим «Участники» в модуле « Интегратор» HT-LINE

15 Возможность дополнительных групповых приглашений (тем, кто не начал какой-то тест)

16 Рассылка приглашений

17 Индивидуальная страница участника

18 Завершение пакета тестов

19 Вкладка «Результаты» и меню пакета

20 Экспорт результатов в Excel

21 Формула целочисленного взвешивания где X i – тестовый балл i-го испытуемого,Q j – это целочисленная трудность j-го задания, Q max – максимально возможная трудность (самый высокий уровень), m – общее число заданий в тесте, R ij – ответ i-го испытуемого на j-е задание, принимающий всего 2 возможных значения: R=1, что означает «правильно», и R= - 1, что означает «ошибка».

22 Практический эффект МЦВ Результат МЦВ-подсчета – балл испытуемого отображается на упрощенной шкале логитов, то есть на той же самой, где отображается и трудность тестовых заданий. X=1 – означает, что испытуемый может справляться 50:50 с легкими заданиями Q=1 X=2 – означает, что испытуемый может справляться 50:50 с о средними заданиями Q=2 и 66*33 с легкими Q=1 X= 3 – означает, что испытуемый может справляться со средними 66*33 и 50:50 с трудными Q=3

23 Таблицы вероятностей на целочисленной модели Раша Xi Qj-> ,500,330,200,110,06 0,670,500,330,200,11 00,800,670,500,330,20 10,890,800,670,500,33 20,940,890,800,670,50 По строкам – сила испытуемого X, по столбцам – трудность задания Q

24 Где и как приобрести книгу? На сайте в правой колонке есть раздел «Подписка на книгу Шмелева». Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли.

25 Как быстрей познакомиться со «Стандартами тестирования персонала» 1) Надо зарегистрироваться на форуме forum.ht-line.ru 2) Проект документа будет опубликован в разделе Вики. 3) Каждый, кто считает себя компетентным, сможет что-то подправить или добавить в документ.

26 Спасибо за внимание. Готов ответить на вопросы.