Использование результатов оценки в образовании АККУРАТНЫЕ ДАННЫЕ АККУРАТНАЯ ИНТЕРПРЕТАЦИЯ Красноярск - 2013. - презентация

1 Использование результатов оценки в образовании АККУРАТНЫЕ ДАННЫЕ АККУРАТНАЯ ИНТЕРПРЕТАЦИЯ Красноярск

2 Магистерская программа «Измерения в психологии и образовании»

3 Вы не можете улучшить то, что не можете измерить индустрия образование медицина вооруженные силы

4 Образование. Когда нам необходимы данные? Решить вопрос о практиках обучения Оценить эффект усовершенствования Накопить свои знания для уверенности в нововведении

5 Разочарование в данных Данные оказываются Двусмысленными Невоспроизводимыми Очевидными и Скучными для специалистов в данной области Неутешительными и Болезненными для исследователя

6 Как не нужно относится к данным Данные – это не панацея, а единственный путь получения знания Не следует ожидать однозначных результатов (предпочтительны исследования соотношений и взаимодействий) Не следует бояться исследований с усовершенствованными статистическими методами

7 Проблема валидного исследования Обычные вопросы: Кто виноват? И Что делать?

8 Вывод о причине и следствии ВАЛИДНЫЙ ВЫВОД AB A предшествует по времени В Между А и В есть статистическая связь Нет другого альтернативного объяснения

9 Угрозы для вывода о причине и следствии Фон Естественное развитие Эффект тестирования Инструментальная погрешность Статистическая регрессия Отбор испытуемых Отсев

10 Фон Помимо экспериментального воздействия может происходить множество других событий, вызывающих изменения Чем больше период времени между событием А и В, тем больше вероятность, что фон будет объяснять изменения

11 11 TIMSS. Математика

12 Естественное развитие Все биологические и психологические процессы, которые независимо от воздействия изменяются с течением времени Ученики становятся старше, устают…

13 Ученики «старших» классов имеют выше результаты в PISA, чем их сверстники из «младших» классов

14 Эффект тестирования Влияние самого факта обследования Увеличение показателей достижений от одного тестирования к другому является важным аспектом любого измерения. При тестировании интеллекта или уровня знаний испытуемые обычно показывают лучшие результаты, по сравнению с теми, кто обследуется впервые. Для нетренированных испытуемых улучшение происходит на 3-5 ед.IQ безо всякого дополнительного обучения!

15 Инструментальная погрешность Автономные изменения в измерительных инструментах Эксперт, интервьюер или наблюдатель меняются сами в ходе измерения?

16 Статистическая регрессия Если для класса «коррекции» отбираются дети, получившие наихудшие результаты в тестах достижений, то при последующем их тестировании результаты наверняка будут выше.

17

18 Когда ожидать регрессии к среднему? Если группа сформирована по независимым основаниям и ее средний показатель окажется экстремальным, то в этом случае меньше оснований ожидать, что среднее этой группы будет регрессировать при повторном измерении.

19 Когда ожидать регрессии к среднему? Если группа подобрана на основании крайних значений по ключевой переменной, то ее экстремальность является артефактом и она будет регрессировать в сторону среднего той популяции, из которой была отобрана.

20 Как интерпретировать? ПретестВоздействиеЗаключит. тест ЭГ90Программа по чтению 97 КГ9097 ПретестВоздействиеЗаключит. тест ЭГ90Программа по чтению 97

21 Как интерпретировать? ПретестВоздействиеЗаключит. тест ЭГ +97Новая программа по чтению 90 ЭГ -61Новая программа по чтению 70

22 Отбор испытуемых Сравниваются школы, где от преподавателя требуется особая квалификация, со школами, где нет такого требования Сравниваются учащиеся, которых обучали с помощью традиционных и дискуссионных уроков, с теми, которых обучали только традиционным способом. Сравнение тех, кто посещал дополнительные занятия с теми, кто не посещал Если при этом контрольная группа не проверялась на предмет изначальной эквивалентности с экспериментальной, то исходные условия могли повлиять на итоговые результаты.

23 Выбывание Потери в изначальной группе и случаи с частичными данными – отдельная проблема. ЭГпретествоздействиепосттест КГпретестПосттест

24 D. T. Campbell Reforms as experiments

25 Результаты оценки и политическая уязвимость Программы защищаются так, как будто бы они обязаны быть успешными Дефицит бюджета на оценку программ Дефицит истинно сопоставимой сравнительной базы и конкретных доказательств Факты по оценке экспериментальной программы, могут использоваться для оспаривания эффективности администрации Даже когда есть обязательства проводить оценку программы, эти угрозы ведут к провалу реалистической оценки

26 Когда политическая или административная система уверена в правильности и эффективности программ, она никогда не потерпит «обучения на ошибках». Однако если мы надеемся жить в лучшем обществе и иметь лучшее образование, нам нужно сделать попытку использовать экспериментальный подход.

27 Защита специфической реформы защита серьезности проблемы защита альтернативных попыток реформирования

28 Несколько дизайнов, которые доступны при оценке широких программ и делают оценку «сильнее» Дизайн прерванных временных серий Дизайн разрывности регрессии Дизайн с контрольными сериями и некоторые другие.

29 Дизайн с прерванной временной последовательностью и неэквивалентной группой.

30

31

32 Несколько советов... для экспериментирующих администраторов: Работайте над хроническими проблемами. Это предпочтительнее реагирования на экстремальные события. для тех администраторов, кто скован политическими требованиями показать хорошие результаты нововведений,: Возьмите за точку отчета худший год и худший аспект проблемы. Поскольку ухудшаться уже некуда, результаты будут улучшаться. По-крайей мере, в типичных случаях...

33 СПАСИБО ЗА ВНИМАНИЕ!