Использование результатов оценки в образовании АККУРАТНЫЕ ДАННЫЕ АККУРАТНАЯ ИНТЕРПРЕТАЦИЯ Красноярск

Магистерская программа «Измерения в психологии и образовании»

Вы не можете улучшить то, что не можете измерить индустрия образование медицина вооруженные силы

Образование. Когда нам необходимы данные? Решить вопрос о практиках обучения Оценить эффект усовершенствования Накопить свои знания для уверенности в нововведении

Разочарование в данных Данные оказываются Двусмысленными Невоспроизводимыми Очевидными и Скучными для специалистов в данной области Неутешительными и Болезненными для исследователя

Как не нужно относится к данным Данные – это не панацея, а единственный путь получения знания Не следует ожидать однозначных результатов (предпочтительны исследования соотношений и взаимодействий) Не следует бояться исследований с усовершенствованными статистическими методами

Проблема валидного исследования Обычные вопросы: Кто виноват? И Что делать?

Вывод о причине и следствии ВАЛИДНЫЙ ВЫВОД AB A предшествует по времени В Между А и В есть статистическая связь Нет другого альтернативного объяснения

Угрозы для вывода о причине и следствии Фон Естественное развитие Эффект тестирования Инструментальная погрешность Статистическая регрессия Отбор испытуемых Отсев

Фон Помимо экспериментального воздействия может происходить множество других событий, вызывающих изменения Чем больше период времени между событием А и В, тем больше вероятность, что фон будет объяснять изменения

11 TIMSS. Математика

Естественное развитие Все биологические и психологические процессы, которые независимо от воздействия изменяются с течением времени Ученики становятся старше, устают…

Ученики «старших» классов имеют выше результаты в PISA, чем их сверстники из «младших» классов

Эффект тестирования Влияние самого факта обследования Увеличение показателей достижений от одного тестирования к другому является важным аспектом любого измерения. При тестировании интеллекта или уровня знаний испытуемые обычно показывают лучшие результаты, по сравнению с теми, кто обследуется впервые. Для нетренированных испытуемых улучшение происходит на 3-5 ед.IQ безо всякого дополнительного обучения!

Инструментальная погрешность Автономные изменения в измерительных инструментах Эксперт, интервьюер или наблюдатель меняются сами в ходе измерения?

Статистическая регрессия Если для класса «коррекции» отбираются дети, получившие наихудшие результаты в тестах достижений, то при последующем их тестировании результаты наверняка будут выше.

Когда ожидать регрессии к среднему? Если группа сформирована по независимым основаниям и ее средний показатель окажется экстремальным, то в этом случае меньше оснований ожидать, что среднее этой группы будет регрессировать при повторном измерении.

Когда ожидать регрессии к среднему? Если группа подобрана на основании крайних значений по ключевой переменной, то ее экстремальность является артефактом и она будет регрессировать в сторону среднего той популяции, из которой была отобрана.

Как интерпретировать? ПретестВоздействиеЗаключит. тест ЭГ90Программа по чтению 97 КГ9097 ПретестВоздействиеЗаключит. тест ЭГ90Программа по чтению 97

Как интерпретировать? ПретестВоздействиеЗаключит. тест ЭГ +97Новая программа по чтению 90 ЭГ -61Новая программа по чтению 70

Отбор испытуемых Сравниваются школы, где от преподавателя требуется особая квалификация, со школами, где нет такого требования Сравниваются учащиеся, которых обучали с помощью традиционных и дискуссионных уроков, с теми, которых обучали только традиционным способом. Сравнение тех, кто посещал дополнительные занятия с теми, кто не посещал Если при этом контрольная группа не проверялась на предмет изначальной эквивалентности с экспериментальной, то исходные условия могли повлиять на итоговые результаты.

Выбывание Потери в изначальной группе и случаи с частичными данными – отдельная проблема. ЭГпретествоздействиепосттест КГпретестПосттест

D. T. Campbell Reforms as experiments

Результаты оценки и политическая уязвимость Программы защищаются так, как будто бы они обязаны быть успешными Дефицит бюджета на оценку программ Дефицит истинно сопоставимой сравнительной базы и конкретных доказательств Факты по оценке экспериментальной программы, могут использоваться для оспаривания эффективности администрации Даже когда есть обязательства проводить оценку программы, эти угрозы ведут к провалу реалистической оценки

Когда политическая или административная система уверена в правильности и эффективности программ, она никогда не потерпит «обучения на ошибках». Однако если мы надеемся жить в лучшем обществе и иметь лучшее образование, нам нужно сделать попытку использовать экспериментальный подход.

Защита специфической реформы защита серьезности проблемы защита альтернативных попыток реформирования

Несколько дизайнов, которые доступны при оценке широких программ и делают оценку «сильнее» Дизайн прерванных временных серий Дизайн разрывности регрессии Дизайн с контрольными сериями и некоторые другие.

Дизайн с прерванной временной последовательностью и неэквивалентной группой.

Несколько советов... для экспериментирующих администраторов: Работайте над хроническими проблемами. Это предпочтительнее реагирования на экстремальные события. для тех администраторов, кто скован политическими требованиями показать хорошие результаты нововведений,: Возьмите за точку отчета худший год и худший аспект проблемы. Поскольку ухудшаться уже некуда, результаты будут улучшаться. По-крайей мере, в типичных случаях...

СПАСИБО ЗА ВНИМАНИЕ!