Оценка качества дошкольных образовательных программ в США Бодрова Е.В.

Cуществующие практики Оценка по структурным показателям Оценка по результатам Оценка по качеству взаимодействия взрослых с детьми

Implementation Science = Системное исследование условий успешности программ (не только образовательных)

Fixsen, D. L., Naoom, S. F., Blase, K. A., Friedman, R. M. & Wallace, F. (2005). Implementation Research: A Synthesis of the Literature. Tampa, FL: University of South Florida, Louis de la Parte Florida Mental Health Institute, The National Implementation Research Network (FMHI Publication #231). Implementation Research: A Synthesis of the Literature © Dean Fixsen, Karen Blase, Robert Horner, George Sugai, 2008

Оценка по структурным показателям Quality Rating and Improvement Systems (QRIS)

Квалификация педагогов Отношение числа детей и взрослых; число детей в группе Связь с семьей Качество предметной среды

Оценка содержания образования Эффективность программ

Условия успеха Эффективное ПРИМЕНЕНИЕ ПРОГРАММА НЕ эффективное Эффективная НЕ эффективная УСПЕХ

Эффективные программы Что считать критерием эффективности? Стадии проверки эффективности Эффективность в различных условиях

Что считать критерием эффективности? Показатели на уровне ребенка – какие? – как мерять? – когда мерять? – в чем специфика дошкольников?

Что считать критерием эффективности? Показатели на уровне школы или детского сада – какие? – у кого мерять? – как мерять? – когда мерять?

Подход к отбору эффективных программ Программы отбираются на основе «научно обоснованных» и «научно-доказательных» содержания и методов – Следствия для практики teacher-proof уроки широкомасштабного образовательного эксперимента Reading First планируемые и не планируемые последствия

Подход к отбору эффективных программ Программы отбираются на основе их соответствия представлениям педагогов о – целях и задачах образования – специфике местных условий Программы выбираются на основе критериев, внешних по отношению к программе Программы выбираются по нескольким основаниям

Качество выполнения программы На уровне отдельного воспитателя или педагогического коллектива – понятие точности выполнения (fidelity of implementation) – проблема измерения следовать букве или следовать духу? какие изменения допустимы?

Качество выполнения программы На уровне образовательной системы – организация подготовки и переподготовки – организация мониторинга и аттестации – организация сбора и обработки данных – обратная связь

© Fixsen & Blase, 2008 Successful Student/Family Outcomes Core Implementation Components Competency Drivers Organization Drivers Leadership Program/Initiative (set of practices) How: What: Why: Capacity to provide direction/vision of process Staff capacity to support students/families with the selected practices Institutional capacity to support staff in implementing practices with fidelity

© Fixsen & Blase, 2008 Performance Assessment (Fidelity) Coaching Training Selection Systems Intervention Facilitative Administration Decision Support Data System Integrated & Compensatory Competency Drivers Organization Drivers Leadership AdaptiveTechnical Successful Student/Family Outcomes Program/Initiative (set of practices)

Что нам уже известно На учащихся не могут оказывать влияние программы, которые не выполняются Подготовка учителей сама по себе недостаточна Изменения в образовательной политике сами по себе недостаточны Финансовые стимулы сами по себе недостаточны © Dean Fixsen, Karen Blase, Robert Horner, George Sugai, 2008

Два компонента необходимы для успеха Программа –Набор апробированных практик –Отбор на основе потребности, соответствия, наличия ресурсов, готовности к применению Инфраструктура поддержки –Обеспечивает точность применения программы (кто применяет, когда применяет, на каком уровне)

Оценка программ по показателям развития детей Практики и проблемы

Цели исследований образовательных программ Определить эффективность программы для достижения определенного результата для широкой популяции для специфической подгруппы – по сравнению со старыми программами (или отсутствием программ) – по сравнению с аналогичной (тоже новой) программой

Дизайн исследований образовательных программ Экспериментальный дизайн = золотой стандарт – рандомизированный по детям – рандомизированный по воспитателям идеален для устранения случайных факторов но практически неосуществим в силу сложностей, связанных с рандомизации детей

Экспериментальный дизайн: Иерархическая модель

Что нужно учитывать при интерпретации результатов исследований Если в исследовании использовалась иерархическая модель – эффект программы может быть статистически незначимым (или на пределе значимости) – это не всегда значит, что исследуемая программа неэффективна

Допущения часто принимаемые в процессе исследования Содержание программы – самый важный фактор, определяющий ее эффективность – хорошая программа не зависит от воспитателя ее выполняющего Основной показатель эффективности программы – результаты на уровне отдельного ребенка

Допущения – неявные --часто принимаемые в процессе исследования От отношения воспитателя к применяемой программе мало что зависит – попытки учитывать повышенную мотивацию воспитателей в «экспериментальной» группе – эффект Хоторна – в целях повышения внутренней валидности – в то же время не учитывается, что мотивация в экспериментальных условиях не всегда соответствует мотивации в реальных условиях – угроза экологической валидности

Пример сравнительного исследования эффективности популярных образовательных программ (PCER)

Оценка программ по критерию качества взаимодействий между взрослыми и детьми The Classroom Assessment Scoring System (CLASS)

Теоретическая модель

Параметры педагогической поддержки (CLASS) Эмоциональная Организационная Образовательная

Tools of the Mind