Использование контекстных данных в системе управления качеством образования: теоретические основания, опыт разработки и апробация инструментария Г.А. Ястребов, - презентация

1 Использование контекстных данных в системе управления качеством образования: теоретические основания, опыт разработки и апробация инструментария Г.А. Ястребов, С.Г. Косарецкий, М.А. Пинская Центр социально экономического развития школы Институт образования НИУ ВШЭ проект при поддержке ПФИ НИУ ВШЭ

2 «Контекст» образовательной политики Развитие системы оценки качества (в т.ч. мониторингов и рейтингов) ФЗ «Об образовании» 293 ст. 97 Постановление Правительства Российской Федерации от 5 августа 2013 г. N 662 г. Москва "Об осуществлении мониторинга системы образования» Правила формирования независимой системы оценки качества работы организаций, оказывающих социальные услуги (утверждены постановлением Правительства Российской Федерации от 30 марта 2013 г. N 286) Методические рекомендации Министерства образования и науки России «Об утверждении методических рекомендаций по проведению независимой системы оценки качества работы государственных (муниципальных) учреждений, оказывающих социальные услуги в сфере образования» (Утв. Зам. Министра МОН, ) Проект Федерального закона «О внесении изменений в отдельные законодательные акты Российской Федерации» (по вопросам проведения независимой оценки качества работы организаций, оказывающих социальные услуги) «Новая концепция» ОСОКО 2

3 «Контекст» образовательной политики Политика оценки и повышения «эффективности» План мероприятий («Дорожная карта") "Изменения в отраслях социальной сферы, направленные на повышение эффективности образования и науки" (Распоряжение Правительства РФ, от 30 декабря 2012 г р) - внедрение показателей эффективности деятельности образовательных организаций Указ Президента Российской Федерации от 7 мая 2012 года 597 «О мероприятиях по реализации государственной социальной политики» (подпункт«к» пункта 1) - «формирование независимой системы оценки качества работы организаций, оказывающих социальные услуги, включая определение критериев эффективности работы таких организаций и введение публичных рейтингов их деятельности» 3

4 «Контекст» образовательной политики Практика оценки и учета результатов оценки в управлении: Не учитываются различия школ в ресурсах и контингенте Внимание к «top», недифференцированный взгляд на «down» Не оцениваются «вклад», «усилия» школы Конструкт «эффективность» используется не обоснованно 4

5 Обсуждаемая проблема Отсутствие традиций учета контекстной информации в системе управления качеством образования и при оценке эффективности образовательных учреждений Существующие попытки/исследования 1) не носят систематического характера, 2) охватывают лишь отдельные регионы, 3) в методологическом плане сильно отличаются друг от друга Контекстная информация не была отражена в исходном проекте «Мониторинга системы образования» 5

6 «Контекст» в контексте образования Контекст в самом широком смысле – среда или (система обстоятельств), в которой тот или иной рассматриваемый процесс или феномен приобретает особое содержание Контекст в образовании – обстоятельства, в которых протекает образовательный процесс, внешние по отношению к этому процессу, но оказывающие на него существенное влияние Теоретический фундамент для учета контекстной информации в системе образования на сегодняшний день разработан весьма основательно (Дж. Коулман, П. Бурдье, К. Дженкс и многие другие) 6

7 «Контекст» в контексте образования Контекстная информация, собираемая в странах ОЭСР: Бельгия: пол, возраст, миграционный статус семьи, язык внутрисемейного общения, трудности в обучении, образование матери, зависимость семьи от социальной поддержки… Греция: пол, место рождения, наличие особых потребностей, наивысший достигнутый уровень образования родителей, профессия и статус занятости родителей… Великобритания: пол, возраст, этническая принадлежность, язык внутрисемейного общения, наличие особых потребностей, право на бесплатное питание, территориальная депривация (измеряется индексом)… Испания: пол, возраст, страна рождения, возраст на момент иммиграции, язык внутрисемейного общения, наличие особых потребностей, повторное обучение, уровень образования родителей, статус занятости родителей, культурные и экономические ресурсы семьи, гранты… Словения: пол, возраст, наличие особых потребностей… 7

8 «Контекст» в контексте образования Швеция: пол, возраст, место рождения, этническая принадлежность, длительность пребывания в иммиграции, наивысший достигнутый уровень образования родителей… Франция: пол, возраст, место рождения, национальность, класс обучения, изучавшиеся предметы, профессия и статус занятости родителей, размер домохозяйства, финансовая помощь и пособия… Норвегия: пол, возраст, миграционный статус семьи, страна/территория происхождения, возраст на момент иммиграции, материальный статус родителей (по совокупности показателей), возраст рождения первого ребёнка, число братьев и сестёр, порядок рождения, наивысший достигнутый уровень образования родителей, статус безработных у родителей в течение последних 10 лет… Польша: пол, возраст, дислексия… Португалия: пол, возраст, язык внутрисемейного общения, отметки, повторное обучение, наличие особых потребностей, число братьев и сестёр, образование родителей, статус занятости родителей, наличие компьютера и Интернета, финансовая помощь и пособия… 8

9 «Контекст» в контексте образования В России необходимость учета контекстных показателей в последнее время также продвигается усилиями М. Аграновича, В. Болотова, С. Боченкова, И. Вальдмана… Пример рекомендуемой контекстной информации для сравнения региональных/муниципальных образовательных систем (из сборника «Управление качеством образования в регионе на основе показателей и индикаторов»): Количество посещений музеев на тысячу жителей Количество книг в библиотеках на тысячу жителей Доля сельского населения Миграционный приток Миграционное выбытие ВРП на душу населения Собственные доходы местного бюджета на душу населения Соотношение среднедушевых доходов населения с БПМ Уровень безработицы 9

10 Что делать с контекстными данными? Зарубежный опыт: NAPLAN (Австралия) Index of Community Socio-Economic Advantage (ICSEA) – на основе суммирования нескольких контекстных показателей*, где веса определяются по принципу наибольшего вклада этих показателей в дисперсию показателей успеваемости сравнение в группах «статистических соседей» * - социально-профессиональный статус и уровень образования родителей, доля учащихся из семей, представляющих этнические меньшинства, доля учащихся с неродным английским, индекс территориальной удаленности школы) SIMCE (Чили) 5 социально-экономических групп на основе кластерного анализа характеристик* контингента сравнение в группах * - уровень образования родителей, доход семьи, индекс социальной уязвимости школ (индекс бедности, рассчитываемый для определения параметров финансирования питания в школах) 10

11 Что делать с контекстными данными? Российские исследования: Собкин В.С., Писарский П.С. Типы региональных образовательных ситуаций в Российской Федерации. М.: Центр социологии образования РАО, 1998 Константиновский Д.Л., Вахштайн В.С., Куракин Д.Ю. Реальность образования. Социологическое исследование: от метафоры к интерпретации. М.: ЦСП и М, Агранович М.Л. и другие Учет контекстных данных с помощью процедур «кластеризации»: объединение образовательных учреждений в однородные кластеры или типы, характеризующиеся схожестью условий функционирования Ограничения «кластерного» подхода: Как определить границы кластеров? Как определить оптимальное число кластеров? Обоснован ли эмпирически выбор оснований для кластеризации? 11

12 Содержание проекта Цель проекта Разработка предложений по совершенствованию систем оценки и выявлению образовательных учреждений, демонстрирующих наиболее высокие и наиболее низкие показатели успеваемости с учетом социально-экономических обстоятельств их деятельности (т.н. контекстуализация результатов) Объект исследования (выборка) Школы Московской, Ярославской и Ивановской области (около 1140 школ, представивших сведения о результатах ЕГЭ по двум предметам) Предмет исследования Обусловленность показателей успеваемости характеристиками социального состава учащихся, текущего ресурсного обеспечения школ и характеристиками социально-экономического развития территорий 12

13 Данные ( гг.) Данные по школам «Социальные паспорта» школ (формировались по запросу) – показатели успеваемости, кадровые и организационные характеристики учреждений, характеристики контингента Данные по территориям Статистические паспорта муниципальных образований (Росстат, в открытом доступе) – степень урбанизации, состояние социальной инфраструктуры, уровень доходов населения Учет контекстных данных на 2-х уровнях 1. На уровне школ 2. На уровне муниципальных образований (поселений) 13

14 Социальные характеристики контингента учащихся Доля учащихся 1. из многодетных семей 2. из неполных семей 3. из семей, находящихся под опекой 4. из семей, где работает один из родителей 5. из семей, где оба родителя являются безработными 6. из семей, где один из родителей является безработным 7. из семей, где хотя бы один из родителей является инвалидом 8. из семей, где оба родителя имеют высшее образование 9. из семей, где один из родителей имеет высшее образование Доля учащихся 1. из семей, находящихся в социально опасном положении 2. из семей, проживающих в благоустроенных квартирах 3. из семей, проживающих в квартирах с частичными удобствами 4. из семей, проживающих в частном секторе 5. для которых русский не является родными языком 6. проживающих в приемных семьях 7. состоящих на различных видах учета (КДН, ОВД, внутришкольный) 14

15 Характеристики поселений и школ Образовательные учреждения 1. Вид образовательного учреждения (лицей, гимназия, школа с углубленным изучением отдельных предметов или обычная среднеобразовательная школа) 2. Численность контингента (размер образовательного учреждения) 3. Соотношение числа учащихся к числу учителей 4. Доля учителей высшей категории 5. Доля учителей первой категории 6. Средний возраст учителей 7. И мн. др. Поселения 1. Статус поселения (городское или сельское) 2. Численность населения 3. Доля ветхого и аварийного жилья в общем жилом фонде 4. Среднемесячная заработная плата работников предприятий и некоммерческих организаций 5. И мн. др., отбракованных в связи с плохим качеством стат. данных 15

16 Аналитическая процедура и ее практический смысл Методы анализа Множественный (иерархический) регрессионный анализ Позволил установить как с результатами успеваемости связаны 1. характеристики образовательных учреждений 2. социальные характеристики учащихся 3. характеристики территорий Практический смысл Установить вклад социальных факторов в дифференциацию образовательных результатов между школами, который проявляется независимо от качественных различий между образовательными учреждениями Установить количественное соотношение между показателями результатов обучения и контекстными показателями (для определения весов последних в конструкции Индекса социального благополучия школы (ИСБШ)) 16

17 Краткая характеристика результатов анализа: контекстные факторы 17 Доля учащихся из семей, где оба родителя имеют высшее образование Доля учащихся - из неполных семей - состоящих на различных видах учета - для которых русский язык не является родным образовательные результаты

18 Связь между результатами ЕГЭ и уровнем образования родителей учащихся 18

19 Связь между результатами ЕГЭ и долей учителей высшей категории 19

20 Связь между результатами ЕГЭ и численностью контингента учащихся 20

21 Специфика контекстов в разрезе регионов: «видимое» сходство… 21 Средние результаты ЕГЭ в трех регионах практически равны…

22 Специфика контекстов в разрезе регионов: …и «невидимые» различия 22 …но они скрывают структурные различия, связанные с кадровым обеспечением, социальным составом учащихся и т.п. С учетом условий «опережение» Регионов 1-2 составляет балла!

23 Конструкция Индекса социального благополучия школы (ИСБШ) С учетом доказанного вклада рассмотренных в анализе показателей в различия успеваемости на текущем предложена возможная конструкция Индекса социального благополучия школы: ИСБШ = × «доля учащихся из семей, где оба родителя имеют высшее образование» – 15 × «доля учащихся из неполных семей» – 55 × «доля учащихся, состоящих на различных видах учета» – 15 × «доля учащихся, для которых русский язык не является родным» 23

24 Конструкция Индекса социального благополучия школы (ИСБШ) 24

25 Корреляции показателей социального контекста с показателями успеваемости 25 Показатели социального контекста средний балл по русскому языку средний балл по математике ИСБШ0,520,46 Процент учащихся из неполных семей–0,21-0,22 Процент учащихся из семей, где оба родителя имеют высшее образование 0,440,38 Процент учащихся, состоящих на различных видах учета – –0,38–0,33 Процент учащихся, для которых русский язык не является родным –0,11–0,09 Показатели успеваемости более тесно связаны с Индексом, чем с лежащими в их основе отдельными компонентами

26 Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Группировка школ по значению ИСБШ: Школы разделяются на 5 квинтилей (равных по численности групп) со значениями Индекса от наименьшего к наибольшему В качестве примера рассмотрим: городские СОШ 26 Уровень ИСБШ (группы по квинтилям) Интервал фактических значений ИСБШ Средний балл ЕГЭ по русскому языку Средний балл ЕГЭ по математике Низкий (1-й квинтиль) (0; 79.5] Ниже среднего (2-й квинтиль) (79.5; 81.6] Средний (3-й квинтиль) (81.6; 83.9] Выше среднего (4-й квинтиль) (83.9; 86.4] Высокий (5-й квинтиль) (86.4; 100]

27 Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ 27 Группа городских школ с высоким значением ИСБШ (5-й квинтиль) Горизонтальная линия = среднее в группе значение ЕГЭ по математике (46.7) Вертикальная линия = среднее в группе значение ЕГЭ по русскому языку (64.2)

28 Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ 28 Левый-нижний квадрант: низкие результаты (недостаточные для своей группы) Правый-верхний квадрант: высокие результаты (опережающие в своей группе) На стыке верхних квадрантов: неустойчивое опережение (смешаный случай) Школа 1 Школа 2 Школа 3 Школа 4 Школа 5

29 Контекстуализация «рейтинга» 29 Место в рейтинге Название РайонСредний балл ЕГЭ по русскому языку Средний балл ЕГЭ по математике Группа по ИСБШ Место в рейтинге с учетом контекста* 1СОШ «Г»А (высокий)1 2СОШ «А»Б (выше среднего)5 3СОШ «Д»В (выше среднего)6 4СОШ «М»В79,051,05 (высокий)8 5СОШ «И»Г74,155,65 (высокий)10 6СОШ «Л»Д74.555,15 (высокий)4 7СОШ «Ж»Г72.556,53 (средний)2 8СОШ «Е»Е70.056,01 (низкий)9 9СОШ «К»Ж70.056,04 (выше среднего)12 10СОШ «З»З70.056,05 (высокий)21 * получается на основе ранжирования школ по следующему показателю: сумма отклонений фактических результатов ЕГЭ от средних для соответствующей группы по ИСБШ

30 Контекстуализация на основе использования регрессионной модели Позволяет определить коридор приемлемых значений показателей результата для образовательных учреждений с заданными параметрами Выпадение фактических показателей результата за пределы приемлемых значений – потенциальный маркер «успешности» и/или «неуспешности» Позволяет одновременно учитывать (контролировать) целый ряд параметров функционирования школ (не только социальный контекст, но и ресурсное обеспечение школ, их организационные характеристики) Более тонкий инструмент, чем использование индекса и разбиение школ на группы/кластеры (т.е. решает проблему с «пограничными случаями») 30

31 Маркировка «сильных» и «слабых» школ с помощью параметров регрессионной модели 31

32 Маркировка «сильных» и «слабых» школ с помощью параметров регрессионной модели 32

33 Другие преимущества контекстуализации с помощью регрессионной модели Можно использовать любые показатели результата (средние значения и/или долевые показатели ЕГЭ и ГИА, доля выпускников, поступивших на программы профессионального образования и т.п.) «Контекстуализация» процедур контекстуализации: гибкость модели позволяет выявить различную чувствительность показателей результата к показателям условий, ресурсов и контекста Относительная простота в использовании Возможность автоматизации процедуры ОДНАКО: Следует использовать в качестве средства первичной диагностики (касается любых процедур, имеющих своим следствием возможные интервенции в систему) 33

34 Возможности использования контекстуализации в управлении качеством 1) Дифференцированная политика в отношении разных групп школ: определение школ для применения мер адресной поддержки (специальные нормативы финансирования и оплаты труда, направление квалифицированных кадров и др.) определение школ для поощрения за эффективность в своих условиях выявление школ для реализации программ улучшения образовательных результатов 2) Учёт социально-экономических характеристик семей при регулировании набора: поощрение школ, принимающих неблагополучных учеников. регулирование набора и перераспределение контингента. 3) Выявление и распространение практик, обеспечивающих эффективность в своих условиях

35 Задачи использования контекстуализации в ОСОКО и НОК Включение в состав собираемой информации контекстных данных Разработка моделей и инструментария агрегации контекстных данных, в т.ч. «национальных индексов» Внедрение методик учета контекстных данных в анализе результатов оценки, в т.ч. мониторингов Введение стандартов представления контекстных данных в системе информирования (сайты, публичные отчеты (доклады)