ВЕБИНАР РТЦ ИУО РАО « Использование контекстных данных в системе управления качеством образования » 9 декабря 2013 года Использование контекстных данных в системе управления качеством образования Ястребов Гордей Александрович, канд. соц., н., с.н.с. Лаборатории сравнительного анализа развития постсоциалистических обществ НИУ «Высшая школа экономики» Пинская Марина Александровна к.п.н., вед. н.с. Центра социально-экономического развития школы Института образования НИУ «Высшая школа экономики

Постановка проблемы Управление В фокусе внимания - высокие учебные результаты Вне внимания – межшкольная дифференциация (равенство) в результатах Ответственность за результат возлагается на школу Не учитывается социальный контекст деятельности школы Поощряется достижение высоких результатов (внимание только к «топу») Различия в усилиях (эффективности) школ игнорируется

Постановка проблемы Оценка Оценивается абсолютный уровень образовательных результатов Не проводится оценка межшкольной дифференциации результатов Не проводится оценка социального контекста деятельности школ Не оценивается эффективность (усилия) школ

Постановка проблемы В системе управления качеством не учитывается принципиальная, подтвержденная многочисленными исследованиями связь уровня образовательных результатов с социальными характеристиками контингента. Проводится оценка результативности школ, а не эффективности. «Управление качеством без анализа эффективности является неэффективным».

Цели и предмет исследования Цель исследования Разработка предложений по совершенствованию систем оценки и выявления образовательных учреждений, демонстрирующих наиболее высокие и наиболее низкие показатели успеваемости с учетом социально- экономических обстоятельств их деятельности (т.н. контекстуализация результатов) Объект исследования (выборка) Школы трех субъектов РФ (около 1140 школ, представивших сведения о результатах ЕГЭ по двум предметам) Предмет исследования Обусловленность показателей успеваемости характеристиками социального состава учащихся, текущего ресурсного обеспечения школ и характеристиками социально-экономического развития территорий

Данные Данные по школам «Социальные паспорта» школ (формировались по запросу): 1)показатели успеваемости (в исследовании – только ЕГЭ); 2)характеристики кадрового и материального обеспечения; 3)характеристики контингента (численность; доля детей из семей, попадающих в группы социального риска по многодетности, безработице, инвалидности и т.п; образование родителей и т.п.) Данные по территориям Статистические паспорта муниципальных образований (Росстат, в открытом доступе): степень урбанизации поселений, уровень доходов местного населения, состояние инфраструктуры (жилой фонд, здравоохранение и т.п.)

Социальные характеристики контингента учащихся Доля учащихся из многодетных семей из неполных семей из семей, находящихся под опекой из семей, где работает один из родителей из семей, где оба родителя являются безработными из семей, где один из родителей является безработным из семей, где хотя бы один из родителей является инвалидом из семей, где оба родителя имеют высшее образование из семей, где один из родителей имеет высшее образование Доля учащихся из семей, находящихся в социально опасном положении из семей, проживающих в благоустроенных квартирах из семей, проживающих в квартирах с частичными удобствами из семей, проживающих в частном секторе для которых русский не является родными языком проживающих в приемных семьях состоящих на внутришкольном учете состоящих на учете в комиссиях на делам несовершеннолетних

Характеристики образовательных учреждений и поселений Образовательные учреждения Вид образовательного учреждения (лицей, гимназия, школа с углубленным изучением отдельных предметов или обычная среднеобразовательная школа) Численность контингента (размер образовательного учреждения) Соотношение числа учащихся к числу учителей Доля учителей высшей категории Доля учителей первой категории Средний возраст учителей Поселения Статус поселения (городское или сельское) Численность населения Доля ветхого и аварийного жилья в общем жилом фонде Среднемесячная заработная плата работников предприятий и некоммерческих организаций

Общая концептуальная схема образовательные результаты

Распределение школ по значению средних результатов ЕГЭ по двум предметам Среднее значение: 59,6 Медианное значение: 59,4 Стандартное отклонение: 6,2 Среднее значение: 45,2 Медианное значение: 46,0 Стандартное отклонение: 6,7

Связь между результатами ЕГЭ и уровнем образования родителей учащихся

Связь между результатами ЕГЭ и долей учащихся, состоящих на вн.-школьном учете

Связь между результатами ЕГЭ и долей учителей высшей категории

Связь между результатами ЕГЭ и численностью контингента учащихся

Методы анализа и его практический смысл Методы анализа Множественный (иерархический) регрессионный анализ Позволил установить как с результатами успеваемости связаны 1. характеристики образовательных учреждений 2. социальные характеристики учащихся 3. характеристики территорий Практический смысл анализа Установить вклад социальных факторов в дифференциацию образовательных результатов между школами, который проявляется независимо от качественных различий между образовательными учреждениями Определить соотношение «весов» социальных показателей в конструкции Индекса социального благополучия школы (ИСБШ)

Краткая характеристика результатов анализа образовательные результаты

Краткая характеристика результатов анализа Характеристики социального состава учащихся позволяют объяснить до 15% различий в образовательных результатах На долю характеристик образовательных учреждений (кадры, размер, тип ОУ) приходится до 20% различий На долю качественных различий между территориями – до 10%. Основные различия между территориями проявляют себя преимущественно через различия в социальном составе учащихся и качественных характеристиках школ (т.е. учитывать территориальные различия необязательно, если есть возможность дифференцировать непосредственно сами образовательные учреждения).

Специфика контекстов в разрезе регионов: «видимое» сходство… Средние результаты ЕГЭ в трех регионах практически равны…

Специфика контекстов в разрезе регионов: …и «невидимые» различия …но они скрывают структурные различия, связанные с кадровым обеспечением, социальным составом учащихся, видом учреждений и т.п. С учетом условий «опережение» Регионов 1-2 составляет балла!

Ограничения на выбор модели для контекстуализации Передовой практикой оценки эффективности образовательных учреждений является использование моделей value-added: измерение учебного прогресса (а не только конечных результатов обучения, как ГИА или ЕГЭ); учет образовательных результатов и социально-экономических характеристик на индивидуальном (а не агрегированном) уровне С учетом наших ограничений (доступности соответствующих данных) единственно возможным является ход с построением Индекса на основе агрегированных данных «социального паспорта» Индекс можно использовать для различения социальных контекстов параллельно с учетом других качественных различий (например, при проведении сравнения внутри школ различного типа, сельских и городских, крупных и небольших образовательных учреждений)

Конструкция Индекса социального благополучия школы (ИСБШ) С учетом доказанного вклада рассмотренных в анализе показателей в различия успеваемости на текущем этапе могут быть предложены две возможных конструкции Индекса социального благополучия школы: ИСБШ = × «доля учащихся из семей, где оба родителя имеют высшее образование» – 20 × «доля учащихся из неполных семей» – 65 × «доля учащихся, состоящих на различных видах учета» ИСБШ (с учетом особенностей языка) = × «доля учащихся из семей, где оба родителя имеют высшее образование» – 15 × «доля учащихся из неполных семей» – 55 × «доля учащихся, состоящих на различных видах учета» – 15 × «доля учащихся, для которых русский язык не является родным»

Конструкция Индекса социального благополучия школы (ИСБШ)

Конструкция Индекса социального благополучия школы (ИСБШ+)

Корреляции показателей социального контекста с показателями успеваемости Показатели социального контекста средний балл по русскому языку средний балл по математике ИСБШ0,50**0,44** ИСБШ (с учетом особенностей языка)0,52**0,46** Процент учащихся из неполных семей–0,21**-0,22** Процент учащихся из семей, где оба родителя имеют высшее образование 0,44**0,38** Процент учащихся, состоящих на различных видах учета ––0,38**–0,33** Процент учащихся, для которых русский язык не является родным –0,11**–0,09** ** - значимо на 1%-ном уровне Показатели успеваемости более тесно связаны с Индексами, чем с лежащими в их основе отдельными компонентами

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Уровень ИСБШ (группы по квинтилям) Интервал фактических значений ИСБШ Средний балл ЕГЭ по русскому языку в группе Средний балл ЕГЭ по математике в группе Низкий (1-й квинтиль) (0; 79.5] Ниже среднего (2-й квинтиль) (79.5; 81.6] Средний (3-й квинтиль) (81.6; 83.9] Выше среднего (4-й квинтиль) (83.9; 86.4] Высокий (5-й квинтиль) (86.4; 100] Группировка школ по значению ИСБШ: Школы разделяются на 5 квинтилей (равных по численности групп) со значениями Индекса от наименьшего к наибольшему В качестве примера рассмотрим: городские СОШ

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Группа городских школ с высоким значением ИСБШ (5-й квинтиль) Горизонтальная линия = среднее в группе значение ЕГЭ по математике (46.7) Вертикальная линия = среднее в группе значение ЕГЭ по русскому языку (64.2) В области пересечения линий (овал в центре) сосредоточены типичные для выбранного контекста случаи

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Школы, существенно выпадающие из центральной области, представляют интерес: Левый-нижний квадрант: школы, демонстрирующие низкие результаты (недостаточные для своей группы) Правый-верхний квадрант: школы, демонстрирующие высокие результаты (опережающие в своей группе) На стыке верхних квадрантов: смешаный случай – неустойчивое опережение

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Группа городских школ с низким значением ИСБШ (1-й квинтиль) Горизонтальная линия = среднее в группе значение ЕГЭ по математике (40.7) Вертикальная линия = среднее в группе значение ЕГЭ по русскому языку (58.1)

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Группа городских школ с низким значением ИСБШ (1-й квинтиль) Горизонтальная линия = среднее в группе значение ЕГЭ по математике (40.7) Вертикальная линия = среднее в группе значение ЕГЭ по русскому языку (58.1) Левый-нижний квадрант: школы, демонстрирующие низкие результаты (недостаточные для своей группы) Правый-верхний квадрант: школы, демонстрирующие высокие результаты (опережающие в своей группе)

«Контекстуализация» рейтинга Место в рейтинге Название РайонСредний балл ЕГЭ по русскому языку Средний балл ЕГЭ по математике Группа по ИСБШ Место в рейтинге с учетом контекста* 1СОШ 98А (высокий)1 2СОШ 2Б (выше среднего)5 3СОШ 13В (выше среднего)6 4СОШ 20В79,051,05 (высокий)8 5СОШ 28Г74,155,65 (высокий)10 6СОШ 6Д74.555,15 (высокий)4 7Колычёвская СОШГ72.556,53 (средний)2 8СОШ 2Е70.056,01 (низкий)9 9СОШ 2Ж70.056,04 (выше среднего)12 10СОШ 75З70.056,05 (высокий)21 * получается на основе ранжирования школ по следующему показателю: сумма отклонений фактических результатов ЕГЭ от средних для соответствующей группы по ИСБШ

Контекстные данные, учитывающиеся в странах OЭСР Страна Демографи -ческая информаци я Иммиграци - онный статус Особые учебные проблемы Состав семьи Образова - ние родителей Экономи - ческие ресурсы Получаемая социальная помощь Бельгия Возраст пол, страна рождения. Возраст в момент иммиграции Родной язык, на котором говорят дома Затруднения в учёбе, обстоятельств а повторения классов. Ученик воспитывает ся вне дома - группа риска Образование матери Гранты на обучение, доходы семьи, Греция Возраст, пол, место рождения Ученики со специальным и потребностям и Уровень образования родителей Занятость родителей Испания Возраст, пол Страна рождения. Язык дома. Ученики со специальными потребностями. Анкета по структуре семьи Уровень образования родителей Занятость родителей Культурные ресурсы. Гранты, получаемые учеником

Контекстуализация при оценке качества на национальном и региональном уровне : возможные модели ЧИЛИ Основания для выделения групп: территория, тип школы, агрегированный СЭС учеников (годы обучения матери и отца, доходы семьи) Школы разделены на 5 социально- экономических кластеров Внутри каждой группы определяются 4 уровня достижений – от отстающих до наиболее успешных. Средние результаты школы сравниваются со средними в её группе и средними по стране. Школа оценивается по эффективности в своей группе. Оценивается не только итоговый результат, но и динамика в сравнении с прошлым годом. Основания для расчёта индекса: С-Э и Обр. статус родителей, территориальная удаленность, доля аборигенов, доля с неродным языком При анализе результатов школ школы группируются так, чтобы сравнивались достижения школ с близкими характеристиками («статистически похожие»). Основание для сравнения - Индекс местных социально- образовательных условий (Index of Community Socio-Educational Advantage, ICSEA ). Определяется место школы в ряду школ с близким ICSEA. Чили (кластеры) Австралия (индексы)

Какая информация предоставляется заинтересованным группам Информация представлена на официальных сайтах.Чили Национальный отчёт: средние баллы по стране и регионам; распределение учащихся по уровням обучения (начальный, средний, углублённый); Средний балл по социально-экономическим группам, гендерной принадлежности, частным и государственным школам; динамика результатов. Отчёт для школ: средние баллы на уровне страны, школы, класса; Отличие среднего балла школы за этот и предыдущий год от средних в стране и в школах из этой СЭ группы; руководство по проведению семинаров для анализа результатов и планирования улучшения. Отчёт для родителей: Отличие среднего балла школы от средних в школах из этой СЭ группы; Рекомендации по улучшению успеваемости учащихся. Распространение и использование информации по оценке достижений учащихся в Чили. Description of Contextualised Value-Added in English media The results incorporate a complex Key Stage 2 to Key Stage 4 contextual value-added (CVA) score designed to show the progress children have made. This is done by comparing their achievements with those of other pupils nationally who had the same or similar prior attainment in their test results at age 10 or 11 in CVA includes nine factors known to affect pupils attainment but outside a schools control: Gender Special Educational Needs Ethnicity Eligible for Free School Meals First Language Mobility Age In Care IDACI (a postcode-based deprivation measure) What CVA does is predict what a given childs attainment should be based on the actual attainment of other children with similar prior attainment and similar backgrounds.

Управленческие решения: случай Чили Школы наиболее успешные поощряются финансово так, чтобы учителя получили материальное вознаграждение. Школы с низким уровнем социально-экономического благополучия, успешные в сравнении с другими в своих группах поощряются. Школы, находящиеся в сложном положении, «отстающие», получают поддержку финансовую и методическую и находятся под контролем. Школы, не показывающие положительной динамики в течение 3-х лет, закрываются. С середины 1990-х результаты школ начали публиковаться. В начале 2000-х вводились программы подотчётности с более ощутимыми последствиями для учителей и школ. При подушевом финансировании (образовательные ваучеры) вводится коэффициент для школ с низким СЭС, чтобы избежать их хронического отставания. С 2008 г.размер «Взвешенного ваучера» на 50% выше для детей из семей с низким СЭС и детей-индейцев, в 2011 г. вырос ещё на 40% для особо неблагополучных учеников.

Стратегии сокращения неравенства: мировой опыт Подготовка и стимулирование сильных руководителей\лидеров для школ выделенных неблагополучных групп (включая финансовые и карьерные стимулы). Привлечение высококвалифицированных учителей, поддержка и удержание их в неблагополучных школах ( включая увеличение зарплаты, гранты и бонусы, сокращение нагрузки и числа учеников в классе, карьерные возможности). Поддержка и поощрение учеников: от индивидуальных до общешкольных программ (сопровождение и консультирование; дополнительные занятия; внеурочные мероприятия; каникулярные программы; терапевтическая поддержка, поддержка перехода на следующую ступень и т.д.). Стратегии импрувмента: поощрение школ, демонстрирующих эффективность в своих условиях; финансирование программ улучшения отстающих с повышением ответственности и контроля. Формульное финансирование, учитывающее социальный контекст: например, «взвешенные ваучеры» (Чили), подушевое финансироване по формуле с дополнительным весом для неблагополучных учеников, при котором «вес» каждого ученика определяется уровнем образования его родителей (Нидерланды), выделение дополнительного финансирование на детей, получающих бесплатное питание (Великобритания), увеличение расходов на ученика в группах наиболее неблагополучных школ и в наиболее депревированных территориях (Франция, Греция).

Возможности для управленческих решений Выделение группы школ, работающих в сложных социальных условиях - группа риска Выявление групп школ с высокой и низкой эффективностью Адресная поддержка группы школ, работающих в сложных социальных условиях на постоянной основе - выравнивание ресурсных возможностей (оборудование, финансы, квалифицированные кадры) Поощрение школ, демонстрирующих высокую результативность Поощрение эффективных школ Адресные программы улучшения результатов неэффективных школ с контролируемыми сроками и результатами

СПАСИБО ЗА ВНИМАНИЕ!