Контекстуализация образовательных результатов при оценке деятельности школ СЕССИЯ 6 М.А.Пинская ведущий научный сотрудник Центра социально- экономического развития школы, к. п. н. Семинар « Интерпретация и представление результатов оценки образовательных достижений для различных групп пользователей » октября 2014 года, г. Москва

Постановка проблемы Управление В фокусе внимания - высокие учебные результаты Вне внимания – условия работы школ Ответственность за результат возлагается на школу Поощряются только школы, достигшие высоких результатов (внимание только к «топу») Различия в усилиях (эффективности) школ игнорируется Школы, нуждающиеся в помощи, уходят в тень.

Постановка проблемы В системе управления качеством не учитывается принципиальная, подтвержденная многочисленными исследованиями связь уровня образовательных результатов с социальными характеристиками контингента. Проводится оценка результативности школ, а не эффективности. Управление качеством не основывается на значимых данных, нет оснований для принятия адресных решений.

Устойчивое отставание школ, работающих в сложном социальном контексте, 2012 г.

Образовательные траектории школьников, 2014 г. В школах с низким ИСБ после 9-го класса в 10-й переходит 50 % учеников. В школах с высоким ИСБ – 80%. В школах с низким ИСБ 60% выпускников 11-го класса поступает в вузы. В школах с высоким ИСБ - 90%. В школах с низким ИСБ 4,5% мальчиков, закончивших 11 класс идут служить в армию. В школах с высоким ИСБ – 1%.

Исследование ИО НИУ ВШЭ Цель исследования Разработка предложений по совершенствованию систем оценки образовательных учреждений с учетом социально-экономических обстоятельств деятельности ОУ (т.н. контекстуализация результатов) Создание оснований для повышения эффективности работы школ. Объект исследования (выборка) Школы Московской, Ярославской и Ивановской области (около 1140 школ, представивших сведения о результатах ЕГЭ по двум предметам) Предмет исследования Обусловленность показателей успеваемости характеристиками социального состава учащихся, текущего ресурсного обеспечения школ и характеристиками социально-экономического развития территорий

Данные Данные по школам «Социальные паспорта» школ (формировались по запросу): 1)показатели успеваемости (в исследовании – только ЕГЭ); 2)характеристики кадрового и материального обеспечения; 3)характеристики контингента (численность; доля детей из семей, попадающих в группы социального риска по многодетности, безработице, инвалидности и т.п; образование родителей и т.п.) Данные по территориям Статистические паспорта муниципальных образований (Росстат, в открытом доступе): степень урбанизации поселений, уровень доходов местного населения, состояние инфраструктуры (жилой фонд, здравоохранение и т.п.)

Контекстные данные, учитывающиеся в странах OЭСР Страна Демографи -ческая информация Иммиграци - онный статус Особые учебные проблемы Состав семьи Образова - ние родителей Экономи - ческие ресурсы Получаемая социальная помощь Бельгия Возраст пол, страна рождения. Возраст в момент иммиграции Родной язык, на котором говорят дома Затруднения в учёбе, обстоятельств а повторения классов. Ученик воспитывает ся вне дома - группа риска Образование матери Гранты на обучение, доходы семьи, Греция Возраст, пол, место рождения Ученики со специальным и потребностям и Уровень образования родителей Занятость родителей Испания Возраст, пол Страна рождения. Язык дома. Ученики со специальными потребностями. Анкета по структуре семьи Уровень образования родителей Занятость родителей Культурные ресурсы. Гранты, получаемые учеником

Контекстные данные в оценке качества образования Швеция: пол, возраст, место рождения, этническая принадлежность, длительность пребывания в иммиграции, наивысший достигнутый уровень образования родителей… Франция: пол, возраст, место рождения, национальность, класс обучения, изучавшиеся предметы, профессия и статус занятости родителей, размер домохозяйства, финансовая помощь и пособия… Норвегия: пол, возраст, миграционный статус семьи, страна/территория происхождения, возраст на момент иммиграции, материальный статус родителей (по совокупности показателей), возраст рождения первого ребёнка, число братьев и сестёр, порядок рождения, наивысший достигнутый уровень образования родителей, статус безработных у родителей в течение последних 10 лет… Польша: пол, возраст, дислексия… Португалия: пол, возраст, язык внутрисемейного общения, отметки, повторное обучение, наличие особых потребностей, число братьев и сестёр, образование родителей, статус занятости родителей, наличие компьютера и Интернета, финансовая помощь и пособия…

Социальные характеристики контингента учащихся Доля учащихся из многодетных семей из неполных семей из семей, находящихся под опекой из семей, где работает один из родителей из семей, где оба родителя являются безработными из семей, где один из родителей является безработным из семей, где хотя бы один из родителей является инвалидом из семей, где оба родителя имеют высшее образование из семей, где один из родителей имеет высшее образование Доля учащихся из семей, находящихся в социально опасном положении из семей, проживающих в благоустроенных квартирах из семей, проживающих в квартирах с частичными удобствами из семей, проживающих в частном секторе для которых русский не является родными языком проживающих в приемных семьях состоящих на внутришкольном учете состоящих на учете в комиссиях на делам несовершеннолетних

Характеристики образовательных учреждений и поселений Образовательные учреждения Вид образовательного учреждения (лицей, гимназия, школа с углубленным изучением отдельных предметов или обычная среднеобразовательная школа) Численность контингента (размер образовательного учреждения) Соотношение числа учащихся к числу учителей Доля учителей высшей категории Доля учителей первой категории Средний возраст учителей Поселения Статус поселения (городское или сельское) Численность населения Доля ветхого и аварийного жилья в общем жилом фонде Среднемесячная заработная плата работников предприятий и некоммерческих организаций

Общая концептуальная схема образовательные результаты

Краткая характеристика результатов анализа Характеристики социального состава учащихся позволяют объяснить до 15% различий в образовательных результатах На долю характеристик образовательных учреждений (кадры, размер, тип ОУ) приходится до 20% различий На долю качественных различий между территориями – до 10%. Основные различия между территориями проявляют себя преимущественно через различия в социальном составе учащихся и качественных характеристиках школ (т.е. учитывать территориальные различия необязательно, если есть возможность дифференцировать непосредственно сами образовательные учреждения).

Краткая характеристика результатов анализа образовательные результаты

Специфика контекстов в разрезе регионов: «видимое» сходство… Средние результаты ЕГЭ в трех регионах практически равны…

Специфика контекстов в разрезе регионов: …и «невидимые» различия …но они скрывают структурные различия, связанные с кадровым обеспечением, социальным составом учащихся, видом учреждений и т.п. С учетом условий «опережение» Ярославской и Ивановской области составляет балла!

Конструкция Индекса социального благополучия школы (ИСБШ) С учетом доказанного вклада рассмотренных в анализе показателей в различия успеваемости на текущем этапе могут быть предложены две возможных конструкции Индекса социального благополучия школы: ИСБШ = × «доля учащихся из семей, где оба родителя имеют высшее образование» – 20 × «доля учащихся из неполных семей» – 65 × «доля учащихся, состоящих на различных видах учета» ИСБШ (с учетом особенностей языка) = × «доля учащихся из семей, где оба родителя имеют высшее образование» – 15 × «доля учащихся из неполных семей» – 55 × «доля учащихся, состоящих на различных видах учета» – 15 × «доля учащихся, для которых русский язык не является родным»

Конструкция Индекса социального благополучия школы (ИСБШ)

Конструкция Индекса социального благополучия школы (ИСБШ+)

Связь между результатами ЕГЭ и уровнем образования родителей учащихся

Связь между результатами ЕГЭ и долей учащихся, состоящих на вн.-школьном учете

Связь между результатами ЕГЭ и долей учителей высшей категории

Связь между результатами ЕГЭ и численностью контингента учащихся

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Уровень ИСБШ (группы по квинтилям) Интервал фактических значений ИСБШ Средний балл ЕГЭ по русскому языку в группе Средний балл ЕГЭ по математике в группе Низкий (1-й квинтиль) (0; 79.5] Ниже среднего (2-й квинтиль) (79.5; 81.6] Средний (3-й квинтиль) (81.6; 83.9] Выше среднего (4-й квинтиль) (83.9; 86.4] Высокий (5-й квинтиль) (86.4; 100] Группировка школ по значению ИСБШ: Школы разделяются на 5 квинтилей (равных по численности групп) со значениями Индекса от наименьшего к наибольшему В качестве примера рассмотрим: городские СОШ Московской области

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Группа городских СОШ Московской области с высоким значением ИСБШ (5-й квинтиль) Горизонтальная линия = среднее в группе значение ЕГЭ по математике (46.7) Вертикальная линия = среднее в группе значение ЕГЭ по русскому языку (64.2) В области пересечения линий (овал в центре) сосредоточены типичные для выбранного контекста случаи

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Школы, существенно выпадающие из центральной области, представляют интерес: Левый-нижний квадрант: школы, демонстрирующие низкие результаты (недостаточные для своей группы) Правый-верхний квадрант: школы, демонстрирующие высокие результаты (опережающие в своей группе) На стыке верхних квадрантов: смешанный случай – неустойчивое опережение

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Группа городских СОШ Московской области с низким значением ИСБШ (1-й квинтиль) Горизонтальная линия = среднее в группе значение ЕГЭ по математике (40.7) Вертикальная линия = среднее в группе значение ЕГЭ по русскому языку (58.1)

Пример использования ИСБШ для выявления потенциально «слабых» и «сильных» школ Группа городских СОШ Московской области с низким значением ИСБШ (1-й квинтиль) Горизонтальная линия = среднее в группе значение ЕГЭ по математике (40.7) Вертикальная линия = среднее в группе значение ЕГЭ по русскому языку (58.1) Левый-нижний квадрант: школы, демонстрирующие низкие результаты (недостаточные для своей группы) Правый-верхний квадрант: школы, демонстрирующие высокие результаты (опережающие в своей группе)

«Контекстуализация» рейтинга Место в рейтинге Название РайонСредний балл ЕГЭ по русскому языку Средний балл ЕГЭ по математике Группа по ИСБШ Место в рейтинге с учетом контекста* 1СОШ 98Раменский м.р (высокий)1 2СОШ 2Серпуховской г.о (выше среднего)5 3СОШ 13Королёвский г.о (выше среднего)6 4СОШ 20Королёвский г.о.79,051,05 (высокий)8 5СОШ 28Мытищинский м.р.74,155,65 (высокий)10 6СОШ 6Орехово-Зуевский м.р ,15 (высокий)4 7Колычёвская СОШМожайский м.р ,53 (средний)3 8СОШ 2Балашихинский г.о ,01 (низкий)2 9СОШ 2Павлово-Посадский м.р ,04 (выше среднего)12 10СОШ 75Черноголовка г.о ,05 (высокий)21 * получается на основе ранжирования школ по следующему показателю: сумма отклонений фактических результатов ЕГЭ от средних для соответствующей группы по ИСБШ

Контекстуализация при оценке качества на национальном и региональном уровне : возможные модели ЧИЛИ Основания для выделения групп: территория, тип школы, агрегированный СЭС учеников (годы обучения матери и отца, доходы семьи) Школы разделены на 5 социально- экономических кластеров Внутри каждой группы определяются 4 уровня достижений – от отстающих до наиболее успешных. Средние результаты школы сравниваются со средними в её группе и средними по стране. Школа оценивается по эффективности в своей группе. Оценивается не только итоговый результат, но и динамика в сравнении с прошлым годом. Основания для расчёта индекса: С-Э и Обр. статус родителей, территориальная удаленность, доля аборигенов, доля с неродным языком При анализе результатов школ школы группируются так, чтобы сравнивались достижения школ с близкими характеристиками («статистически похожие»). Основание для сравнения - Индекс местных социально- образовательных условий (Index of Community Socio-Educational Advantage, ICSEA ). Определяется место школы в ряду школ с близким ICSEA. Чили (кластеры) Австралия (индексы)

Какая информация предоставляется заинтересованным группам Информация представлена на официальных сайтах.Чили Национальный отчёт: средние баллы по стране и регионам; распределение учащихся по уровням обучения (начальный, средний, углублённый); Средний балл по социально-экономическим группам, гендерной принадлежности, частным и государственным школам; динамика результатов. Отчёт для школ: средние баллы на уровне страны, школы, класса; Отличие среднего балла школы за этот и предыдущий год от средних в стране и в школах из этой СЭ группы; руководство по проведению семинаров для анализа результатов и планирования улучшения. Отчёт для родителей: Отличие среднего балла школы от средних в школах из этой СЭ группы; Рекомендации по улучшению успеваемости учащихся. Распространение и использование информации по оценке достижений учащихся в Чили. Description of Contextualised Value-Added in English media The results incorporate a complex Key Stage 2 to Key Stage 4 contextual value-added (CVA) score designed to show the progress children have made. This is done by comparing their achievements with those of other pupils nationally who had the same or similar prior attainment in their test results at age 10 or 11 in CVA includes nine factors known to affect pupils attainment but outside a schools control: Gender Special Educational Needs Ethnicity Eligible for Free School Meals First Language Mobility Age In Care IDACI (a postcode-based deprivation measure) What CVA does is predict what a given childs attainment should be based on the actual attainment of other children with similar prior attainment and similar backgrounds.

Управленческие решения: случай Чили Школы наиболее успешные поощряются финансово так, чтобы учителя получили материальное вознаграждение. Школы с низким уровнем социально-экономического благополучия, успешные в сравнении с другими в своих группах поощряются. Школы, находящиеся в сложном положении, «отстающие», получают поддержку финансовую и методическую и находятся под контролем. Школы, не показывающие положительной динамики в течение 3-х лет, закрываются. С середины 1990-х результаты школ начали публиковаться. В начале 2000-х вводились программы подотчётности с более ощутимыми последствиями для учителей и школ. При подушевом финансировании (образовательные ваучеры) вводится коэффициент для школ с низким СЭС, чтобы избежать их хронического отставания. С 2008 г.размер «Взвешенного ваучера» на 50% выше для детей из семей с низким СЭС и детей-индейцев, в 2011 г. вырос ещё на 40% для особо неблагополучных учеников.

Стратегии сокращения неравенства и отставания школ с низким СЭС Подготовка и стимулирование сильных руководителей\лидеров для школ выделенных неблагополучных групп (включая финансовые и карьерные стимулы). Привлечение высококвалифицированных учителей, поддержка и удержание их в неблагополучных школах ( включая увеличение зарплаты, гранты и бонусы, сокращение нагрузки и числа учеников в классе, карьерные возможности). Поддержка и поощрение учеников: от индивидуальных до общешкольных программ (сопровождение и консультирование; дополнительные занятия; внеурочные мероприятия; каникулярные программы; терапевтическая поддержка, поддержка перехода на следующую ступень и т.д.). Формульное финансирование, учитывающее социальный контекст: подушевое финансироване по формуле с дополнительным весом для неблагополучных учеников (Нидерланды), выделение дополнительного финансирование на детей, получающих бесплатное питание (Великобритания), увеличение расходов на ученика в группах наиболее неблагополучных школ и в наиболее депревированных территориях (Франция, Греция). Стратегии импрувмента: поощрение школ, демонстрирующих эффективность в своих условиях; финансирование программ улучшения отстающих с повышением ответственности и контроля.

Возможности для управленческих решений Выделение группы школ, работающих в сложных социальных условиях - группа риска Выявление групп школ с высокой и низкой эффективностью Адресная поддержка группы школ, работающих в сложных социальных условиях на постоянной основе - выравнивание ресурсных возможностей (оборудование, финансы, квалифицированные кадры) Поощрение школ, демонстрирующих высокую результативность Поощрение эффективных школ Адресные программы улучшения результатов неэффективных школ с контролируемыми сроками и результатами

Постановка проблемы: переход школ в эффективный режим работы Школы, находящиеся в сложных социальных контекстах, могут обеспечивать своим ученикам достаточно высокий уровень достижений, не проигрывая более благополучным образовательным учреждениям, если последовательно и системно реализуют образовательные стратегии, обеспечивающие эффективный режим работы. Эти стратегии являются основой для программ повышения качества работы школы и могут быть транслированы образовательным учреждениям, стремящимся повысить свои учебные результаты.

В КАКОЙ ПОДДЕРЖКЕ НУЖДАЮТСЯ ОУ, РАБОТАЮЩИЕ С НАИБОЛЕЕ СЛОЖНЫМ КОНТИНГЕНТОМ, МЭО 2014 г. Низкий ИСБ, низкие результаты Низкий ИСБ, высокие результаты Высокий ИСБ, низкие результаты Высокий ИСБ, высокие результаты Повысить квалификацию учителей с учётом особенностей контингента Обеспечить бесплатное питание всем учащихся школам Улучшить материально- техническую базу школ Обеспечить охват учащихся разнообразными бесплатными дополнительными занятиями

СРЕДНИЙ РАЗМЕР ЗАРАБОТНОЙ ПЛАТЫ в школах разного типа, МЭО 2014 г. Низкий ИСБ, низкие результаты Низкий ИСБ, высокие результаты Высокий ИСБ, низкие результаты Высокий ИСБ, высокие результаты ПЕДАГОГОВ, ПРОРАБОТАВШИХ НЕ БОЛЕЕ 3 ЛЕТ ПОСЛЕ ОКОНЧАНИЯ ВУЗА 18 тыс.16 тыс. 26 тыс.31 тыс. АДМИНИСТРАТИВНО - УПРАВЛЕНЧЕСКОГО ПЕРСОНАЛА 32 тыс.36 тыс. 47 тыс. 64 тыс. всех педагогов 25 тыс.28 тыс. 36 тыс.43 тыс.

ДОЛЯ УЧИТЕЛЕЙ, ПОЛУЧАЮЩИХ СТИМУЛИРУЮЩИЕ ВЫПЛАТЫ в школах разного типа, МЭО 2014 г. Низкий ИСБ, низкие результаты Низкий ИСБ, высокие результаты Высокий ИСБ, низкие результаты Высокий ИСБ, высокие результаты ОТ 11 ДО 25% ОТ ЗАРАБОТНОЙ ПЛАТЫ 28,8 37,5 24,529,5 ОТ 26 ДО 50% ОТ ЗАРАБОТНОЙ ПЛАТЫ 29,437,428,428,0

РАСПРЕДЕЛЕНИЕ СТИМУЛИРУЮЩИХ ВЫПЛАТ в школах разного типа Низкий ИСБ, низкие результаты Низкий ИСБ, высокие результаты Высокий ИСБ, низкие результаты Высокий ИСБ, высокие результаты ПРЕПОДАВАТЕЛЬСКИЕ УМЕНИЯ ПЕДАГОГА ОБРАЗОВАТЕЛЬНЫЕ И СОЦИАЛЬНЫЕ ДОСТИЖЕНИЯ УЧАЩИХСЯ ДОПОЛНИТЕЛЬНАЯ ВНЕУРОЧНАЯ И ИНДИВИДУАЛЬНАЯ РАБОТА С УЧЕНИКАМИ РЕЗУЛЬТАТЫ МЕТОДИЧЕСКОЙ И ВОСПИТАТЕЛЬНОЙ РАБОТЫ ДОПОЛНИТЕЛЬНЫЕ ОБЯЗАННОСТИ ПЕДКОЛЛЕКТИВЕ: НАСТАВНИЧЕСТВО, ОБМЕН ОПЫТОМ ПРОФЕССИОНАЛЬНОЕ РАЗВИТИЕ, ОСВОЕНИЕ НОВЫХ ПЕДАГОГИЧЕСКИХ ТЕХНОЛОГИЙ РАБОТА С РОДИТЕЛЯМИ

Что учитывается при оценке качества работы учителей Низкий ИСБ, низкие результат ы Низкий ИСБ, высокие результат ы Высокий ИСБ, низкие результат ы Высокий ИСБ, высокие результат ы МНЕНИЕ УПРАВЛЯЮЩ ЕГО СОВЕТА НАБЛЮДЕНИЕ В КЛАССЕ В школах с низким ИСБ и высокими результатами чаще, чем во всех других группах школ учитывается: Самооценка учителя, Оценка учениками, Оценка родителями, Оценка коллегами. Реже – оценка директором

В школах с низким ИСБ чаще, чем во всех остальных группах школ проходят проверки всякого рода: 8,5 в год при 6,1 в среднем. Директора школ с низким ИСБ меньше, чем все остальные директора придают значение такой обязанности, как «реагирование на обращение местных и вышестоящих органов управления, заполнение отчётов».

Программа перехода в эффективный режим работы 1. Идентификация школ в сложных социальных контекстах (низкий СЭС) и устойчиво низкими результатами. 2. Выбор пилотных школ 3. Разработка адресных программ улучшения результатов школ, основанных на модели эффективной школы. 4. Формирование школьных управленческих команд, выступающих в качестве агентов изменений. 5. Планирование и мониторинг изменений. 6. Отчётность и корректировка программ. 7. Распространение положительного опыта и расширение участников программы. Обязательное условие реализации программы: Подготовка региональных и муниципальных консультантов, курирующих пилотные школы, и предоставление школам ресурсной поддержки. Оптимальная продолжительность программы: 3-4 года.

СПАСИБО ЗА ВНИМАНИЕ!