Оценочные процедуры в РСОКО. Анализ опыта Чувашской Республики. С.А. Боченков

Логическая модель системы оценки качества образования © С.А. Боченков Перечень включает около 40 продуктов задач Например, перед муниципальным уровнем управления поставлено порядка 20 задач, разделённых на три блока: результаты, условия, эффективность Комплекс включает 80 ключевых индикаторов, для расчёта значений которых используется около 170 показателей. Сформулировано порядка 70 возможных запросов внешних и внутренних пользователей об уровне индивидуальных образовательных достижений, качестве образовательных программ, территориальных образовательных систем и образовательных учреждений Распределены и закреплены зоны ответственности за показатели качества образования

Логическая модель РСОКО: согласование элементов, поиск дефицитов. Информационные продукты Запросы 1.Все ли запросы обеспечены продуктами? 2.Могут ли авторы запросов выступать заказчиками соответствующих продуктов? 3.Какие из продуктов должны выставляться в свободном доступе? 4.… Информационная основа – оценочные процедуры Информационные продукты 1.Все ли продукты имеют информационную основу в виде одной или нескольких оценочных процедур (достаточен ли набор оценочных процедур для ответа на все актуальные запросы)? 2.Каким образом базы данных оценочных процедур должны быть обработаны для ответа на соответствующие запросы? 3.Данные каких оценочных процедур необходимо сопоставить для ответа на соответствующий запрос? 4.…

Типовая модель РСОКО и шаги по ее построению Перечень запросов о качестве образования (об индивидуальных достижениях, образовательных программ, образовательных систем) от потенциальных заказчиков (перечень возможных интересов) – табл.1.1 – получаем ответ на вопросы «кто, что, о чём хочет знать и потенциально выступать заказчиком» Перечень продуктов отвечающих заказчикам на запросы о качестве образования (об индивидуальных достижениях, образовательных программ, образовательных систем) – табл.2.1 – 2.5 Перечень полномочий и функций по контролю, надзору, оценке качества образования – получаем ответ на вопрос «кто за что отвечает?» и «кто что кому должен?» (кто с кем в какой субординации находится) Организационно- управленческая модель (кто с кем в какой субординации находится) Какие из продуктов и кому должны представляться обязательно (по норме закона) и эти продукты нужно делать обязательно и за бюджетные ресурсы, а какие нужны, но законодательством не предусмотрены (делаются по остаточному принципу или при наличие внешнего заказа) Методическое обеспечение РСОКО (аннотированный перечень методик под продукты с указанием имеющихся наработок и диффицитов) Материально-техническое обеспечение РСОКО (анализ материально-технической базы создания продуктов и функционирования системы) Кадровое обеспечение РСОКО (анализ кадрового обеспечения создания продуктов) Финансовое обеспечение РСОКО (анализ источников и объёмов финансирования функционирования системы и создания продуктов) Нормативно-правовое обеспечение РСОКО (перечень нормативно-правовых документов, обеспечивающих создание, функционирования системы и регламент представления продуктов заказчикам) Информационно- технологическое обеспечение РСОКО (порядок информационного обмена между структурами РСОКО и заказчиками) Организационно-техническое обеспечение РСОКО (общая модель структуры с перечнем полномочий каждого участника) Структура характеристик (показателей) качества образования на региональном уровне Приоритеты образовательной политики (что такое хорошо, что такое плохо, какое образование есть качественное ) Зоны ответственности за характеристики качества образования (кто за какую позицию отвечает по закону) ДОРОЖНАЯ КАРТА план создания и апробации организационных систем и технологий оценки качества общего и профессионального образования с учетом имеющихся в регионе условий БЛОК 1 БЛОК 2 БЛОК 3 БЛОК 5 БЛОК 4 БЛОК 6

Статистическое наблюдение Итоговая аттестация выпускников 11 классов в форме ЕГЭ Итоговая аттестация выпускников 9 классов в форме ГИА Измерение уровня готовности к обучению в основной школе выпускников начальной школы Мониторинг образовательных и трудовых траекторий выпускников 11 классов Аттестация учителей Мониторинг уровня образовательных достижений учащихся по учебным предметам (по заказу школ, учителей, попсоветов) Международные и федеральные исследования в области качества образования (PIRLS, TIMSS, PISA, готовность к обучению в школе и т.д.) Мониторинг реализации проектов и программ (мониторинг КПМО, Наша Новая Школа, целевые программы и т.д.) Оценка уровня удовлетворённости качеством образовательных услуг Предметные олимпиады Основные процедуры РСОКО Чувашской Республики Назначение (Для получения каких информационных продуктов используется? Кому и на какие запросы отвечает?) Доверие к результатам Кто занимается проведением оценивания и анализом результатов? Модель анализа Какие ключевые линии анализа и система показателей использована? Как проведены сравнение, динамика, факторный анализ? Связь с запросами?

Оценка уровня образовательных достижений учащихся. Проводится в форме бланкового тестирования по отдельным классам и предметам с последующим анализом результатов под задачи управления качеством образования. - оценка уровня готовности учащихся класса, школы, муниципалитета к государственной итоговой аттестации в форме ЕГЭ (или ГИА 9 класс) по определённому предмету (репетиционный экзамен); - оценка уровня индивидуальных учебных достижений; - выявление проблемных зон в усвоении отдельных дидактических единиц; - соответствие системы внешней и внутренней оценки, применяемой учителем; - соответствие требований учителя и образовательного стандарта при возникновении конфликтной ситуации; - как отдельные формы внешней оценки уровня обученности учащихся в системе внутришкольного контроля; - аккредитационное тестирование. - оценка уровня готовности учащихся класса, школы, муниципалитета к государственной итоговой аттестации в форме ЕГЭ (или ГИА 9 класс) по определённому предмету (репетиционный экзамен); - оценка уровня индивидуальных учебных достижений; - выявление проблемных зон в усвоении отдельных дидактических единиц; - соответствие системы внешней и внутренней оценки, применяемой учителем; - соответствие требований учителя и образовательного стандарта при возникновении конфликтной ситуации; - как отдельные формы внешней оценки уровня обученности учащихся в системе внутришкольного контроля; - аккредитационное тестирование. Как могут использоваться результаты (кто может использовать и для каких целей):

Основные тезисы, характеризующие общие подходы к анализу результатов ЕГЭ 1. Анализ и оценка делается на совокупных предметных результатах, продемонстрирован- ных каждым выпускником, т.е. единицей расчетов становится не человеко-экзамены, оценки и баллы, а совокупный индивидуальный результат выпускника. 2. Анализ и оценка делается на результатах ЕГЭ выпускников дневных и вечерних школ данного учебного года. 3. В оценке применяются четыре ключевые линии: 4. Для снятия напряжённости в ситуации сравнения выделено несколько групп школ по ряду контекстных характеристик. 5. В комплексе индикаторов выделены два аспекта – управленческий (сигнал вверх – отчётность, вниз – стимул о том, что значимо в данной системе управления) и исследовательский (для выявления проблемных зон и понимания нюансов ситуации). 6. Идёт поиск факторов, обнаруживающих значимую связь с результатами оценочных процедур. 1. Анализ и оценка делается на совокупных предметных результатах, продемонстрирован- ных каждым выпускником, т.е. единицей расчетов становится не человеко-экзамены, оценки и баллы, а совокупный индивидуальный результат выпускника. 2. Анализ и оценка делается на результатах ЕГЭ выпускников дневных и вечерних школ данного учебного года. 3. В оценке применяются четыре ключевые линии: 4. Для снятия напряжённости в ситуации сравнения выделено несколько групп школ по ряду контекстных характеристик. 5. В комплексе индикаторов выделены два аспекта – управленческий (сигнал вверх – отчётность, вниз – стимул о том, что значимо в данной системе управления) и исследовательский (для выявления проблемных зон и понимания нюансов ситуации). 6. Идёт поиск факторов, обнаруживающих значимую связь с результатами оценочных процедур.

А23 Механика – квантовая физика А25 Физика и методы научного познания. Механика – квантовая физика В2 Механика – квантовая физика. С3 Механика – квантовая физика. (Качественная задача). © С.А. Боченков

Для получения каких информационных продуктов используется? Кому и на какие запросы отвечает?) Информационные продукты: Запросы Оценка деятельности системы общего образования Чувашской Республики по результатам ЕГЭ Оценка деятельности образовательного учреждения по результатам ЕГЭ Каков уровень освоения образовательного стандарта и качество (уровень) учебных достижений (соответствуют ли условия и результаты образовательной деятельности требованиям стандарта (регламента образовательной услуги))? Каково состояние сети общеобразовательных учреждений с точки зрения удовлетворения потребностей населения - насколько равны возможности получить образование соответствующего качества? Какие результаты достигаются (гарантируются) данным образовательным учреждением, в каких условиях, какой ценой? Обеспечивают ли реализуемые программы возможность последующего продолжения образования в соответствии с уровнем притязаний? Какое из учреждений сети (в пределах транспортной доступности) в большей степени соответствует индивидуальным потребностям семьи? Каковы направления и уровень профильного обучения? Отбор претендентов для грантовой адресной поддержки в рамках целевых или социальных программ, для определения точек меценатской и (или) инвестиционной привлекательности.

Каковы результаты (условия, цена) достигаемые (гарантируемые) данным образовательным учреждением? Каковы результаты (условия, цена) достигаемые (гарантируемые) данным образовательным учреждением? Соответствуют ли условия и результаты образовательной деятельности требованиям стандарта (регламента образовательной услуги)? Соответствуют ли условия и качества образовательной деятельности в учреждении запросам обучающихся и семьи? Соответствуют ли условия и качества образовательной деятельности в учреждении запросам обучающихся и семьи? Публичный доклад образовательного учреждения Публичный доклад образовательного учреждения Кадастр образовательных учреждений и муниципальных образовательных систем Чувашии: условия осуществления образовательного процесса и результаты Портфолио ученика, карта индивидуального развития учащегося Портфолио ученика, карта индивидуального развития учащегося Лист оценки образовательных достижений учащегося Лист оценки образовательных достижений учащегося Примеры запросов: Примеры запросов: Примеры продуктов системы оценки качества образования, отвечающих на эти запросы: Индивидуальные образовательные учреждения Образовательные программы Территориальные образовательные системы и образовательные учреждения

Объект управления – муниципальная система образования и образовательное учреждение. Ключевые задачи. Объект управления – муниципальная система образования и образовательное учреждение. Ключевые задачи. Снижение доли необучающихся детей в возрасте 7-15 лет в общей численности населения 7-15 лет. Снижение потерь (отсева) учащихся в процессе получения полного среднего образования. Сокращение доли детей, оставшихся без попечения родителей и находящихся в государственных (муниципальных) учреждениях всех типов. Рост уровня учебных достижений (уровень освоения образовательного стандарта и качество учебных достижений). Рост уровня внеучебных достижений. Включение выпускников в жизнь (рост доли выпускников 9 и 11 классов, получивших определённый статус и доли выпускников 9 и 11 классов, продолживших образование). Снижение преступности среди несовершеннолетних. Рост уровня освоения социальных навыков и компетенций. Обеспечение соответствия результатов требованиям стандартов и запросу потребителей. Развитие материально-технической базы образовательных учреждений, состояние зданий. Обеспечение обучающихся горячим питанием и организация летнего отдыха. Обеспечение квалифицированными кадрами, развитие потенциала управления Информатизация образовательного процесса. Введение финансово-хозяйственной самостоятельности, нормативно-подушевого финансирования, новой системы оплаты труда, закрепление зависимости финансирования от результатов. Обеспечение равного доступа к образовательным ресурсам общего и коллективного пользования. Обеспечение условий для организации предшкольной подготовки. Обеспечение образовательного процесса в соответствии с современными требованиями, создание условий для удовлетворения индивидуальных запросов учащихся в системе общего и дополнительного образования. Распространение внешней независимой оценки качества образования. результаты: условия:

Объект управления – муниципальная система образования и образовательное учреждение. Ключевые задачи. Объект управления – муниципальная система образования и образовательное учреждение. Ключевые задачи. Обеспечение эффективности использования ресурсов (повышение эффективности использования ресурсов в системе образования) – оптимизация размера школы, класса, соотношения: учитель- ученик, учитель - административный и вспомогательный персона. Снижение объема неэффективных расходов на управление кадровыми ресурсами и характеристиками сети. Отношение административного, учебно-вспомогательного и обслуживающего персонала к штатной численности педагогических работников. Объем неэффективных расходов на управление кадровыми ресурсами на 1 учащегося в год (учителя) при целевом значении числа учащихся на одного учителя. Объем неэффективных расходов обусловленные излишней штатной численностью (при норме 40% от штата педагогических работников) иных работников общеобразовательных учреждений (на 1 учащегося). Объем неэффективных расходов, связанных с характеристиками сети (на 1 учащегося). эффективность использования ресурсов: Управление системой обеспечения качества образования предполагает привлечение и перераспределение ресурсов, которое определяет вероятность достижения результата. © С.А. Боченков

Результаты обучения Уровень социализации Уровень учебных достижений Включение выпускников в жизнь Соответствие требованиям стандартов и запросам потребителей Освоение социальных навыков и компетенций Уровень освоения стандарта Соблюдение нормативных требований Безопасность и здоровье Соответствие заказу государства Уровень преступности среди несовершеннолетних Уровень внеучебных достижений Соответствие запросу родителей и учащихся Индивидуальные характеристики Сетевые характеристики Характеристики потенциала управления Состояние зданий Обеспечение квалифицированны- ми кадрами Обеспечение горячим питанием Организация отдыха детей Условия финансирования Информатизация Наличие и доступность ресурсов общего пользования Соотношение учащихся и преподавателей Распространение внешней оценки качества образов. Наличие и доступность условий подготовки к школе Условия для удовлетворения индивид. запросов в общем образовании Условия для удовлетворения индивид. запросов в дополн. образовании Средний размер школы КАЧЕСТВО РЕЗУЛЬТАТОВ КАЧЕСТВО СОЗДАВАЕМЫХ УСЛОВИЙ И ИСПОЛЬЗОВАНИЯ РЕСУРСОВ СОЦИАЛЬНО- ЭКОНОМИЧЕСКИЙ ИНДЕКС ТЕРРИТОРИИ, ОТРАЖАЮЩИЙ КОНТЕКСТ Получение полного среднего образования, уровень потерь и социальная опека Коэффициент охвата полным средним образованием Качество социальной опеки Уровень потерь в образовании ЭФФЕКТИВНОСТЬ ИСПОЛЬЗОВАНИЯ РЕСУРСОВ Объем неэффективных расходов на управление кадровыми ресурсами Объем неэффективных расходов связанных с характеристиками сети Средняя наполняемость классов Комплекс характеристик (показателей) качества образования на региональном уровне.

ВНЕШНЯЯ ОЦЕНКА УРОВНЯ ОБУЧЕННОСТИ: ЕГЭ, ЕМЭ Министерство финансов Чувашской Республики ДАННЫЕ ОБРАЗОВАТЕЛЬНОЙ СТАТИСТИКИ ЛИЦЕНЗИРОВАНИЕ И АТТЕСТАЦИЯ Комплексная оценка уровня социально-экономического развития муниципальных образований Чувашской Республики. Показатели экономического соревнования между муниципалитетами МОНИТОРИНГ ИНДИВИДУАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ И ТРУДОВЫХ ТРАЕКТОРИЙ ВЫПУСКНИКОВ 9 И 11 КЛАССОВ МОНИТОРИНГ СОСТОЯНИЯ САЙТОВ ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ, ПРЕДСТАВЛЯЕМАЯ МОУО Министерство здравоохранения и социального развития Чувашской Республики ОЦЕНКА СОЦИАЛЬНОЙ ТОЛЕРАНТНОСТИ И ОБЩИХ КОМПЕТЕНЦИЙ (ИНФОРМАЦИОННАЯ, КОММУНИКАТИВНАЯ, САМОМЕНЕДЖМЕНТ) МОНИТОРИНГ УДОВЛЕТВОРЁННОСТИ КАЧЕСТВОМ ОБРАЗОВАТЕЛЬНЫХ УСЛУГ Министерство по физической культуре, спорту и туризму Чувашской Республики Министерство внутренних дел по Чувашской Республике Территориальный орган Федеральной службы государственной статистики по Чувашской Республике Министерство культуры, по делам национальностей, информационной политики и архивного дела Чувашской Республики Формулы для расчёта © С.А. Боченков

Разработана циклограмма актуализации значений ключевых показателей качества образования и методика их расчёта Структура системы показателей Характер истика образова тельной системы Наименован ие ключевого показателя Формула расчета Показатели, используемые для расчёта Источники информац ии Дата сбора отчётности Дата актуализации информации Качество результатов системы образования получение образования и уровень потерь, социальная опека охват средним образова нием 1Коэффициен т охвата полным средним образование м (Численность учащихся в 10-11(12) классах /государственные +негосударственные учреждения/+ Численность учащихся в учреждениях НПО на базе основного общего образования + Численность обучающихся в средних специальных учебных заведениях на базе основного образования)/Численность населения в возрасте лет*100 (процент) Численность учащихся в 10-11(12) классах государственных учреждений – ф.76-рик р.5 гр.10 стр.20 Форма 76 -РИК 1 октября 1 ноября следующего за отчётным года Численность учащихся в 10-11(12) классах негосударственных учреждений - ф.ОШ-1 (НОУ) р.2 гр.4 (стр.10+11) Форма ОШ-1 (НОУ) 7 сентября 1 ноября следующего за отчётным года Численность учащихся в учреждениях НПО на базе основного общего образования – ф.1- профтех(сводная) р.1 стр.04 гр.17 Форма 1 (профтех) 20 января 20 января следующего за отчётным года

Сергей Анатольевич Боченков, Приглашение к сотрудничеству. 2. Презентация «Модель анализа и интерпретации результатов ЕГЭ и ГИА на региональном уровне: опыт Чувашской Республики» доступна по ссылке: и здесь. 3. Статья автора в сборнике Международной научно-практической конференции «Тенденции развития образования: Проблемы управления и оценки качества образования» февраля 2011 года, г. Москва, МВШСЭН 4. Сборник «Анализ результатов Единого Государственного Экзамена – 2010 по Чувашской Республике. Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям» 5. Сборник «Оценка деятельности МОУ "СОШ для примера" -ского района Чувашской Республики по результатам единого государственного экзамена » 6. Презентация «Информационное обеспечение принятия управленческих решений. Анализ опыта Чувашской Республики».