Наянова М.А., зав.кафедрой управления и экономики образования КОИРО Часть 2

Мониторинг – комплекс процедур по наблюдению, текущему оцениванию преобразований управляемого объекта и направления этих преобразований на достижение заданных параметров развития объекта. О ПРЕДЕЛЕНИЕ

Мониторинг в образовании – система сбора, хранения, обработки и распространения информации о деятельности образовательной системы или отдельных ее элементов, которая обеспечивает непрерывный анализ состояния системы и прогнозирование ее развития в соответствии с запланированными результатами. Мониторинг в образовании – систематическое стандартизированное наблюдение за состоянием и процессом изменений в рамках сферы образования, отслеживание соответствия полученных результатов поставленным целям.

Главной особенностью объектов мониторинга является их динамичность. Все объекты, изучение или обследование которых осуществляется с применением мониторинга, находятся в постоянном изменении, развитии. Постоянное и непрерывное наблюдение; Отслеживание, оценка, прогноз состояния объекта; Сбор информации. К ЛЮЧЕВЫЕ МОМЕНТЫ МОНИТОРИНГА

Ф УНКЦИЯ И ЦЕЛЬ МОНИТОРИНГА Целью мониторинга является обеспечение эффективного информационного отражения состояния образования в ОУ, аналитическое обобщение результатов деятельности, разработка прогноза ее обеспечения и развития. Мониторинг в управлении выполняет предупредительную функцию - предупреждение о том или ином неблагополучии, опасности для эффективного функционирования объекта.

З АДАЧИ МОНИТОРИНГА разработка технологии отбора запросов к системе образования и методик сбора информации; сбор информации; разработка компьютерной основы для обобщения, классификации и первичного анализа информации; обработка, корректировка и ввод информации в базы данных; осуществление первичного анализа информации, классификация информационных массивов; создание информационных банков; выявление основных тенденций развития системы образования; создание прогнозов, аналитических и справочных материалов; разработка основ и критериев стандартизации системы образования; выявление сферы распространения передового педагогического опыта преподавания и его организационно-управленческого обеспечения.

С ПОМОЩЬЮ МОНИТОРИНГА ОБРАЗОВАНИЯ МОЖНО ОПРЕДЕЛИТЬ приемлемо ли образование для решения задач социального процесса, т.е. соответствующего ли оно качества; доступно ли качественное образование всем обучающимся данного возраста; каковы результаты образования; какие ресурсы обеспечивают качественное образование; какие факторы и меры воздействия могут привести к повышению качества образования для различных групп обучающихся; как участвует общество в решении этих вопросов; какие меры для улучшения образования может предпринять правительство и то или иное сообщество.

О СНОВНЫЕ ПОНЯТИЯ МОНИТОРИНГА ОБРАЗОВАНИЯ эмпирическое осмысление и анализ процесса действий, попытка идентификации результатов хода планируемых программ и улучшения цикла действий. оценивание, включающее процессы анализа, мониторинга и управления социальными последствиями запланированных интервенций (программы, планы, проекты). систематический сбор информации о деятельности, ее характеристиках и результатах, который проводится для повышения эффективности деятельности, разработки планов на будущее. система непрерывного наблюдения за каким-либо социальным или экономическим процессом, оценка его соответствия заданным параметрам и целям. Оценивание Ассессмент Оценка Мониторинг

К ОМПОНЕНТЫ МОНИТОРИНГА активный, целенаправленный, плановый процесс наблюдения за объектом мониторинга, факторами воздействия, оценка фактического состояния среды сбор информации интерпретация данных обработка данных соответствие эталону (требованию, стандарту, закону и пр.), сравнительные данные для сходных систем, временные динамические ряды основания для сравнения и измерения

В ИДЫ МОНИТОРИНГА По характеру используемых методов и методик Статистический Мягкий По направленности Мониторинг условий Мониторинг процесса Мониторинг результатов По масштабу Стратегический Тактический Оперативный

По этапам обучения ВходнойОтборочныйПромежуточныйИтоговый По временной зависимости РетроспективныйОпережающийТекущий По частоте процедур РазовыйПериодическийСистематический В ИДЫ МОНИТОРИНГА

По объекту ЛокальныйВыборочныйСплошной По организационным формам ИндивидуальныйГрупповойФронтальный По инструментарию Стандартизиро- ванный Нестандарти- зированный Матричный

В ИДЫ МОНИТОРИНГА По целевым установкам (назначению) Базовый (фоновый, «бдительности», «предусмотритель- ности») Проблемный Основная цель предупреждение о потенциальных опасностях и рисках. Предмет мониторинга - сложные системы. Стремление к комплексному, многоаспектному измерению системы, покрывающее все поле возможных сбоев в функционировании и развитии системы. Основная цель отслеживание и предупреждение о реальных, осознанных опасностях и рисках. Предмет мониторинга относительно простые системы, отдельные проблемы, задачи.

В ИДЫ МОНИТОРИНГА По основаниям для сравнения и каузальных выводов Информационный ДинамическийСравнительный сбор, накопление, систематизация и распространение информации основание для экспертизы – данные о динамике развития того или иного объекта, явления или показателя основание для экспертизы – результаты идентичного обследования других образовательных систем

О РГАНИЗАЦИОННО - ТЕХНОЛОГИЧЕСКИЕ УСЛОВИЯ МОНИТОРИНГА Преемственность Преемственность условие сопоставимости эмпирических данных, получаемых при многократно повторяемой их регистрации. Непрерывность Непрерывность хронологически упорядоченная последовательность актов регистрации и анализа эмпирических данных. Автоматизация Автоматизация автоматическая (компьютерная) обработка фактических данных, полученных в результате мониторинга, и выдача их в виде готовой продукции.

С ИСТЕМА МОНИТОРИНГА КАЧЕСТВА ОБРАЗОВАНИЯ В ОБРАЗОВАТЕЛЬНОМ УЧРЕЖДЕНИИ Цель ОбъектСубъект Основные направления ЭтапыИнструментарий Цель мониторинга - оперативно и своевременно выявлять все изменения, происходящие в сфере деятельности образовательного учреждения.

О БЪЕКТЫ МОНИТОРИНГА Структурные элементы образовательных систем обучающийся педагог класс/группа Компоненты образовательного процесса условияорганизациясодержаниерезультатысредства Взаимодействие систем с окружающим социумом

С УБЪЕКТЫ МОНИТОРИНГА Все участники образовательного процесса: педагоги, обучающиеся, родители, общественность

О СНОВНЫЕ НАПРАВЛЕНИЯ МОНИТОРИНГА соблюдение законодательства; обеспечение обязательности общего образования; оснащенность образовательного процесса; качество обученности и обучения; уровень учебных достижений; состояние здоровья обучаемых и воспитанников; профессиональное мастерство педагогов; структурный и функциональный анализ образовательных систем; состояние делопроизводства; организация управленческой деятельности; эффективность воспитательных систем; выполнение социального заказа; психологический климат в образовательной системе

Э ТАПЫ МОНИТОРИНГА Подготовительный:Практический: Аналитический: постановка цели; определение объекта и направлений исследований; выбор критериев и инструментария сбор информации; анализ документации; мониторинг уровня учебных достижений; анкетирование, тестирование; самоанализ деятельности обработка результатов; систематизация информации; анализ данных; выводы, принятие решения; разработка рекомендаций; определение дальнейших объектов мониторинга

21 Средства Составляющие И НСТРУМЕНТАРИЙ МОНИТОРИНГА контрольно-измерительные материалы; анализ статистической отчетности; анализ документации ОУ; социологические исследования; анкетирование, тестирование; самооценка; наблюдение; портфолио обучающихся и педагогов; мониторинг учебных достижений и т.д. четко определенный объект мониторинга; заданные параметры развития объекта; критерии оценивания заданных параметров; технология проведения текущего контроля; банк данных по регулированию процесса, направленного на достижение конечного результата

ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ У СЛОВИЯ, НЕОБХОДИМЫЕ ДЛЯ ПРИНЯТИЯ УПРАВЛЕНЧЕСКОГО РЕШЕНИЯ Первичная исходная информация Принятие управленческого решения Аналитический показатель - ИНДИКАТОР

ИНДИКАТОР ИНДИКАТОР – количественная или качественная переменная, содержательно описывающая определенную характеристику системы, процесса. ЧТО ТАКОЕ «ИНДИКАТОР»? Цель формирования СИСТЕМЫ ИНДИКАТОРОВ СИСТЕМЫ ИНДИКАТОРОВ – обеспечить пользователя аналитической информацией о состоянии и тенденциях развития системы образования для принятия решений

ИНДИКАТОРЫ В управлении образованием ИНДИКАТОРЫ используются для: Оценки качества образования и принятия управленческих решений; Оценки степени достижения цели, решения задачи; Мониторинга хода реализации проекта, программы. ДЛЯ ЧЕГО ИСПОЛЬЗУЮТСЯ ИНДИКАТОРЫ?

П ЕРВИЧНЫЕ ДАННЫЕ И ИНДИКАТОРЫ ( ПРИМЕР 1) Численность учащихся 5-9 классов общеобразовательных учебных заведений Охват основным общим образованием ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ

П ЕРВИЧНЫЕ ДАННЫЕ И ИНДИКАТОРЫ ( ПРИМЕР 2) Численность второгодников, обучающихся в 5-9 классах общеобразовательного учебного заведения Доля второгодников в общей численности обучающихся в 5-9 классах общеобразовательного учебного заведения ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ

ДинамическийанализДинамическийанализ Сопоставительный Сопоставительныйанализ анализ Контекстный Контекстныйанализ анализ Методы качественной оценки системы образования ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ

Динамическийанализ Изменение показателей во времени внутри самой системы СРАВНЕНИЕ С СОБОЙ отслеживание изменений, выявление тенденций и определение их причин; оценку результативности целенаправленного управленческого воздействия на те или иные характеристики системы Направлен на: Методы качественной оценки системы образования ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ

сравнение характеристик системы с аналогичными характеристиками других образовательных систем СРАВНЕНИЕ С ДРУГИМИ: со средними данными с другими ОУ/территориями Сопоставительный Сопоставительныйанализ выявление тенденций, отклонений от сложившихся соотношений, количественных характеристик закономерностей Направлен на: Методы качественной оценки системы образования ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ

связь образования с социально-экономической ситуацией СРАВНЕНИЕ С СОБОЙ ИЛИ ДРУГИМИ ОБЪЕКТАМИ С УЧЕТОМ КОНТЕКСТА Контекстный Контекстныйанализ Методы качественной оценки системы образования ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ

КОНТЕКСТНЫЕ ПОКАЗАТЕЛИ 1 Экономическое положение территории Экономическое положение территории: ВРП на душу населения, доходы бюджета на душу населения. Отраслевая структура экономики, структура занятости 2 Демографи- ческая ситуация Демографи- ческая ситуация: соотношение городского и сельского населения 3 Научно- культурная и образователь- ная инфраструктура ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ

Оценить систему в целом, оценить результативность целенаправленного управленческого воздействия на те или иные характеристики системы; Выявить связи и зависимости результатов от ресурсов, условий и внесистемных факторов; Идентифицировать сложившиеся тенденции, модели и соотношения; Выявить отклонения от сложившихся тенденций и соотношений, идентифицировать сильные и слабые стороны образовательной системы; Определить целевые значения индикаторов. Динамический, сопоставительный, контекстный анализ позволяют:

Объекты оценивания Показатели качества образования Индикаторы к показателям оценки Подходы к оцениванию образовательной деятельности АЛГОРИТМ ФОРМИРОВАНИЯ ПОКАЗАТЕЛЕЙ И ИНДИКАТОРОВ ОЦЕНКИ КАЧЕСТВА ДЕЯТЕЛЬНОСТИ ОБРАЗОВАТЕЛЬНОЙ СИСТЕМЫ

объединены в группы по объектам оценивания; должны рассматриваться во взаимосвязи, так как при оценке результатов деятельности будет устанавливаться влияние показателей друг на друга образовательная программа; условия организации образовательного процесса; результаты образовательной деятельности. Объекты оценивания Показатели качества образования АЛГОРИТМ ФОРМИРОВАНИЯ ПОКАЗАТЕЛЕЙ И ИНДИКАТОРОВ ОЦЕНКИ КАЧЕСТВА ДЕЯТЕЛЬНОСТИ ОБРАЗОВАТЕЛЬНОЙ СИСТЕМЫ

выступают в качестве инструмента, определяющего содержание оценки и обеспечивающего измерение уровня достижений результатов деятельности образовательной системы Индикаторы к показателям оценки Подходы к оцениванию образовательной деятельности Устанавливается вес групп показателей по объектам оценивания: (например, минимальный - при оценке образовательной программы; средний – при оценке условий организации образовательного процесса; максимальный – при оценке результативности образовательной деятельности) АЛГОРИТМ ФОРМИРОВАНИЯ ПОКАЗАТЕЛЕЙ И ИНДИКАТОРОВ ОЦЕНКИ КАЧЕСТВА ДЕЯТЕЛЬНОСТИ ОБРАЗОВАТЕЛЬНОЙ СИСТЕМЫ

ПОДХОДЫ К ОЦЕНИВАНИЮ С ПОМОЩЬЮ ПОКАЗАТЕЛЕЙ Фиксированная шкала оценки (от 1 балла до 5 баллов за индикатор) Фиксированный максимальный балл по показателю, группе показателей, оценивающих определенный объект Максимальный балл определяется набором индикаторов по каждому показателю оценки

ПРИМЕР 2 Ресурсы и условия ОУ Доля педагогов, имеющих высшее педагогическое образование 50-75% - 1 балл; % - 2 балла п/п Показатели оценки Индикаторы Единица измерения Динамика (% от результата предыдущего года) 1 Уровень обученности Средний балл ЕГЭ по русскому языкубаллы 3 Ресурсы и условия ОУ Программа развития учреждения: наличие; соответствие требованиям к составлению программ; планирование работы ОУ в соответствии с заявленными в Программе целями; наличие системы мониторинга Программы; До 4 баллов (по 1 баллу за каждый пункт)

Контекстные показатели – характеристика условий функционирования системы образования Статистика образования Специальные статистические и социологические обследования Социально- экономическая статистика и демография База данных по образованию Методология расчета индикаторов Индикаторы, описывающие состояние и развитие системы образования Коэффициенты- дефляторы, индексы цен и т.д. Международные индикаторы, средние значения по РФ и т.д. Показатели и инструменты для сопоставительного анализа Показатели для оценки системы образования, анализа тенденций и проблем СТРУКТУРА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ АНАЛИЗА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ

Сбор данных Первичная обработка данных (расчет индикаторов) Анализ индикаторов Информационно-аналитическое обеспечение участия общественности в управлении Информационно-аналитическое обеспечение принятия решений Принятие управленческих решений Оценка результативности управленческих решений СХЕМА УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ НА ОСНОВЕ ИНДИКАТОРОВ Выявление связей и зависимостей результатов от условий и внесистемных факторов Сравнительный анализ для выявления отклонений – идентификации сильных и слабых сторон системы и определения целевых значений индикаторов Выработка: Стратегии – приоритеты развития системы, Тактики – на какие факторы воздействовать для улучшения характеристик системы

Цель, задача В чем выражается результат решения? Какая характеристика системы меняется? Как можно измерить это изменение? Есть стандартный индикатор Индикатор Выбор Разработка Да Нет ПРИНЦИПИАЛЬНАЯ СХЕМА ПОДБОРА ИНДИКАТОРОВ

ТИПЫ ИНДИКАТОРОВ Индикаторы, характеризующие затраты Индикаторы, характеризующие непосредственные результаты мероприятий Индикаторы, характеризующие эффект от мероприятий Для чего? Что это даст? В чем выражается? Наличие деятельности

Увеличение/ /оптимизация наполняемости классов/групп и укрупнение ОУ АНАЛИЗ ПОЛНОТЫ И ИЗБЫТОЧНОСТИ СИСТЕМЫ ПОКАЗАТЕЛЕЙ Направление Переход на нормативное подушевое финансирование (НПФ) образовательных учреждений Индикаторы затрат Относительное (в % к предыдущему году) повышение величины нормативов подушевого финансирования для образовательных учреждений Индикаторы результатов Доля учебных расходов в нормативе бюджетного финансирования образовательных учреждений Индикаторы эффекта Рассмотрение системы показателей по цепочке «затраты – результаты - эффект» позволяет осуществить анализ комплексности системы, выявить избыточные или отсутствующие показатели

Степень достижения запланированных результатов и намеченных целей оценивается на основе сопоставления фактически достигнутых результатов с их плановыми значениями, определяемыми в процессе разработки программы. Что взять за основу планируемых целевых значений для показателей конечных и непосредственных результатов? значения показателя за прошлые периоды международные рейтинги и другие показатели, применяемые для международных сопоставлений показатели других организаций, являющихся примерами "лучшей практики" показатели аналогичных систем, программ и т.д. сложившиеся тенденции, факторы и условия, определяющие динамику показателей ЦЕЛЕВЫЕ ЗНАЧЕНИЯ

Задача (ФЦПРО): Реализация комплекса мероприятий по повышению инвестиционной привлекательности сферы образования, способствующих притоку инвестиций, а также финансовых, материальных, интеллектуальных и иных ресурсов в систему образования Показатели: рост поступлений финансовых средств от спонсоров и меценатов по отношению к предыдущему году; рост объема инвестиций в сферу образования из различных источников по отношению к предыдущему году: увеличение объема средств, привлеченных в сферу образования по отношению к предыдущему году ЦЕЛЕВЫЕ ЗНАЧЕНИЯ – международные показатели

Целевые показатели Значение показателя (%) Доля выпускников основной школы, обладающих ИКТ-компетентностью Доля педагогических работников, демонстрирующих ИКТ-компетентность Доля общеобразовательных учреждений, учреждений начального и среднего профессионального образования, имеющих высокоскоростной доступ к сети Интернет ОБЛАСТНАЯ ЦЕЛЕВАЯ ПРОГРАММА «ИНФОРМАТИЗАЦИЯ ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ» ЦЕЛЕВЫЕ ЗНАЧЕНИЯ – желаемое состояние

КПМО, направление 4: «Развитие сети общеобразовательных учреждений региона: обеспечение условий для получения качественного общего образования независимо от места жительства» Показатель: Рост средней наполняемости классов в общеобразовательных учреждениях, расположенных в городской местности, в сравнении с 2006 годом, в % Рост средней наполняемости классов в общеобразовательных учреждениях, расположенных в сельской местности, в сравнении с 2006 годом, в % ЦЕЛЕВЫЕ ЗНАЧЕНИЯ – динамика

средние и «равнение на лучших» С РАВНЕНИЕ С ЛУЧШИМИ НЕ ВСЕГДА КОРРЕКТНО ! Результаты российских учащихся в зависимости от расположения образовательных учреждений Нельзя требовать одинаковых результатов от систем, находящихся в разных условиях