Педагогические измерения в системе оценки качества образования

Создание общероссийской системы оценки качества образования - один из ведущих приоритетов национальной образовательной политики

Основополагающие цели оценки С помощью анализа – показать, какова текущая ситуация С помощью сравнения – выявить, какой ситуация могла бы быть С помощью обсуждения – решить, какой ситуация должна быть

ПРОЕКТИРОВАНИЕ РАЗВИТИЯ МУНИЦИПАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ

Нормативная база Приказ министерства образования Иркутской области 257-мпр от г. «Об утверждении Положения о Координационном совете по управлению развитием образовательных систем и инновационных комплексов» Приказ министерства образования Иркутской области 257-мпр от г. «Об утверждении Положения о Координационном совете по управлению развитием образовательных систем и инновационных комплексов» Приложение 1 Положение о Координационном совете по управлению развитием образовательных систем и инновационных комплексов Приложение 2 Состав Координационного совета по управлению развитием образовательных систем и инновационных комплексов Иркутской области Приложение 3 Положение о педагогической площадке ОГОУ ДПО «Институт развития образования Иркутской области»

Нормативная база Положение об Аналитико-экспертном Совете по сопровождению развития образовательных систем Положение об Аналитико-экспертном Совете по сопровождению развития образовательных систем Приказ министерства образования Иркутской области 361-мпр от г. «О создании педагогических площадок ОГОУ ДПО ˝Институт развития образования Иркутской области˝» Приказ министерства образования Иркутской области 361-мпр от г. «О создании педагогических площадок ОГОУ ДПО ˝Институт развития образования Иркутской области˝» Концепция комплексного проекта «Управление развитием образовательных систем и инновационных комплексов в Иркутской области» Концепция комплексного проекта «Управление развитием образовательных систем и инновационных комплексов в Иркутской области» Концепция развития системы оценки качества образования на муниципальном уровне Концепция развития системы оценки качества образования на муниципальном уровне

Педагогическая площадка Института представляет собой особую форму организации процесса развития образовательных систем и инновационных комплексов в виде совместной деятельности в сфере науки и практики осуществляемой на основании соглашения о сотрудничестве и взаимодействии

Вид Педагогической площадки определяется по типу ведущей образовательной деятельности: проектно-исследовательские площадки (ведущей является поисково- исследовательская деятельность); инновационные площадки (ведущей является инновационно-апробирующая деятельность); адаптационно-тиражирующие площадки (ведущей является деятельность, транслирующая разработанные и апробированные новшества).

МИНИСТЕРСТВО ОБРАЗОВАНИЯ ИРКУТСКОЙ ОБЛАСТИ П Р И К А З Приказ министерства образования Иркутской области 361-мпр от г. «О создании педагогических площадок ОГОУ ДПО ˝Институт развития образования Иркутской области˝» г. 361-мпр О создании педагогических площадок ОГОУ ДПО «Институт развития образования Иркутской области»

создать педагогические площадки по следующим направлениям: «Региональная система оценки качества образования»: г. г. Усть-Илимск, Усть-Илимский, Черемховский, Шелеховский, Боханский, Жигаловский, Киренский и Усть-Кутский районы; «Развитие сети ОУ»: Усть-Илимский, Черемховский, Боханский, Жигаловский, Киренский и Усть-Кутский районы; «Автоматизация управления ОУ и МОУО»: Усть-Илимский, Черемховский, Шелеховский, Боханский, Киренский районы; «Модернизация системы повышения квалификации работников системы образования»: г. Усть-Илимск.

Муниципальная система оценки качества образования Цель: создание условий повышения качества образования через усиление потоков информации о результатах образования и соответствующих факторах

Структура информационного банка данных качества образования Информационный банк банкданных 1 По объектам анализа: Обучающийся Учитель Учреждение образования 2 По показателям оценки качества образования: Образовательные результаты Содержание образовательного процесса Ресурсы образовательного процесса Управление образовательным процессом 3 По видам исследований: Педагогический аудит Образовательная статистика Итоговая аттестация выпускников 9-х и 11-х классов Единый государственный экзамен Внутришкольный контроль Образовательные достижения учащихся Лицензирование УО Аккредитация Аттестация педагогов Экспертиза в рамках ПНПО международные исследования Pisa и Timss

Единый государственный экзамен в 11 кл. Государственная итоговая аттестация в 9 кл. Гос.аккредитация Лицензирование и аккредитационная экспертиза образовательных учреждений Аттестация педагогов, профессиональные конкурсы педагогического мастерства Модель МСОКО Мониторинг качества предметных достижений обучающихся на различных ступенях обучения Мониторинг профессиональной компетентности педагогов, обеспечивающей современные образовательные результаты Комплексный мониторинг деятельности ОУ

Сертификация услуг на соответствие требований стандартов и Правил функционирования СДС по оценке учебных достижений учащихся образовательных учреждений России В системе общего среднего образования (код ОКУН ): единый государственный экзамен (ЕГЭ); рубежное тестирование учащихся на различных этапах обучения. Прочие образовательные услуги, связанные с оценкой учебных достижений учащихся (код ОКУН ): организация и проведение экспертизы и экспериментальной апробации тестов для оценки учебных достижений; организация и проведение мониторинга оценки учебных достижений учащихся; организация и проведение компьютерного педагогического тестирования.

В России оценка образовательных достижений учащихся достигается в ходе: Государственная итоговая аттестация выпускников средней школы в форме ЕГЭ Государственная итоговая аттестация выпускников основной школы в новой независимой форме (ГИА-9) Международных сравнительных исследований Мониторинговых исследований федерального и регионального уровней Аккредитация образовательных учреждений Аттестации педагогических кадров Различных инновационных проектов, проводимых отдельными научными коллективами

Хронология введения и участия России в международных и федеральных исследованиях оценки качества школьного образования PIRLS2001 г.2006 г. PISA2000 г.2003 г.2006 г.2009 г. TIMSS1995 г.1999 г.2003 г.2007 г. ЕГЭс 2001 г. эксперимент с 2009 г. штатный режим ГИА-9с 2003 г. эксперимент

Международные сравнительные исследования PIRLS - международное исследование прогресса в области грамотности чтения TIMSS – международное исследование тенденций в математическом и естественнонаучном образовании PISA – международная программа по оценке образовательных достижений учащихся

Международные исследования проводятся Международной ассоциацией по оценке учебных достижений IEA и организацией экономического сотрудничества и развития OECD С 2006 по 2009 гг. в международных исследованиях участвовало более 60 стран мира

Международные исследования позволяют: Оценить состояние и тенденции развития общего образования в странах мира Выявить особенности обучения чтению, математике и естественнонаучным предметам в начальной, основной и средней школах разных стран Оценить качество общего образования в России с точки зрения приоритетов в образовании, разработанных международным сообществом

По данным исследования PIRLS В 2006 году российские школьники 4 классов продемонстрировали самые высокие результаты среди своих сверстников из 40 стран мира по умению читать и понимать тексты 61 % российских четвероклассников достигли высокого и повышенного уровней понимания текстов Существенный прирост результатов по группе умений находить информацию в тексте, формулировать выводы, интерпретировать, обобщать информацию и анализировать, оценивать содержание текста

По данным исследования TIMSS Результаты исследований в области математического и естественнонаучного образования показывают, что уровень подготовки школьников 4 и 8 классов устойчиво превышает средние международные показатели Лидеры по результатам – Япония, Южная Корея, Сингапур Российские школьники испытывают затруднения в применении знаний в ситуациях, близких к повседневной жизни, а также в работе с информацией, представленной в различной форме

По данным исследования PISA При оценке способностей выпускников основной школы применять полученные в школе знания и умения в ситуациях личностно и социально значимых, выходящих за пределы чисто учебных (оценка грамотности чтения и понимания текстов, математическая и естественнонаучная грамотность) российские школьники значительно отстают от своих сверстников из большинства развитых стран мира

Мониторинговые исследования федерального уровня РАО совместно с ФИПИ реализуют проекты по стартовой диагностике готовности учащихся к обучению на отдельных этапах обучения и выявлению динамики образовательных достижений: Проект по изучению готовности первоклассников к обучению в школе (обследовано более 36 тысяч первоклассников из 8 регионов) Проект по изучению готовности выпускников начальной школы к обучению в основной школе (обследовано более 11 тысяч учащихся 5 классов)

Схема действующих элементов ОСОКО Российская академия образования Центр оценки качества образования Министерство образования и науки РФ Федеральная служба по надзору в сфере образования и науки ФИРО ФИПИ ФЦТ Центр разработки тестов Служба образовательного мониторинга Служба экспертизы и сертификации тестовых материалов Региональные организации

Министерство образования и науки РФ Формулирует приоритеты в области образования посредством государственного образовательного стандарта

Федеральная служба по надзору в сфере образования и науки Осуществляет контрольно-надзорные мероприятия в регионах РФ в целях обеспечения доступа молодых людей к качественному образованию, а также проводит аккредитацию и лицензирование вузов

Структурные элементы Федеральной службы ФИПИ – разрабатывает стандартизированные проверочные материалы, а также осуществляет подготовку специалистов в области оценки качества образования для организации и проведения оценочных мероприятий.

ФЦТ – осуществляет технологическое и информационное обеспечение организации и проведения ЕГЭ в РФ

Центр оценки качества образования Института содержания и методов обучения Российской академии образования Принимает участие в организации и проведении международных сравнительных исследований качества образования в России Участвует в разработке научно- методического обеспечения ЕГЭ Участвует в разработке системы оценки достижения образовательных стандартов второго поколения

Основные этапы создания диагностического инструментария 1. Разработка тестовых заданий, составление педагогических тестов 2. Внутренняя экспертиза педагогических тестов 3. Апробация педагогических тестов 4. Внешняя экспертиза педагогических тестов

Основные понятия тестологии и принципы разработки тестовых материалов

Тестология это наука о создании и применении тестов в области педагогических измерений это наука о создании и применении тестов в области педагогических измерений

Тестирование аттестационная процедура, позволяющая максимально объективно оценивать соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования – обнаружение несоответствия этих моделей, оценка уровня их несоответствия в количественной форме аттестационная процедура, позволяющая максимально объективно оценивать соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования – обнаружение несоответствия этих моделей, оценка уровня их несоответствия в количественной форме

Тест это инструмент, состоящий из статистически выверенной системы заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов

Тестовое задание это четкое и ясное задание по предметной области, представленное по определенным правилам и требующее однозначного ответа или выполнения определенного алгоритма действий

Принципы разработки тестовых материалов Соответствие содержания целям проверки Принцип соответствия содержания заданий материалу, представленному в ГОС Принцип полноты и значимости Принцип научности Принцип достоверности тестирования Вариативность содержания теста Объективности оценки результатов тестирования Доступность компьютерного тестирования Технологичность тестирования

Состав педагогического теста кодификатор план теста спецификация теста инструкция для тестируемых совокупность заданий возрастающей трудности правильные ответы

Кодификатор – нормативный документ теста, отражающий содержательную сторону теста, описывающую знания, которые проверяются в тесте; составляется с учетом учебной программы.

Кодификатор элементов содержания педагогического теста Код раздела Код контролируемого элемента Элементы содержания, проверяемые заданиями экзаменационной работы 1.МЕХАНИЧЕСКИЕ ЯВЛЕНИЯ 1.1Механическое движение. Траектория. Путь. Перемещение 1.2Равномерное прямолинейное движение

План педагогического теста по физике за курс основного общего образования для проведения оценки качества для предметных достижений в общеобразовательных учреждениях задан ия Обозначени е задания в работе Проверяемые элементы содержания (разделы курса) Коды проверяемых элементов содержания Уровень сложности задания Макс. балл за выполн ение задания Примерное время выполнения задания (мин.) Уровень усвоения знаний Часть 1 1А1 МЕХАНИЧЕСКИЕ ЯВЛЕНИЯ 1.1.Б11-21 Часть 2 19Б1 МЕХАНИЧЕСКИЕ ЯВЛЕНИЯ 1.2П11-21

СТРУКТУРА ТЕСТА ПО УРОВНЮ ЗНАНИЙ уровняУровень знанийВсего заданий% от общего количества 1 Воспроизведение знаний и умений (знание определений, названий, правил и т.д.) Выполнение заданий по образцу (реализация стандартного алгоритма) Творческое применение знаний (перенос знаний, классификация, сравнение и т.д.). 312

Расчёт количества тестовых заданий РазделКол-во часовКоэффициент информативности/кол-во заданий 1Раздел 180,05/10 2Раздел 2320,2/30 3Раздел 3320,2/30 4Раздел 4480,25/50 5Раздел 5500,3/50 Итого:1701/170

Спецификация теста подробный план теста и процедуры тестирования; описывающий цель теста, его структуру и содержание с указанием формы предъявления материала (устная или письменная), с указанием на время, объем заданий и пр.

оценить уровень общеобразовательной подготовки по __________ учащихся ____ классов ОУ с целью итоговой аттестации. Результаты экзамена могут быть использованы при приеме учащихся в профильные классы средней школы 1. Назначение экзаменационной работы

2. Документы, определяющие нормативно-правовую базу педагогического теста Содержание экзаменационной работы определяется на основе следующих документов: 1) Обязательный минимум содержания основного общего образования по физике (приложение к Приказу Минобразования России от «Об утверждении временных требований к обязательному минимуму содержания основного общего образования»). 2) Федеральный компонент государственного стандарта основного общего образования по физике (Приказ Минобразования России от г «Об утверждении федерального компонента государственных образовательных стандартов начального общего, основного общего и среднего (полного) общего образования»).

3. Характеристика структуры и содержания экзаменационной работы Каждый вариант экзаменационной работы состоит из двух частей и включает 22 задания, различающихся формой и уровнем сложности (см. таблицу 1). Часть 1 содержит 18 заданий с выбором ответа. К каждому заданию приводится 4 варианта ответа, из которых верен только один. Часть 2 включает 4 задания, к которым требуется привести краткий ответ в виде набора цифр или числа. Задания 19 и 20 представляют собой задания на установление соответствия позиций, представленных в двух множествах. Задания 21 и 22 содержат расчетные задачи.

Таблица 1 Распределение заданий экзаменационной работы по частям работы Части работы Число заданий Максимальный первичный балл Процент максимального первичного балла за задания данной части от максимального первичного балла за всю работу Тип заданий 1.Часть Задания с выбором ответа 2.Часть Задания с кратким ответом Итого:

4. Распределение заданий экзаменационной работы по содержанию, проверяемым умениям и видам деятельности В экзаменационной работе проверяются знания и умения, приобретенные в результате освоения следующих разделов курса физики основной школы: 1. Механические явления 2. Тепловые явления

Таблица 2 Распределение заданий по основным содержательным разделам (темам) курса физики в зависимости от формы заданий Механические явления853 Тепловые явления752 Итого:15105

Экзаменационная работа разрабатывается исходя из необходимости проверки следующих видов деятельности: 1. Владение основным понятийным аппаратом школьного курса физики: 1.1. Понимание смысла понятий 1.2. Понимание смысла физических явлений 1.3. Понимание смысла физических величин 1.4. Понимание смысла физических законов 2. Владение основами знаний о методах научного познания и экспериментальными умениями 3. Решение задач различного типа и уровня сложности. 4. Понимание текстов физического содержания

5. Распределение заданий экзаменационной работы по уровню сложности

6. Время выполнения работы Примерное время на выполнение заданий составляет: 1) для заданий базового уровня сложности – от 2 до 5 минут 2) для заданий повышенной сложности – от 4 до 10 минут 3) для заданий высокого уровня сложности - от 15 до 30 минут На выполнение всей экзаменационной работы отводится 150 минут

7. Дополнительные материалы и оборудование 8. Условия проведения и проверки теста (требования к специалистам) 9. Рекомендации по подготовке к экзамену 10. План педагогического теста

Этапы создания теста 1 этап Отбор учебного материала, подлежащего тестовому контролю и его спецификация 2 этап Создание заданий в тестовой форме по всему курсу или по проверяемой его части, объединение их в тематические группы, комплектование первичного, пробного теста 3 этап Проверка первичного теста на группе испытуемых (студентов) 4 этап Статистический анализ результатов первичного тестирования, выбраковка и корректировка тестовых заданий. 5 этап Формирование из прошедших проверку заданий собственно теста 6 этап Эмпирическая проверка теста для уточнения педагогических характеристик

Преимущества и недостатки тестового контроля знаний

Преимущества Тестирование является более качественным и объективным способом оценивания, его объективность достигается путем стандартизации процедуры проведения, проверки показателей качества заданий и тестов целиком. Тестирование более справедливый метод, оно ставит всех учащихся в равные условия, как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя. Тесты это более объёмный инструмент, поскольку тестирование может включать в себя задания по всем темам курса, Тест это более точный инструмент, так, например, шкала оценивания теста из 20 вопросов, состоит из 20 делений, в то время, как обычная шкала оценки знаний только из четырёх. Тестирование более эффективно с экономической точки зрения. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть имеют разовый характер.

Недостатки Разработка качественного тестового инструментария длительный, трудоемкий и дорогостоящий процесс. Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания. Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений. В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.