1 Полянская Светлана Юрьевна, начальник отдела ОКО Центра оценки качества образования ГБОУ ДПО НСО «ИРО НСО» ww.nscm.ruww.nscm.ru (383) Новосибирская область Мониторинг качества предметных достижений обучающихся Новосибирской области

2 Предпосылки Отсутствие единой процедуры (делегирование права экспертизы муниципалитетам) Отсутствие единого инструментария Отсутствие единой методики анализа полученных результатов

3 Учебные достижения результат обучения: предметные знания (в широком смысле представления, умения, навыки) и общие компетенции, достигнутые в процессе обучения в одном из образовательных учреждений или при самостоятельном обучении по утвержденной программе.

Министерство образования, науки и инновационной политики Аккредитация ОУ Центр оценки качества образования Экспертиза в ходе аккредитации ОУ Оценка качества предметных достижений

5 Процедуры Оценки в образовательных учреждениях 1. В ходе аккредитации ООУ 2. В ходе аккредитации учреждений СПО 3. В ходе аккредитации учреждений НПО

6 Проект «Мониторинг качества предметных достижений ОУ», 2004 г. Задача проекта -выработка единых критерий в оценке качества подготовки выпускников в ходе аттестации общеобразовательных учреждений - анализ сравнимых результатов подготовки выпускников -разработка программного обеспечения мониторинга учебных достижений

7 Несколько цифр Прошло процедуру Образовательных учреждений Обучающихся

8 Цель Объективная оценка уровня и качества подготовки выпускников образовательных учреждений посредством независимой диагностики

9 Задачи Разработка и совершенствование нормативной базы, регламентирующей процедуру оценки; выработка единых критерий в оценке качества подготовки обучающихся в ходе аккредитации ОУ; обеспечение объективности оценки качества предметных достижений; анализ сравнимых результатов; разработка программного обеспечения процедур оценки качества предметных достижений; создание банка тестовых заданий и базы результатов мониторинга предметных достижений; научно-методическое и информационно- технологическое обеспечение процедуры государственной аккредитации ОУ.

10 Этапы проекта уч.г. 4 АТЕ, 3 предмета уч.г. 28 АТЕ, 6 предметов уч.г 30 АТЕ, 7 предметов г.Новосибирск уч.г 41АТЕ, 7 предметов 1,2,3 ступень штатный режим

11 Требования к организации процедуры мониторинга учебных достижений представительность выборки обучающихся надежность методов, используемых при разработке инструментария и анализе результатов исследования применение стандартизированных процедур разработки инструментария, проведения мониторинга, проверки заданий и обработки данных

12 Нормативные документы

13 Положение о порядке проведения оценки качества предметной обученности выпускников общеобразовательных учреждений НСО Общие положения Порядок проведения Организационные условия

14 методология Принципы отбора диагностических материалов Принципы составления диагностической работы Принципы проведения процедур диагностики Принципы обработки результатов диагностики

15 Принципы проведения процедур диагностики: Принцип независимости Принцип полноты Принцип завершенности этапа обучения Принцип определения критериального балла Принцип открытости Принцип доступност и

16 Принципы составления диагностической работы Принцип соответствия. Диагностическая работа в целом и отдельные ее задания должны соответствовать документам, определяющим проверяемое содержание учебного материала, а также времени проведения диагностики, особенностям реализации программы в конкретном учебном заведении. Принцип дифференциации. В работе выделяется уровень минимальных требований и повышенный уровень освоения материала. Объем заданий базового (минимальных требований) уровня составляет 70% всей работы.

17 Принципы составления диагностической работы Принцип полноты предполагает проверку сформированности основных видов деятельности, предусмотренных образовательным стандартом. Подбор заданий для варианта работы определяется случайным выбором заданий из базы, в соответствии с пройденными к моменту проверки элементами содержания и обобщенным планом. Текст задания самодостаточен и не требует дополнительных материалов, кроме специально оговоренных случаев.

18 Принципы составления диагностической работой: Принцип равнозначности вариантов диагностической работы. Все варианты равнозначны по сложности, подбор элементов для проверки определяется случайной выборкой из базы заданий соответственно обобщенному плану работы и одинаковы для разных вариантов одной работы. Принцип проверки остаточных знаний. Проверяются знания, изученные за месяц до процедуры диагностики, за весь предшествующий период освоения учебного предмета.

19 Анализ качества тестовых заданий: наличие экстремальных заданий совместимость тестовых заданий соответствие уровня трудности работы уровню подготовленности обучающихся равномерность распределения заданий по трудности качество дистракторов

20 Региональный банк тестовых заданий разработка экспертиза (3 чел.) апробация Статистика, замечания Протоколы экспертизы Схема формирования РБТЗ

21 Региональный банк тестовых заданий разработка ответственный эксперт апробация Статистика, замечания Протоколы экспертизы школьная предметная экспертиза Схема формирования РБТЗ 2010

Несколько цифр БТЗ ( от 300 до 500 заданий) Начальная школа – 4 Основная школа – Средняя школа НПО – СПО – 22

23

24 Документальное сопровождение мониторинга Сбор данных: План диагностической работы. Варианты диагностических работ. Инструктивные материалы для экспертов и наблюдателей. Бланк ответа ученика. Инструкция для эксперта по оценке диагностических работ. Установление стандарта: Кодификатор. Спецификация. Обобщенный план работы. Анализ результатов: Программа обработки и анализа выполнения работ учащихся. Аналитический отчет.

Кадровый состав Группа разработчиков Экспертная группа Технологи Наблюдатели Эксперты-предметники Отдел ОКО 25

Группа разработчиков Компетентность предметника и тестолога Стабильный состав Аналитическая группа Повышение квалификации 26

Экспертиза диагностического инструментария Контрольные работы Диагностические работы с тестовыми заданиями Экзаменационные билеты Творческие задания

Направления экспертизы Экспертиза пакета диагностических работ для проведения процедуры ОКПД Экспертиза учителей-предметников во время проведения процедуры ОКПД НПЭ диагностических работ по заявке ОУ

Источники экспертизы: Пакет варианты диагностических работ спецификации обобщенный план работ

Виды экспертизы пакета диагностических работ для проведения процедуры Предметная (2 эксперта) Тестологическая (1 эксперт)

Нормативные документы Положение о порядке проведения оценки качества предметных достижений обучающихся общеобразовательных учреждений Новосибирской области, утвержденное приказом департамента образования Новосибирской области от г. 859; Стандарт. Мониторинг учебных достижений учащихся образовательных учреждений. Общие требования. СТО СДС. УД , ФЦТ, Москва 2006; Стандарт. Экспертиза качества и апробация педагогических тестов. Общие требования. СТО СДС. УД , ФЦТ, Москва 2006.

Цели экспертизы: Установить соответствие содержания ДР целям, указанным в спецификации (ФГОС, требованиям программ по учебному курсу) Установить соответствие форм тестовых заданий – нормативным требованиям

Предметная экспертиза

Экспертиза учителей- предметников во время проведения процедуры ОКПД

Уникальный идентификатор тестового задания (ТЗ). В таблицу вносится нумерация представленная авторами БТЗ. Код (Код) принадлежности тестового задания к дидактической единице кодификатора элементов содержания предмета. Соответствие ТЗ содержанию ГОС или учебной программе (ГОС). В таблицу выставляется оценка: 0 - не соответствует, 1 - слабо соответствует, 2 – полностью соответствует. Максимально-допустимое время, необходимое среднему ученику для решения задания, в минутах. Мера трудности, качественная оценка (Трудность), представляет собой субъективный показатель, как и само понятие «трудность». 1 – легкое, 2 – средней трудности, 3 – трудное. Оцениваемые показатели

38

39

40

41 Основные результаты реализации проекта Разработан инструментарий для проведения мониторинга предметных достижений, в том числе, компьютерные программы обработки и хранения результатов. Пройдена сертификация процедуры по направлению «Организация и проведение мониторинга учебных достижений учащихся общеобразовательных учреждений». Разработаны и реализованы процедуры экспертизы и апробации диагностических работ. Пройдена сертификация процедуры по направлению «Экспертиза качества и апробация педагогических тестов». В созданной базе данных (БД) аккредитованных ОУ на сегодняшний день хранится информация о 1185 ОУ Новосибирской области. Создана база данных (БД) результатов мониторинга предметных достижений. Организована курсовая подготовка по основам тестового контроля.

42 Эффекты Более 200 ОУ вышли на внешнюю экспертизу вне периода аккредитации. При этом следует понимать, что образовательные учреждения во-первых, доверяют результатам внешней экспертизы; во-вторых, заинтересованы в ее проведении. Отмечается заинтересованность образовательных учреждении в расширении количества предметов, проверяемых в ходе внешней экспертизы

43 Задачи на 2006 год: Упорядочение всех нормативных, инструктивно- методических и других документов Повышение качества проведения процедур оценки учебных достижений Повышение доверия к результатам оценки учебных достижений Необходимость стандартизации Наличие сертификата как доказательство качества процедур

44

45 « Процедуры стандартизации и сертификации услуг по оценке учебных достижений делают эти услуги максимально открытыми для всех участников образовательного процесса и управленческих структур, повышают квалификацию работников образования и престиж образовательного учреждения, его конкурентоспособность, информированность всех потребителей образовательных услуг»

46 Сертификация – это правила и процедуры подтверждения соответствия объектов сертификации (продукция, работы, услуги) установленным стандартам, критериям, нормам, правилам.

47 Прошли сертификацию процедур: 1. Услуги в системе среднего образования: - проведение Единого государственного (ЕГЭ), - тренировочное тестирование по демонстрационным версиям контрольно- измерительных материалов ЕГЭ 2. Прочие образовательные услуги, связанные с оценкой учебных достижений учащихся: - организация и проведение мониторинга учебных достижений учащихся образовательных учреждений Стандарт «Мониторинг учебных достижений учащихся образовательных учреждений. Общие требования»

48 Прошли сертификацию процедур: Прочие образовательные услуги, связанные с оценкой учебных достижений учащихся (код ОКУН ): – организация и проведение экспертизы и экспериментального опробования тестов для оценки учебных достижений. Стандарт «Экспертиза качества и апробация педагогических тестов. Общие требования»

49 Процедуры стандартизации и сертификации услуг позволят с одной стороны повысить качество этих услуг образовательных учреждений и структур, непосредственно занятых их предоставлением. С другой стороны, повышается доверие к результатам оценки учебных достижений.

50 В мировой практике и России в настоящее время процедуры стандартизации и сертификации являются единственными процедурами, бесспорно доказывающими качество товара и услуги.

51 Мониторинг качества учебных достижений обучающихся СПО, 2008 г. Обученных преподавателей – разработчиков ТЗ Сформировано БТЗ Разработано ТЗ – По циклам дисциплин: ОГСЭ – 8500, ЕН-1500, ОПД – 16000, СД, ДПП – Процедура проведена в 32 ОУ СПО, по 54 специальностям

Основная идея Повышение объективности результатов оценки качества подготовки обучающихся в ОУ СПО НСО (далее Оценка) Создание единообразных условий в ходе проведения Оценки Получения возможности сопоставления результатов Оценки различных ОУ СПО НСО

Участники проекта: Образовательные учреждения среднего профессионального образования Новосибирской области ГБОУ ДПО НСО «Институт развития образования Новосибирской области» Партнеры проекта: Министерство образования, науки и инновационной политики Новосибирской области Данный проект является предметом совместной деятельности указанных организаций в части разработки, согласования, апробации, экспертизы, внедрения в практическую деятельность результатов проекта.

На первом этапе реализации проекта осуществлено: Разработаны инструктивно-методические материалы по организации и проведению процедуры Организовано обучение преподавателей ОУ СПО основам тестирования и работе с программным комплексом АСТ Разработаны региональные банки тестовых заданий по дисциплинам блока общих гуманитарных и социально-экономических (ОГСЭ) дисциплин. Разработаны банки тестовых заданий по дисциплинам блоков общих профессиональных (ОПД) и специальных (СД) дисциплин Внедрено использование методики компьютерного тестирования в ходе проведения процедуры Оценки.

Блок Кол-во дисциплин Кол-во ТЗ ОГСЭ ОПД СД БТЗ СПО

Аккредитационная комиссия получает достоверную, объективную информацию о степени соответствия содержания, уровня и качества подготовки обучающихся, требованиям государственных образовательных стандартов; Руководители ОУ СПО НСО получают возможность соотнесения данных внешней независимой экспертизы с результатами внутреннего контроля, что может быть положено в основу совершенствования управления качеством образования. Государственные органы контроля и надзора в сфере образования получают возможность оперативного получения и сопоставления информации о различных ОУ СПО НСО. Преподаватели ОУ СПО НСО повышают квалификацию в сфере тестологии, а так же современных требований к разработке банков тестовых заданий.

Направление деятельности: 1.Мониторинг качества предметных достижений обучающихся 2.Мониторинг сформированности умений и навыков по профессии 3.Экспертиза учебно-программной документации ОУ НПО Оценка качества образования выпускников и обучающихся ОУ начального профессионального образования

Комплекс мероприятий 1. Разработка нормативно-методического обеспечения - Положение о порядке проведения оценки качества подготовки обучающихся образовательных учреждений, реализующих образовательные программы начального профессионального образования Новосибирской области; - Инструкция по организации и проведению оценки качества подготовки обучающихся в образовательных учреждениях, реализующих образовательные программы начального профессионального образования в форме компьютерного тестирования; - Инструкция по организации и проведению оценки качества подготовки обучающихся в образовательных учреждениях, реализующих образовательные программы начального профессионального образования по производственному обучению.

2. Разработка контрольно-измерительных материалов для процедур оценки качества начального и среднего профессионального образования, формирование банка тестовых заданий - 22 теста в компьютерной форме по дисциплинам общетехнического, общепрофессионального и профессионального циклов. Все разработанные тестовые задания занесены в региональный БТЗ тестов-процессов по 11 профессиям НПО Комплекс мероприятий

3. Подготовка специалистов для проведения контрольно-оценочных процедур - подготовлено 24 эксперта. - прошли обучение 51 человек, из них 11 преподавателей из сельских районов области - Общественные эксперты Комплекс мероприятий

4. Проведение экспертизы учебно-программной документации образовательных учреждений начального профессионального образования - 5 ОУ НПО по 21 профессии начального профессионального образования. - 5 специалистов центра сертифицированы ФГУ «Федеральный институт развития образования» как эксперты основных профессиональных образовательных модулей и программ. - Идет подготовка группы экспертов из числа преподавателей ОУ НПО для организации работы по экспертизе профессиональных модулей и программ начального и среднего профессионального образования в ходе введения ФГОС нового поколения. Комплекс мероприятий