Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образования Г.С.Ковалева, ИСМО РАО

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования 1. Формирование профессионального сообщества на федеральном и региональном уровнях: федеральный уровень, например, ЕГЭ (разработчики КИМ и тестологи /математика, русский язык, обществознание, физика, химия, биология, география/; региональный уровень – организаторы ЕГЭ, специалисты аттестационных служб и др. Исследование PISA(с 2000 по 2003 годы): Математика – нет измененийЧтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатовИсследование PISA(с 2000 по 2003 годы): Математика – нет измененийЧтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования 2. Разработка КИМ - создание заданий нового типа, технология разработки, статистические анализ заданий и КИМ, обеспечение качества КИМ. 3. Использование подходов и программного обеспечения для шкалирования и обработки данных Исследование PISA(с 2000 по 2003 годы): Математика – нет измененийЧтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатовИсследование PISA(с 2000 по 2003 годы): Математика – нет измененийЧтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования 4. Проведение вторичного анализа данных исследований TIMSS-2003 PISA-2003 (например, выявление факторов, связанных с эффективностью образования) 5. Установление профессиональных контактов со специалистами стран, участвующих в международных исследованиях (например, Финляндия, Норвегия, Германия, Япония, Тайвань, страны СНГ и Балтии и др.) Исследование PISA(с 2000 по 2003 годы): Математика – нет измененийЧтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатовИсследование PISA(с 2000 по 2003 годы): Математика – нет измененийЧтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов

Информация об исследованиях: цели и задачи Исследование TIMSS (более 65 стран) Оценить качество математического и естественнонаучного образования в начальной, основной и средней школе Выявить динамику в результатах (1995, 1999, 2003, 2007, 2008) Выявить факторы, позволяющие объяснить различия в результатах Исследование PISA (57 стран) Оценить обладают ли учащиеся 15-летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для жизни Выявить динамику в результатах (2000, 2003, 2006) Выявить факторы, позволяющие объяснить различия в результатах

Информация об исследованиях: цели и задачи Исследование PIRLS (40 стран) Оценить качество чтения и понимания текстов в начальной школе Выявить динамику в результатах (1991, 2001, 2006) Выявить факторы, позволяющие объяснить различия в результатах Исследование ICES (?) Оценить качество граждановедческого образования в средней школе Выявить динамику в результатах (1999, 2000, 2008) Выявить факторы, позволяющие объяснить различия в результатах

Информация об исследованиях: цели и задачи Исследование TEDS (более 20 стран) Оценить качество педагогического образования в области математики (программы обучения, учебный процесс, подготовка будущих учителей) Выявить факторы, позволяющие объяснить различия в результатах Исследование SITES (более 20 стран) Изучить опыт использования информационных технологий в образовании Выявить факторы, связанные с эффективным использованием ИКТ в обучении

Организаторы и участники Исследования TIMSS, PIRLS, ICES, TEDS Международная Ассоциация по оценке образовательных достижений - IEA Более 65 стран Исследование PISA Организация экономического сотрудничества и развития - OECD Около 60 стран

Организация исследования PISA управление PISA Секретариат OECD Группа международных экспертов по вопросам формирования выборки, конструирования инструментария, обработки данных, статистического анализа результатов Группы международных экспертов по отдельным предметно-содержательным областям: по математической грамотности; грамотности чтения; Естественнонаучной грамотности Управление национальными проектами Консорциум PISA

Международные исследования в в России в 2006 году Исследования: PIRLS (основное исследование- 46 регионов, 232 школы, 4955 учащихся 3-4 классов) TIMSS (апробационное исследование - 3 региона, около 3000 учащихся 4 и 8 классов, разработка инструментария для исследования TIMSS-2008, углубленное изучение математики и физики) Исследование PISA (основное исследование – 46 регионов, 210 образовательных учреждений, 6154 учащихся 15-летнего возраста)

Организационная схема мониторинга образовательных достижений (общее образование) Ступени образова- ния АттестацияФедеральны й мониторинг качества образования Международ- ные мониторинго- вые исследования TIMSS Выборка, (углубленные курсы математики и физики, 1 раз в 10 лет СТАРШАЯ ШКОЛА Профильный (ЕГЭ) и базовый экзамены Все выпускники Анализ результатов ЕГЭ Выборка ежегодно 11 класс Мониторинго- вые исследования по отдельным предметам, 1 раз в 4-5 лет 10 классСтартовая диагностик а PISA Выборка, 1 раз в 3 года

Организационная схема мониторинга образовательных достижений (общее образование) ОСНОВНАЯ ШКОЛА Итоговая аттестация Все выпускник и Анализ результатов Выборка 9 класс Мониторинговые исследования по отдельным предметам, проводимые совместно с международными исследованиями PISA Выборк а, 1 раз в 3 года 8 класс TIMSS Выборк а 1 раз в 4 года 7 класс 6 класс 5 класс Стартовая диагностика

Организационная схема мониторинга образовательных достижений (общее образование) Начальная школа 4 класс Итоговая аттестация Все выпускники Анализ результатов Выборка TIMSS, PIRLS Выборка 1 раз в 4- 5 лет 3 класс 2 класс 1 класс Стартова я диагности ка Готовнос ть к обучению в школе Все выпускники Анализ результатов Выборка

Особенности разработки инструментария мониторинговых исследований качества образования (на примере международных сравнительных исследований PISA, PIRLS и TIMSS)

Общие требования к разработке инструментария Требования в соответствии с целевыми установками исследования: –Разработанный инструментарий должен соответствовать выбранной модели образовательной системы и позволять: Оценить образовательные достижения в соответствии с принятыми стандартами, таксономией и т.д. Получить информацию о факторах, влияющих на образовательные результаты; Установить динамику в изменении образовательных достижений и образовательного контекста; Получить данные для управления качеством образования; Получить данные, необходимые для совершенствования системы образования

Модель системы образования Характеристика школьного окружения, школы, учителя Учебный процесс и условия обучения в школе и классе Реализуемый уровень образования Характеристика системы Институционные структуры Планируемый уровень образования Характеристика ученика Деятельность ученика Достигнутый уровень образования Система Школа или класс Учащийся

Система инструментария исследования TIMSS Достигнутый уровень образования Реализуемый уровень образования Планируемый уровень образования Показатели, характеризующие систему образования и страну в целом Показатели, характеризующие школу и ее окружение, учебный процесс Показатели, характеризующие ученика Анкета для экспертов в области образования Анкета для администрации школыАнкета учащихся 1. Анализ программы и учебников. 2. Анкета для экспертов по математическому и естественнонаучному образованию. 3. Анализ международного банка заданий. Анкета для учителя Инструментарий для оценки учебных достижений

Общие требования к разработке инструментария Требования теории педагогических измерений: –Соответствие выбранной модели измерения –Валидность по отношению к проверяемому содержанию образования –Надежность оценки –Наличие качественных статистических характеристик, позволяющих выстраивать измерительные шкалы (тесты и анкеты)

Общие требования к разработке инструментария Учет особенностей проведения: –Соответствие возрастным особенностям учащихся –Обеспечение стандартизации процедуры проведения тестирования –Качество инструкций –Качество полиграфии

Общие требования к разработке инструментария Ориентация на форму представления результатов (средние значения, результаты по уровням, по отдельным содержательным областям и уровням учебно-познавательной дея.) Учет финансовых и организационных возможностей.

Пример инновационных подходов Разработка заданий нового типа

Формирование представительной выборки учащихся в международных исследованиях PIRLS и PISA

Зачем необходима выборка? Невозможно провести тестирование всех учащихся по всему изученному материалу –Более 2 млн. учащихся –Более 200 требований стандарта по предмету (более 1000 заданий) –Значительные финансовые и материальные затраты Нет необходимости проводить тестирование всех учащихся по всему изученному материалу –Теория формирования выборки –Современная теория тестов (IRT) Последствия: –При анализе результатов необходимо учитывать характеристики, связанные с выборкой (вес, ошибка выборки и др.)

Определение целевой совокупности (генеральной совокупности). 2 подхода Подход 1: Выборка, ориентированная на год обучения (класс) Исследование PIRLS: –Все учащиеся страны четвертого года обучения в школе (ISCED Level 1) –Средний возраст учащихся 9,5 лет В России: выпускники начальной школы 4-го класса (по программе 1-4) и 3-го класса (по программе 1-3), средний возраст - 10,3 лет (2001 г.), - 10,6 лет (2003 г.) В большинстве стран: учащиеся 4 класса, средний возраст 10,3 лет (2001, 2003 г.)

Определение целевой совокупности (генеральной совокупности). 2 подхода Подход 2: Выборка, ориентированная на возраст Исследование PISA: –Все обучающиеся страны 15-летнего возраста (1990 г. рождения) (ISCED Levels 2-3) В России: учащиеся 7-11 классов средней школы, студенты ОУ НПО и СПО

Совокупности и исключения Исключения на уровне школ Исключения на национальном уровне Исключения внутри школы Международная планируемая совокупность Национальная планируемая совокупность Национальная исследуемая совокупность Реальная совокупность

Стандарты формирования выборки: 1 Исследование PIRLS и PISA –Выборка считается представительной, если исключения разного уровня не превышают 5%. –Исключения на национальном уровне: географически удаленные школы (PISA – менее 0,5%), очень малые школы (только PIRLS) –Исключения на уровне школ (учащиеся с недостатками умственного и физического развития, с неродным русским языком (обучение на русском языке менее 1 года) не должны превышать 2,5% –Общее исключение в исследовании PIRLS – 4,9% –Общее исключение в исследовании PISA - 2,96% (0,96% - специальные и коррекционные школы, до 2% исключения на уровне ОУ)

Стандарты формирования выборки: 2 Исследование PISA –Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ и не менее 80% от всех отобранных учащихся Исследование PIRLS –Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ, не менее 95% от отобранных классов и не менее 85% от всех отобранных учащихся

Эффективный размер выборки Число школ и учащихся Определяется структурой собираемых данных Зависит также от требуемой точности измерений, коэффициента внутриклассной корреляции, средней наполняемости класса и надежности теста. Эффективный размер случайной выборки учащихся – 400 –При доверительном интервале 95% –Средние значения с точностью +/- 0,1 станд. отк. –Проценты +/- 5 –Корреляции +/- 0,1 Эффективный размер случайной стратифицированной выборки (собираются данные не только об учащихся, но и школах и классах) – 150 школ и 4500 учащихся

Размер выборки (PISA-2006) Минимум 150 школ Максимум 35 учащихся в образовательном учреждении Размер выборки – минимум 5250 учащихся 210 образовательных учреждений Участвуют 35 учащихся 7-11 классов или 1-2 курсов ОУ НПО и СПО Размер выборки – 6154 учащихся ТребованияРоссия

Размер выборки (PIRLS-2006) Требования Россия Минимум 150 школ Минимум 1 класс в школе –2 класса выбирается в целях сравнения результатов внутри школы или –для достижения необходи- мого размера выборки Участвуют все учащиеся выбранного класса Размер выборки – минимум учащихся 232 школы 1 класс в каждой выбранной школе Участвуют все учащиеся выбранного класса Размер выборки – 4955 учащихся

Состав выборки ИсследованиеPISAИсследование PIRLS Из 210 образовательных учреждений: Средние общеобразовательные школы Гимназии – 9 Лицеи - 2 Основные школы - 14 Вечерние школы – 12 Школа–интернат – 1 ОУ НПО – 13 ОУ СПО - 18 Из 232 школ: Средние общеобразовательные школы – 182 Основные школы – 12 Начальные школы – 5 Гимназии и лицеи - 33

Этапы формирования выборки Работа с базами ОУ регионов - «чистка» базы Формирование выборки ОУ - формирование выборок исследований PIRLS и PISA - утверждение выборок в Международных координационных центрах PIRLS и PISA Связь с образовательными учреждениями - PIRLS: получение списков классов и учащихся - PISA: получение списков обучающихся 1990 г.р. Выбор участников исследований - PIRLS: классов (учащихся) - PISA: обучающихся 1990 г.р. Ввод информации об участниках исследований Подготовка документации для проведения тестирования в отобранных ОУ

Стратификация Группировка ОУ согласно некоторым признакам. Используется, чтобы: - улучшить дизайн выборки (сделать оценки выборки более надежными); - привести в соответствие пропорциональную представительность разных групп в генеральной совокупности.

Стратификация Переменные стратификации: Регионы, районы; Тип урбанизации (город-село) Социо-экономический статус ОУ Тип ОУ Ступень обучения и др.

Стратификация ВнутренняяВнешняя PIRLS, PISA: регион (45 регионов – 45 страт) Для каждого региона строится отдельный список ОУ Выборка ОУ проводится внутри каждого региона PIRLS: Тип населенного пункта (9 уровней) PISA: Тип (4 уровня) и вид (16 уровней) образовательного учреждения; тип населенного пункта (9 уровней)

Технические стандарты международных исследований Обеспечение качества исследования

Процедуры сбора данных Обеспечение качества Полученные в исследовании данные Как это делается? Очень интересно ! Policy Maker Как они были получены ? Policy Maker Как это проверить? Policy Maker Все, кто использует данные, полученные в исследовании, должны быть уверены, что данные отражают реальную ситуацию в системе образования. Процедура обеспечения качества реализует данное требование.

Что включает система обеспечения качества исследования? План исследования – Руководства по проведению, контроль за адаптацией инструментария – NAF, QAS, и др. Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования. Контроль за качеством – Национальные координаторы организуют и контролируют качество большей части исследования Мониторинг качества – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.

Система обеспечения качества основана на соответствии стандартам качества Консорциум контролирует качество проведения исследования в соответствии с разработанными стандартами качества –Формирование выборки –Язык, на котором проводится тестирование –Участие в проведении апробационного исследования –Адаптация инструментария и руководств –Перевод инструментария и руководств –Проведение тестирования –Реализация национальной части исследования –Мониторинг качества –Тиражирование материалов –Проверка заданий с открытыми ответами –Анализ полученных данных

Источники данных об обеспечении качества проведения исследований –Выборка –Перевод и верификация –Проведение тестирования (MAS) –Мониторинг качества –Мониторинг работы национального центра –Проверка работ (Перепроверка работ, Международная проверка), –Отправленные данные, –Адаптация (QAS, TAS) –Анализ проведения исследования (подготовка отчета)

ВыборкаПереводПроведениеАдаптация 1PQMNCQMПроверкаДанныеАдаптация 2Отчет Выборка Язык тестирования Участие в апробации Адаптация Перевод Национальная часть Сохранность материалов Мониторинг качества Тиражирование Проверка работ Отправка данных Стандарты качества Данные В большинстве случаев данные должны соответствовать стандартам. Подтверждение соответствия стандартам

Что происходит при несоответствии стандартам качества? Решение зависит от : –Степени несоответствия стандартам –Наличия возможности исправления Чистка данных Проверка данных на соответствии качеству –Анализ данных при невозможности их исправить –Анализ изменений, внесенных консорциумом –Рекомендации по включению в международный отчет Полная публикация Публикация данных только частичная (в некоторых таблицах) Публикация в Приложениях к отчету и др.

Пример вторичного анализа данных Эффективность ситемы образования

Актуальная ситуация: Запрос рынка труда на качественно новый результат школьного образования Проблемы и противоречия в системе образования Несоответствие системы образования новым социально-экономическим задачам

Школы пытаются преодолеть этот разрыв с помощью: авторских программ; уровневого содержания образования; новых педагогических технологий; новых форм организации процесса обучения; и др. (кто как может). Возросло число специфических внутренних задач, которые может ставить и решать каждая конкретная школа

Преодоление разрыва Исследование общих закономерностей в образовании Описание специфической для конкретной школы (региона, РФ) образовательной среды Разработка образовательной политики (школы, региона, РФ)

1. Исследование общих закономерностей Без знаний и информации Вы – просто некто со своим мнением … Знание успешности обучения – важнейший аспект … Только этого мало! Необходима информация о других параметрах образовательной среды.

Образовательная среда Обычно оценивается в терминах "эффективности школы" как социальной системы - эмоционального климата, личностного благополучия, особенностей микрокультуры, качества воспитательно- образовательного процесса и др. Важным фактором школьной эффективности выступает организационный (обеспечивающий солидарность представлений учителей о своем профессиональном долге, их умение увязать личные педагогические философии как друг с другом, так и с учащимися, поддержку автономной инициативы учителей администрацией школы и др.). Параметров так много, что в них легко потеряться!

Чем же так хороши (помимо четкой постановки целей и задач, отработанных процедур проведения и обработки результатов) международные исследования оценки качества образования?

международные исследования оценки качества образования: одновременно рассматривают большое количество различных образовательных систем. применяют современные математические многомерные методы, позволяющие объективно сравнивать полученные в разных странах результаты; одновременно рассматривают большое число параметров образовательной среды, способствующих успешности обучения, тщательно отобранных на основании проводившихся ранее экспериментальных исследований; Все это позволяет получить не разрозненные данные, а целостную картину.

Этапы оценки качества образования в школах 1. Успешность школ по результатам тестирования 2. Равные возможности в обучении (измеряемые не столько результатами тестирования, сколько влиянием социо-экономического уровня школы и школьника на результаты тестирования) 3. Устойчивость успешности в тесте по школам 4. Гендерные различия 5. Полученные основы для обучения в течение всей дальнейшей жизни (т.е. используемые стратегии обучения, мотивация, установки и др.) 6. Другие качества образовательной среды («климат» в школе, использование ИКТ и др.)

Этап 1. Успешность школ по результатам тестирования Какую успешность показали школьники по результатам теста PISA 2003

Уровни успешности в тесте PISA по математике Среднее по странам OECD Уровень 6 Уровень 5 Уровень 4 Уровень 3 Уровень 2 Уровень 1 Ниже уровня 1 OECD (2004), Learning for tomorrows world: First results from PISA 2003, Table 2.5a, p % 21 % 22 % 18 % 10 % 4% 11 % РФ 15 % 27 % 26 % 14 % 6%6% 2%2% 11 %

Процент учащихся на каждом уровне успешности

Этап 2. Равные возможности в обучении Измеряются не столько непосредственными результатами тестирования, сколько влиянием социо-экономического уровня школы и школьника на результаты тестирования

Низкая успешность Высокая Математическая успешность Высокая успешность Высокое социальное равенство Низкая успешность Высокое социальное равенство Низкая успешность Низкое социальное равенство Высокая успешность Низкое социальное равенство Сильное влияние социального фона на успешность Среднее влияние социального фона на успешность

Low Performance High Mathematics performance Strong impact of social background on performance Moderate impact of social background on performance High performance High social equity Low performance High social equity Low performance Low social equity High performance Low social equity

Этап 3. Устойчивость Успешности в тесте по школам

Изменение математической грамотности Изменение успешности между школами Изменение успешности внутри школ В других странах школы похожи и высокого качества В некоторых странах большие различия между школами

Изменение математической грамотности OECD (2004), Learning for tomorrows world: First results from PISA 2003, Table 4.1a, p.383. В некоторых странах школы различаются по успешности школьников И социо-экономическим показателям Изменение успешности внутри школ Изменение успешности между школами

Ковалева Галина Сергеевна Центр оценки качества образования ИСМО РАО Тел/факс 8 (495) Исследование PIRLS, TIMSS: Исследование PISA: СПАСИБО ЗА ВНИМАНИЕ! Вопросы и комментарии