Москва, 27 мая 2009 Российская Академия образования Семинар «Методологические основы оценки качества образования» Методологические основы международных сравнительных исследований качества общего образования (на примере исследований TIMSS, PIRLS, PISA) Г.С.Ковалева, ИСМО РАО

Российская Академия образования Москва, 27 мая Основное содержание 1. Краткая информация о международных исследованиях качества общего образования 2. Концептуальные основы международных исследований качества общего образования 3. Преимущества международных сравнительных исследований 4. Направления представления и анализа данных международных исследований 5. Примеры углубленного анализа результатов международных исследований

Российская Академия образования Москва, 27 мая Международные сравнительные исследования качества общего образования Международная Ассоциация по оценке образовательных достижений – IEA TIMSS (1995, 1999, 2003, 2007, 2011 годы) PIRLS (1991, 2001, 2006, 2011 годы) ICCS (1999, 2000, 2008 годы) TEDS (2008 год) Организация экономического сотрудничества и развития – OECD PISA (2000, 2003, 2006, 2009 годы)

Российская Академия образования Москва, 27 мая Краткая информация об исследованиях Цели и задачи Исследование TIMSS и PIRLS Оценка качества математического и естественнонаучного образования в начальной, основной и средней школе (4, 8 и 11 классы) Оценка качества чтения и понимания текста учащимися начальной школы (4 класс) Выявление динамики в результатах (TIMSS: 1995, 1999, 2003, 2007; PIRLS: 2001, 2006) Выявление факторов, позволяющих объяснить различия в результатах Исследование PISA Оценка функциональной грамотности 15-летних учащихся в области математики, естествознания и чтения Оценка отношений и учебных стратегий Оценка качества и доступности образования Выявление динамики результатов (2000, 2003, 2006, 2009) Выявление факторов, позволяющих объяснить различия в результатах

Российская Академия образования Москва, 27 мая Планирование международных исследований качества образования 1.Определение цели и задач исследования. 2.Обоснование концептуальной модели исследования. 3.Определение типа мониторингового исследования (срезовое, лонгитьюдное или их сочетание). 4.Определение генеральной совокупности обследуемых учащихся и размера выборки. 5.Определение оснований для стратификации выборки учащихся и процедуры формирования выборки.

Российская Академия образования Москва, 27 мая Планирование международных исследований качества образования (продолжение) 6. Определение состава инструментария и организаций– разработчиков. 7. Определение показателей, для сбора информации по которым разрабатывается инструментарий. 8.Определение области проверяемого содержания и видов учебно-познавательной деятельности. 9.Обоснование математических моделей и шкал, которые будут использоваться при разработке инструментария и обработке результатов исследования. 10. Описание процедуры предварительной отработки инструментария и его экспериментальной проверки.

Российская Академия образования Москва, 27 мая Планирование международных исследований качества образования (продолжение) 11. Определение графика и сроков проведения исследования. 12. Определение факторов, которые будут анализироваться в исследовании в соответствии с его задачами. 13. Формулирование гипотез о взаимосвязи между факторами и результатами тестирования учащихся. Анализ, на сколько инструментарий позволяет получить данные по всем отобранным факторам. 14. Отбор и обоснование используемых статистических методов анализа результатов исследования. 15. Форма и регламенты представления результатов исследования для обсуждения и последующего их распространения.

Российская Академия образования Москва, 27 мая Модель системы образования IEA Характеристика школьного окружения, школы, учителя Учебный процесс и условия обучения в школе и классе Реализуемый уровень образования Характеристика системы Институционные структуры Планируемый уровень образования Характеристика ученика Деятельность ученика Достигнутый уровень образования Система Школа или класс Учащийся

Российская Академия образования Москва, 27 мая Модель системы образования Shavelson et al. (1987) Финансовое, материальное обеспечение Профессио- нальная подготовка учителей Качество школы Качество учебных планов и программ Качество преподавания Качество обучения Информация о приеме в вузы и трудоустройстве выпускников Отношения учащихся, их планы Учебные достижения учащихся Характеристика ученика

Российская Академия образования Москва, 27 мая Концептуальная модель TIMSS Достигнутый уровень образования Реализуемый уровень образования Планируемый уровень образования Показатели, характеризующие систему образования и страну в целом Показатели, характеризующие школу и ее окружение, учебный процесс Показатели, характеризующие ученика

Российская Академия образования Москва, 27 мая Модель образовательных возможностей TIMSS Образовательные цели, которые ставит школа Образовательные цели, которые ставит учитель (связанные с содержанием образования) – реализуемый уровень образования Практика обучения – реализуемый уровень образования Практика обучения – реализуемый уровень образования Результаты выполнения тестов TIMSS – достигнутый уровень образования Характеристика ученика 1. Общие сведения 2. Экономический уровень семьи 3. Культурный уровень семьи 4. Отношения 5. Виды деятель- ности 6. Ожидания и планы Характеристика ученика 1. Общие сведения 2. Экономический уровень семьи 3. Культурный уровень семьи 4. Отношения 5. Виды деятель- ности 6. Ожидания и планы Характеристика системы образования 1. Дифференциация учащихся 2. Ступени обучения 3. Уровни принятия решения о содержании образования 4. Образование и здраво- охранение, культура и др. Характеристика учителя 1. Общие сведения 2. Ориентация в учебном предмете 3. Педагогические установки 4. Социальный статус и мотивы преподавания Характеристика учителя 1. Общие сведения 2. Ориентация в учебном предмете 3. Педагогические установки 4. Социальный статус и мотивы преподавания Выбор учебных курсов, предлагаемый школой; другие функции школы (включая социальные) Выбор учебных курсов, предлагаемый школой; другие функции школы (включая социальные) Государственные/ региональные цели образования (планируемый уровень образования) Профес- сиональное окружение учителя Квалификация учителя Система образования Ученик Школа Класс Чему могут научиться школьники? Чему научились школьники? Кто осуществляет обучение? Как организовано обучение?

Российская Академия образования Москва, 27 мая Почему более 60 стран мира участвуют в международных сравнительных исследованиях? Международный симпозиум «Методологические преимущества крупно-масштабных кросс-национальных исследований в области образования (2000 г.): 1.Высокое научное и техническое качество проводимых исследований и вследствие этого высокое доверие к их результатам. Страны используют результаты международных исследований для реформирования системы образования. 2.Во многих странах больше доверия к международным исследованиям, чем к национальным 3. Результаты исследований помогают понять систему образования в стране в сравнении с другими странами 4.Международные исследования способствуют обеспечению качества проведения национальных исследований в области образования 5. В рамках международных исследований наиболее эффективно отрабатываются новые методики и технологии в области оценки качества образования

Российская Академия образования Москва, 27 мая Критерии качества проведения исследований 1. Полнота охвата в сочетании с относительной простотой используемого инструментария. 2. Необходимость и достаточность (система показателей должна быть построена таким образом, чтобы они не дублировали друг друга и в целом обеспечивали получение полной информации по всем блокам системы оценки образовательных достижений и факторов, определяющих полученные результаты). 3. Оперативность (используемые технологии проведения мониторинга должны обеспечивать достаточно быстрый сбор и обработку информации в целях принятия управленческих решений).

Российская Академия образования Москва, 27 мая Критерии качества проведения исследований (продолжение) 4. Экономическая целесообразность (процесс проведения мониторинга должен быть экономически обоснован по используемым ресурсам). 5. Универсальность (система показателей и инструментарий должны быть инвариантными относительно социально- экономических и других особенностей субъектов РФ в целях технологического обеспечения сравнительного анализа мониторинговой информации на федеральном уровне). 6. Надежность интерпретации значений показателей (информация, получение которой обеспечивают показатели и разработанный инструментарий, не должна допускать возможности противоречивого ее толкования для эффективного принятия стратегических и оперативных управленческих решений).

Российская Академия образования Москва, 27 мая Критерии качества проведения исследований (продолжение) 7. Открытость концептуальных разработок, методик и технологий проведения исследования до начала проведения мониторинга в образовательных учреждениях. 8. Сопоставимость основных показателей мониторинга образовательных достижений, обеспечивающая сопоставимость и сводимость получаемой на его основе статистической информации. 9. Цикличность исследований (обеспечение возможности оценки динамики изменений, происходящих в системе образования, с целью создания системы стратегического и оперативного планирования, системы прогнозирования развития отрасли).

Российская Академия образования Москва, 27 мая Обеспечение качества исследований Процедуры сбора данных Обеспечение качества Полученные в исследовании данные Как это делается? Очень интересно ! Policy Maker Как они были получены ? Policy Maker Как это проверить? Policy Maker Все, кто использует данные, полученные в исследовании, должны быть уверены, что данные отражают реальную ситуацию в системе образования. Процедура обеспечения качества реализует данное требование.

Российская Академия образования Москва, 27 мая Что включает система обеспечения качества исследования? План исследования – Руководства по проведению, контроль за адаптацией инструментария – NAF, QAS, и др. Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования. Контроль за качеством на национальной уровне – Национальные координаторы организуют исследование в стране и контролируют качество большей части исследования. Мониторинг качества на международном уровне – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.

Российская Академия образования Москва, 27 мая Основные результаты международных исследований качества общего образования Средний балл страны по международной шкале Многоаспектное сравнение стран Средний балл страны по отдельным группам показателей (гендерные различия, разделы учебного предмета, виды учебной деятельности и др.) Распределение учащихся страны по уровням учебных достижений Тенденции изменения образования в стране Результаты выполнения отдельных заданий и ответов на анкеты и т.д.

Российская Академия образования Москва, 27 мая Основные результаты учащихся по математике TIMSS класс 8 класс

Российская Академия образования Москва, 27 мая Результаты стран по сравнению с Россией (математика) 4 класс8 класс Выше, чем в России 4 страны: Гонконг, Сингапур, Тайвань, Япония 5 стран: Тайвань, Республика Корея, Сингапур, Гонконг, Япония Не отличаются от российских 4 страны: Казахстан, Англия, Латвия, Нидерланды 5 стран: Венгрия, Англия, США, Литва, Чешская Республика Ниже, чем в России 27 стран: Литва, США, Германия, Дания, Австралия, Венгрия, Италия, Австрия, Швеция, Словения, Армения, Словацкая Республика, Шотландия, Новая Зеландия, Чехия, Норвегия, Украина, Грузия, Иран, Алжир, Колумбия, Марокко, Сальвадор, Тунис, Кувейт, Катар, Йемен. 38 стран: Словения, Армения, Австралия, Швеция, Мальта, Шотландия, Сербия, Италия, Малайзия, Норвегия, Кипр, Болгария, Израиль, Украина, Румыния, Босния и Герцеговина, Ливан, Таиланд, Турция, Иордания, Тунис, Грузия, Иран, Бахрейн, Индонезия, Сирия, Египет, Алжир, Марокко, Колумбия, Оман, Палестина, Ботсвана, Кувейт, Сальвадор, Саудовская Аравия, Гана, Катар.

Российская Академия образования Москва, 27 мая Анализ результатов стран в соответствии с содержанием их программам по естествознанию (8 класс) Страны Средний процент выполнения всех заданий Сингапур Тайвань Р-ка Корея Япония Англия Венгрия Чешская Р-ка Словения Россия Гонконг Сингапур 60 (0,9) Тайвань 58 (0,8) Р-ка Корея 57 (0,4) Япония 56 (0,4) Англия 54 (1,0) Венгрия 53 (0,6) Чешская Р-ка 53 (0,4) Словения 53 (0,4) Россия 51 (0,9) Гонконг 51 (1,0) Число заданий (баллов) в процентах 214 (231) 100% 74%91%84%53%86%99%95%86%64%86%

Российская Академия образования Москва, 27 мая Сравнение результатов исследования TIMSS 2003 и 2007 годов по математике h - Средний процент выполнения статистически значимо выше среднего среднего международного процента выполнения i - Средний процент выполнения статистически значимо ниже среднего среднего международного процента выполнения

Российская Академия образования Москва, 27 мая Распределение российских учащихся 4 и 8 классов по уровням математической подготовки Процент учащихся 4 класс 8 класс

Российская Академия образования Москва, 27 мая Переход из начальной школы в основную 5-й25-й50-й75-й95-й кл кл й25-й50-й75-й95-й кл кл Математика 4 класс (2003) 8 класс (2007) Естествознание 4 класс (2003) 8 класс (2007)

Российская Академия образования Москва, 27 мая Сравнение результатов некоторых стран 2003 и 2007 годов по естествознанию 2003 год, 4 класс2007 год, 4 класс 2003 год, 8 класс2007 год, 8 класс

Российская Академия образования Москва, 27 мая Сравнение результатов некоторых стран 2003 и 2007 годов по математике 2003 год, 4 класс2007 год, 4 класс 2003 год, 8 класс2007 год, 8 класс

Российская Академия образования Москва, 27 мая Углубленный анализ результатов международных исследований Анализ результатов стран-участниц Организаторы исследований Например, OECD: Top of the class. High performing learners in PISA 2006 Отдельные страны Например, Германия: What makes the difference Отдельные специалисты Например, Margaret Wu: A comparison of PISA and TIMSS achievement results in Mathematics and Science Анализ результатов отдельных стран Исследовательские группы в странах: Эффективные школы (РАО) Углубленный анализ результатов международного сравнительного исследования PIRLS-2006 (ИРО ГУВШЭ)

Российская Академия образования Москва, 27 мая Углубленный анализ результатов международных исследований: OECD: Top of the class. High performing learners in PISA 2006 Направления анализа: - характеристика подготовки учащихся, продемонстрировавших 5 и 6 уровни естественнонаучной грамотности; -демографические и социальные характеристики -особенности школ -учебный процесс, -Интерес к естествознанию, мотивация к обучению, самооценка, планы на будущее

Российская Академия образования Москва, 27 мая Вклад стран (процент учащихся стран, продемонстрировавших высокий уровень естественнонаучной грамотности) в международную группу лидеров Австрия 1% Швейцария 1% Новая Зеландия 1% Швеция 1% Другие 6% США 25% Япония 13% Германия 8% Великобритания 8% Российская Федерация 6% Корея 5% Франция 5% Канада 4% Тайвань 3% Польша 3% Австралия 3% Нидерланды 2% Италия 2% Испания 1% Чехия 1% Финляндия 1% Бельгия 1% Гонконг 1% Бразилия 1%

Российская Академия образования Москва, 27 мая Углубленный анализ результатов международных исследований: Margaret Wu: A comparison of PISA and TIMSS achievement results in Mathematics and Science Основные результаты Основные факторы, статистически объясняющие различия в результатах стран: –содержание теста: содержание теста PISA дает некоторое преимущество западным странам (например, по математике значительно больше заданий на работу с данными, чем по алгебре). В исследовании PISA западные страны имеют более высокие результаты, чем прогнозируемые. Восточно-европейские и азиатские страны имеют более низкие результаты, чем прогнозируемые. –число лет обучения в школе на момент проведения исследования PISA: в восточно-европейских и азиатских странах этот показатель ниже, чем в западных странах Изменения образовательных результатов «легко замаскировать», изменяя содержание теста и методы формирования выборки

Российская Академия образования Москва, 27 мая Распределение заданий в тестах PISA и TIMSS. Результаты стран по разделам математики ЧислаАлгебраИзмеренияГеометрияДанные Австралия Корея Нидерланды Новая Зеландия Норвегия Россия PISATIMSS PISA - TIMSS Числа21%29% - 8% Алгебра11%24%- 13% Измерения17%16%1% Геометрия12%16%- 4% Данные39%15%24%

Российская Академия образования Москва, 27 мая Сравнение результатов стран по отдельным заданиям по математики (PISA 2003) Гонконг Россия Задание «Яблони», вопрос M136Q02 Задание «Скорость гоночной машины», вопрос M159Q03

Российская Академия образования Москва, 27 мая Число лет обучения в школе на момент проведения исследования PISA Средний возраст учащихся в исследовании TIMSS (8 класс) Число лет обучения в школе на момент проведения исследования PISA Корея14,6около 9 Россия14,2около 8 Норвегия13,8около 10

Российская Академия образования Москва, 27 мая Явное разделение стран на две группы: - западные страны - восточно-европейские и азиатские страны Результаты кластерного анализа данных стран по математике (TIMSS-2003)

Российская Академия образования Москва, 27 мая Изменения в системе оценки качества образования ЕГЭ и ГИА-9 11 классВведение 9 классВведение Образовательные стандарты Стандарты содержания Минимум содержания, требования к подготовке Предмектные, метапредметные и личностные результаты PIRLS PISA TIMSS

Российская Академия образования Москва, 27 мая Для дополнительной информации Исследования TIMSS, PIRLS сайт Международной Ассоциации по Оценке Учебных Достижений - IEA (International Association for the Evaluation of Educational Achievement): ссылка ссылка на международную базу данных результатов PIRLS ссылка ссылка на международную базу данных результатов TIMSS Исследование PISA сайт Организации Экономического Сотрудничества и Развития - OECD (Organisation for Economic Co-operation and Development): ссылки ссылки на международную базу данных результатов PISA-2000: PISA-2003: PISA-2006: Исследовательский институт IEA-ETS Research Institute (IERI). Направление деятельности: -совершенствование методологии исследований; -подготовка специалистов; -распространение результатов. ссылка ссылка на сайт:

Москва, 27 мая 2009 Российская Академия образования Вопросы и комментарии Ковалева Галина Сергеевна, руководитель отдела оценки качества общего среднего образования Института содержания и методов обучения РАО Тел./факс: (499) сайт: