Учебный курс «Информирование различных целевых групп о результатах оценки учебных достижений школьников» сентября 2011 года, г. Москва Связь результатов оценки и управления образованием Скотт Мюррей, DataAngel Policy Research Inc. Telephone: (613) address:

Характер систем образования: Сложные производственные предприятия? Сложные учреждения культуры?

Одним из способов, которыми школы компенсируют наличие учащихся с низким уровнем грамотности, является применение менее продуктивных систем организации труда, процессов работы и технологий производства: Результат Издержки Граница производственных возможностей: точка получения наибольшей отдачи при наименьшей удельной стоимости продукции Менее продуктивная конфигурация

Возможность учета и обратный эффект: иногда результат не совпадает с ожиданиями:

Волшебный рецепт: Наличие достоверных, надежных, сопоставимых и поддающихся интерпретации данных Анализ с учетом исходных различий Инклюзивные процессы, проводящие заинтересованных участников по континууму «данные/знания/мудрость/действие» Деньги и навыки для выполнения хорошей работы Уважение и объективность

Как мы достигаем успеха? (с точки зрения полезных выводов) Относительное положение можно оценить с помощью множества критериев: масштабы, количество, качество, эффективность, результативность, значимость и равенство образовательных результатов в подростковый период Результаты зависят от ряда факторов Каждая мелочь значит мало – если их сложить, они значат много Поведенческие и когнитивные результаты взаимодействуют конструктивно и деструктивно Большое значение имеет то, что происходит за пределами школы

Структура управления Перспектива расположения элементов CGSUGPSUPSSUS Learner 123? W W CGSUGPSUPSSUSTeacher IIIIII123? W W CGSUGPSUPSSUSPrincipal ABCIIIIII$?IIIIII123IIIIII W W CGSUGPSUP SS U SSuperintendent XYZABC$?ABCIIIIIIABC W W Инспектор Директор Учитель Учащийся Каково ваше видение? реальность?

Структура управления Перспектива расположения элементов CGSUGPSUPSSUS Learner 123? W W CGSUGPSUPSSUSTeacher IIIIII123? W W CGSUGPSUPSSUSPrincipal ABCIIIIII$?IIIIII123IIIIII W W CGSUGPSUP SS U SSuperintendent XYZABC$?ABCIIIIIIABC W W CGSUGPSUPSSUSBOE/Parents XCI1YBII2$you???YBII2you???YBII2 W W Директор Учитель Учащийся Совет/Родители/Министерство Инспектор Федерация?

Переход от обучения чтению к чтению для обучения: Обучение чтению 0 Чтение для обучения Преобладающее значение механических навыков чтения Преобладающее значение когнитивных стратегий Уровень 1 Уровень 2 Уровень 3 Уровень 4Уровень 5

Отчеты об учебной успеваемости по итогам проведения TIMSS в Катаре: учащиеся Образование родителей (годы) Результаты по естественным наукам

Отчеты об учебной успеваемости по итогам проведения TIMSS в Катаре : средние значения по школам Результаты по естественным наукам Образование родителей (годы)

Отчеты об учебной успеваемости по итогам проведения PISA в Катаре: Взаимосвязь между школьными усредненными показателями по естественным наукам и средним уровнем образования родителей, по типу школ, Катар, PISA 2006

Отчеты по итогам проведенияTIMSS в Катаре: школы Балл по математике Профиль школы по успеваемости по математике в 4 классе

Отчеты по итогам проведенияTIMSS в Катаре: школы Профиль школы по успеваемости по математике в 4 классе

Анализ успеваемости в школах Квебека показывает, что высокий средний уровень навыков чтения, демонстрируемых учащимися провинции, достигается не за счет нескольких элитных школ. Напротив, успехи Квебека являются результатом успешной работы школ, обслуживающих учащихся из семей со средним социально- экономическим положением (СЭП). В провинции есть несколько школ, где обучаются учащиеся с очень низким СЭП, и эти школы демонстрируют относительно низкие результаты. Характеристика школ в Квебеке Источник: J. D. Willms, UNB Квебек демонстрирует высокие результаты за счет школ, обслуживающих средний класс…

Анализ социально-экономических градиентов (Рисунок 3) показал, что учащиеся Онтарио намного отстают от своих сверстников в Квебеке и Альберте в пределах всего диапазона СЭП. Характеристика школ показывает, что показатель СЭП у общего количества учащихся в большинстве школ Онтарио выше среднего значения для стран ОЭСР. Однако показатели успеваемости в большинстве школ Онтарио находятся ниже линии регрессии, что свидетельствует о том, что они не достигают таких результатов, как другие канадские школы с сопоставимым контингентом учащихся. Таким образом, относительно низкая результативность в Онтарио происходит не из-за нескольких отстающих школ, обслуживающих учащихся с низким СЭП. Скорее это связано с более низким в целом уровнем качества работы большинства школ провинции. Характеристика школ в Онтарио Источник: J. D. Willms, UNB Онтарио уступает по всем параметрам… Разрыв между знанием и практикой

Осмысление через международный сопоставительный анализ:

Процент учащихся в возрасте 15 лет в различных провинциях, не соответствующих стандарту навыков чтения, установленных для учащихся 10-х классов в Британской Колумбии, 2000 г. 1. Все показанные результаты даны для учащихся в возрасте 15 лет, за исключением учащихся 10-х классов в Британской Колумбии, которые в среднем на 6 месяцев старше 15 лет. 2. Территории приведены в порядке, соответствующем проценту учащихся, соответствующих или превышающих ожидания. Источник: Таблица 6 Несмотря на высокий средний уровень успеваемости значительный процент учащихся в возрасте 15 лет не соответствует стандарту, установленному в Британской Колумбии для учащихся 10-х классов… Осмысление через международный сопоставительный анализ : 20%

Осмысление через международный сопоставительный анализ : сопоставление шкал PISA и IALS: распределение процентилей и уровни Процентили Level 5 Level 4 Level 3 Level 4 Level Level Level 2 Level 1 Below Level Среднее значение Грамотность IALSPISA Среднее значение Level 1

Комбинации ошибок в единицах оценки свидетельствуют о недостатках учебных программ: PISA (Катар) Область учебного плана Когнитивный уровень (компетентность) Количество (%) респондентов # (%) Балл 0 # (%) Балл 1 # (%) Балл 2 # (%) Балл 3 # (%) Балл 4 Особенные аспекты учебного планы, которые требуют внимания Физические системы Научное объяснение явлений 187 (100%) 128 (7%) 425 (23 %) 503 (27%) 815 (44%) 0 (0%) Учащиеся не поняли, что Интернет или библиотека могут быть источником информации о том, как сохранить траву пышной и зеленой, в то время, как вечерние новости не могут Научный запрос Определение научных вопросов 1866 (100%) 217 (12%) 371 (29%) 557 (30%) 721 (39%) 0 (0%) 1)Учащиеся не поняли дизайн научного эксперимента и не осознали, что бумага относится к категории леса; или 2)Учащиеся не поняли дизайн научного эксперимента и не осознали, что выставленная земля не относится к почве, где деревья никогда не росли; или 3)Учащиеся не поняли дизайн научного эксперимента и не осознали, что порывы воздуха являются ветром

Комбинации ошибок в единицах оценки свидетельствуют о недостатках учебных программ: PISA (Катар) Область учебного планаКогнитивный уровень (компетентность)Процент учеников, ответивших неверно Технологические системыНаучное объяснение явлений62 Физические системыНаучное объяснение явлений35 Научный запросОпределение научных вопросов53 Живые системыНаучное объяснение явлений63 Физические системыНаучное объяснение явлений63 Научные объясненияИспользование научного доказательства63 Живые системыНаучное объяснение явлений77 Научный запросОпределение научных вопросов77 Технологические системыИспользование научного доказательства56 Системы земли и космосаНаучное объяснение явлений59 Научные объясненияИспользование научного доказательства72 Научный запросОпределение научных вопросов56 Системы земли и космосаНаучное объяснение явлений58 Системы земли и космосаНаучное объяснение явлений60 Научные объясненияИспользование научного доказательства73 Научные объясненияИспользование научного доказательства66 Физические системыНаучное объяснение явлений47 Физические системыНаучное объяснение явлений73 Физические системыНаучное объяснение явлений69 Научный запросИспользование научного доказательства67 Научный запросОпределение научных вопросов78 Научный запросОпределение научных вопросов70 Научный запросОпределение научных вопросов75 Системы земли и космосаНаучное объяснение явлений61 Системы земли и космосаНаучное объяснение явлений64 Научные объясненияИспользование научного доказательства61 Живые системыНаучное объяснение явлений45 Живые системыНаучное объяснение явлений55 Живые системыНаучное объяснение явлений67 Живые системыНаучное объяснение явлений40 Живые системыНаучное объяснение явлений50

Выявление значимых факторов: проксимальные и дистальные показатели Вероятностные коэффициенты для взаимозависимости между научной грамотностью и факторами школьной политики и практики, в привязке к образованию родителей, 15-ти летние ученики, Катар, PISA 2006

Выявление значимых факторов: проксимальные и дистальные показатели Подготовка учителя Возможность изучать предмет Отношение к предмету Школьный климат Ресурсы школы Диаграмма ресурсов обучения по математике и естествознанию в 4 классе

Восполнение разрыва между знаниями и практикой за счет инноваций: