Вальдман И.А., директор Российского Тренингового центра ИО НИУ ВШЭ, в.н.с. Центра мониторинга качества образования ИО НИУ ВШЭ, к.п.н. Боченков С.А., эксперт. - презентация

1 Вальдман И.А., директор Российского Тренингового центра ИО НИУ ВШЭ, в.н.с. Центра мониторинга качества образования ИО НИУ ВШЭ, к.п.н. Боченков С.А., эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары Как доступно и наглядно представить результаты оценки образовательных достижений 25 сентября 2014 года ВЕБИНАР Российский тренингового центра Института образованием НИУ ВШЭ

2 О чём пойдёт речь? Хорошо продуманная и правильно подготовленная диаграмма поможет быстрее и точнее, чем обычные таблицы, донести материал до слушателей или читателей. Как наилучшим образом представить наши идеи с помощью диаграмм? Как привлечь и удержать внимание аудитории?

3 Данные ИдеяСравнение Тип диаграммы От ДАННЫХ к ДИАГРАММЕ ШАГ 1 Формулирование идеи ШАГ 2 Определение типа сравнения данных ШАГ 3 Выбор типа диаграммы

4 Количество участников ЕГЭ, получивших 100 баллов, чел Доля от числа участников 2013 года 2010/11 уч.год 2011/12 уч.год 2012/13 уч.год Русский язык ,31% Математика ,07% Физика ,23% Химия ,43% Информатика ,96% Биология ,29% История ,30% География ,93% Иностранный язык ,78% Обществознание ,10% Литература ,03% Всего по РФ ,17% ОТ ДАННЫХ К ИДЕЕ Динамика количества участников ЕГЭ по РФ, получивших 100 баллов За три года среди участников ЕГЭ число стобалльников значительно возросло В 2013 году число стобалльников по химии заметно превысило число стобалльников по русскому языку и по всем другим предметам В 2013 году доля стобалльников от числа участников экзамена по химии была наибольшей

5 МАТРИЦА СООТВЕТСТВИЯ ТИПОВ СРАВНЕНИЙ И ДИАГРАММ ПОКОМПОНЕНТНОЕПОЗИЦИОННОЕВРЕМЕННОЕЧАСТОТНОЕКОРЕЛЯЦИОННОЕ КРУГОВАЯ ЛИНЕЙЧАТАЯ ГИСТОГРАММА ГРАФИК ТОЧЕЧНАЯ

6 ПОКОМПОНЕНТНОЕ СРАВНЕНИЕ Доля заданий на умение решать уравнения и неравенства составила более 30% от общего числа заданий в тесте ЕГЭ по математике. В 2012/2013 учебном году более половины педагогов школы составляют учителя, имеющие высшую квалификационную категорию. При покомпонентном сравнении необходимо показать размер каждого компонента в процентах от некоего целого. Ключевыми словами для покомпонентного сравнения являются: "доля", "проценты от целого", "составило X %".

7 ПОКОМПОНЕНТНОЕ СРАВНЕНИЕ. КРУГОВАЯ ДИАГРАММА Круг создает прекрасное впечатление целого, а круговая диаграмма идеально подходит для выполнения покомпонентного сравнения. Наиболее важный компонент следует располагать на линии 12 часов, а для усиления эффекта лучше использовать наиболее контрастный цвет и/или вынос сектора. Лучше использовать не более шести компонентов. Если вам нужно отобразить большее число компонентов, выберите из них пять наиболее важных, а остальные сгруппируйте в категорию "прочие".

8 ИСПОЛЬЗУЙТЕ ОСНОВНУЮ ИДЕЮ В КАЧЕСТВЕ ЗАГОЛОВКА ДИАГРАММЫ Тематический заголовок Распределение выпускников 2012/13 учебного года региона А по кластерам школ. Динамика наполнения кластеров школ региона А за пять лет. Зависимость результатов ЕГЭ от числа экзаменов, сданных выпускниками. Качество общеобразовательной подготовки выпускников по результатам ЕГЭ в зависимости от пола. Распределение выпускников начальной школы по уровням учебных достижений по предметным областям. Заголовок, отражающий основную мысль В регионе А доля выпускников, окончивших инновационные образовательные учреждения (кластер 1), составила 20%. Доля выпускников вечерних школ в регионе А за пять лет сократилась в 2 раза. Выпускники, сдавшие 3-4 экзамена в форме ЕГЭ, достигают более высоких результатов. Качество общеобразовательной подготовки у девушек выше, чем у юношей. В среднем более 25% выпускников начальной школы в РФ не достигают базового уровня учебных достижений по математике.

9 ПОЗИЦИОННОЕ СРАВНЕНИЕ Большая часть учащихся начальной школы, принявших участие в федеральном мониторинге, достигли повышенного уровня по математике в сравнении с другими уровнями учебных достижений. По итогам ЕГЭ школа А показала самые высокие результаты по русскому языку среди других школ своего микрорайона. Ключевыми словами для позиционного сравнения являются: "больше чем", "меньше чем", "равно". При позиционном сравнении необходимо показать, как объекты соотносятся друг с другом - одинаковы ли они, больше или меньше других

10 Важно, чтобы пространство, разделяющее линейки, было меньше, чем ширина самих линеек. Для обозначения количественных величин можно использовать либо шкалу вверху (иногда - внизу), либо числа на концах линеек, но не желательно - и то, и другое. Шкалу используйте, если хотите только кратко ознакомить с взаимосвязями, числа - если эти взаимосвязи важны для передачи основной идеи. Используя числа, округляйте их и избегайте дробей, если точная величина несущественна. ПОЗИЦИОННОЕ СРАВНЕНИЕ. ЛИНЕЙЧАТАЯ ДИАГРАММА

11 Для позиционного сравнения можно применять гистограмму, но линейчатая гистограмма смотрится лучше в большинстве случаев. Тому 2 причины. 1. Снижается вероятность путаницы между позиционным и временным сравнением. В последнем случае используют именно гистограммы. 2. В гистограммах могут возникнуть проблемы с подписью названий. ПОЗИЦИОННОЕ СРАВНЕНИЕ. ЛИНЕЙЧАТАЯ ДИАГРАММА и ГИСТОГРАММА ХОРОШО НЕ ОЧЕНЬ

12 ЛИНЕЙЧАТАЯ ДИАГРАММА С НАКОПЛЕНИЕМ PISA-2009 Такая диаграмма отражает вклад каждого параметра в общую сумму

13 СКОЛЬЗЯЩАЯ ЛИНЕЙЧАТАЯ ДИАГРАММА Такая диаграмма иллюстрирует соотношение 2-х разных компонентов Распределение (в %) выпускников начальной школы по уровням достигнутой подготовки по математике, русскому языку и окружающему миру (2013 г.)

14 ВРЕМЕННОЕ СРАВНЕНИЕ За годы участия в программе PISA за период с 2003 года наблюдается повышение результатов российских учащихся по математической грамотности на 14 баллов. За последние 3 года в муниципалитете сократилась доля учащихся, не преодолевших минимальный порог в ЕГЭ по математике. Ключевыми словами для позиционного сравнения являются: "изменяться", "расти", "убывать", "возрастать", "снижаться", "колебаться". При временном сравнении необходимо показать, как изменяются определённые показатели во времени: они возрастают, снижаются, колеблются, остаются неизменными.

15 С помощью гистограммы лучше отражать точные значения параметра в определенные моменты времени. Графики больше подходят для отображения тенденции на протяжении некоторого непрерывного периода. ВРЕМЕННОЕ СРАВНЕНИЕ. ГРАФИК и ГИСТОГРАММА Результаты российских учащихся по математической грамотности в исследовании PISA повысились Доля выпускников ОУ Чувашской Республики, не сдавших ЕГЭ, ниже чем по России

16 Национальный мониторинг NAEP, США. Результаты по уровням дохода и этническим группам Этнические группы Лос-Анджелес, математика, 4 класс Уровень дохода

17 ЧАСТОТНОЕ СРАВНЕНИЕ Большая часть выпускников школ РФ в ЕГЭ 2010 года по математике баллы показала результаты в промежутке от 41 до 45 баллов. Термины, характерные для этого типа сравнения: " в диапазоне от x до y", "концентрация", "частность", "распределение". При частотном сравнении необходимо показать, сколько объектов попадает в определенные последовательные числовые интервалы.

18 Число диапазонов - применяется не менее 5, но не более 20 областей числовых значений, но важно подобрать такие размеры, чтобы нагляднее продемонстрировать основную мысль. Данный тип сравнения лучше всего иллюстрировать с помощью ступенчатых гистограмм или графиков. Гистограммы нагляднее, когда используется не больше 5-7 областей числовых значений, в противном случае следует воспользоваться графиком. Лучше использовать интервалы одинакового размера. Границы интервалов не должны перекрываться. ЧАСТОТНОЕ СРАВНЕНИЕ. ГИСТОГРАММА И ГРАФИК

19 ЧАСТОТНОЕ СРАВНЕНИЕ. ГРАФИК (ЕГЭ 2013, математика) ege/statistika/?region= 77&year=2013

20 Пример Австралии. Национальный мониторинг NAPLAN. Распределение результатов по чтению в кластере «подобных» школ Год 7 Чтение Год обучения Область оценки Число школ Число школ Средний балл

21 КОРРЕЛЯЦИОННОЕ СРАВНЕНИЕ PISA-2012: С увеличением численности жителей в населённом пункте значительно увеличиваются достижения учащихся по математической грамотности. TIMSS-2011: Наиболее успешно выполнившие тест TIMSS учащиеся положительно относятся к изучаемым предметам. Термины, характерные для этого вида сравнения, - "относится к", "возрастает при (в случае)", "снижается при (в случае)", "меняется при (в случае)" или, наоборот, "не возрастает при (в случае)" и т. д. Корреляционное сравнение показывает наличие (или отсутствие) зависимости между двумя переменными.

22 Приемлемый вариант подписи точек – обозначать точки буквами или цифрами, которые соотносятся с полными именами или названиями, приведёнными в легенде. Подобные сравнения лучше всего иллюстрируются при помощи точечных (рассеянных) или двусторонних линейчатых диаграмм. Использование двусторонней линейчатой диаграммы имеет смысл, только когда на чертеже относительно небольшое количество показателей. Если же их от 15 и выше, то гораздо лучше составить точечную диаграмму, не подписывая на ней каждую точек. КОРЕЛЯЦИОННОЕ СРАВНЕНИЕ. TОЧЕЧНАЯ ДИАГРАММА

23 КОРРЕЛЯЦИОННОЕ СРАВНЕНИЕ. PISA-2009 Связь результатов образовательных учреждений и социальных, экономических и культурных характеристик семей учащихся

24 КОРРЕЛЯЦИОННОЕ СРАВНЕНИЕ. ДВУСТОРОННЯЯ ЛИНЕЙЧАТАЯ ДИАГРАММА Связь между внутренним (аттестат с отличием) и внешним оцениванием (ЕГЭ) результатов обучения отсутствует. (данные по муниципалитетам)

25 Типы сравнения и данные из области оценки качества образовательных достижений Покомпонентное сравнение Структура теста (проверяемые умения и виды деятельности). Состав выборки (по полу, по возрасту, по территории и т.д.) Позиционное сравнение Сравнение результатов теста по проверяемым умениям и видам деятельности. Сопоставление результатов групп участников (по полу, возрасту, местоположению, территориальным образованиям, школам). Временное сравнение Изменение результатов теста в течение установленных временных промежутков Частотное сравнение Распределение баллов теста по установленным интервалам Корреляционное сравнение Взаимосвязь баллов теста с контекстными переменными

26 АКЦЕНТЫ и «УСЛОЖНЕНИЯ»

27 Величину изменений удобно фиксировать графически, используя «стрелки», «скобки» и т.п. ВРЕМЕННОЕ СРАВНЕНИЕ. ЛИНЕЙЧАТАЯ ДИАГРАММА +14 Результаты российских учащихся по математической грамотности в исследовании PISA повысились

28 СКОЛЬЗЯЩАЯ ЛИНЕЙЧАТАЯ ДИАГРАММА Распределение учащихся 4 класса по уровням достижения по математике по регионам (мониторинг, 2013 год)

29 ДИАПАЗОННАЯ ГИСТОГРАММА. Национальный мониторинг NAEP, США. Изменение среднего балла теста NAEP у учащихся 4-х классов государственных школ по чтению по выбранным годам оценки (1992, 2003, 2011). Мега-штаты США Калифорния, Флорида, Иллинойс, Нью-Йорк, Техас.

30 КОМБИНАЦИЯ ДВУХ ДИАГРАММ С ОБЛАСТЯМИ И ГРАФИКА С МАРКЕРАМИ. ПРИМЕР ЕГЭ Графическим выражением успешности результата выполнения теста группой учеников является профиль решаемости, где видны результаты выполнения каждого задания.

31 КОРРЕЛЯЦИОННОЕ СРАВНЕНИЕ. PISA-2012 Связь между результатами по математике и типом населённого пункта

32 ЧАСТОТНОЕ РАСПРЕДЕЛЕНИЕ. Выпускники, не преодолевшие минимального уровня освоения образовательного стандарта – 5,28% Выпускники, сдавшие экзамен с результатом ТБ2 и выше – 3,48%) Россия

33 ДИАПАЗОННАЯ ГИСТОГРАММА (биржевая диаграмма). Новая Зеландия. Национальный мониторинг. Результаты теста учащихся 4 класса по естественно-научной грамотности по группам Диапазон 25% лучших результатов Прямоугольник ограничивает зону, в которой находятся 50% средних результатов учащихся. Диапазон 25% самых низких результатов

34 За три года школа А заметно улучшила свои позиции по ключевым показателям результатов ЕГЭ относительно аналогичных школ.

35 А МОЖНО И ПО-ДРУГОМУ

36 ПОКОМПОНЕНТНОЕ СРАВНЕНИЕ НЕСКОЛЬКИХ ЦЕЛЫХ: нормированные гистограммы выигрышнее Хорошо: Плохо:

37 Результаты ЕГЭ по Астраханской области Информация «О состоянии качества общего образования в Астраханской области по результатам ЕГЭ», Стр rezultatov-attestacii rezultatov-attestacii Задача сравнения, поставленная в тексте не поддерживается графически: читателю предлагается самому сравнить размеры секторов в двух соседних круговых диаграммах. Неудачно выбран вид диаграммы: для позиционного сравнения лучше использовать линейчатую диаграмму. Сумма секторов круговой диаграммы не должна быть больше или меньше 100%

38 Выпускники городских школ активнее выбирают экзамены в форме ЕГЭ по всем предметам, кроме естественных наук (география, биология, химия) Результаты ЕГЭ по Астраханской области Для сравнения выбрана линейчатая диаграмма с наложением рядов. Предметы отсортированы по группам для того, чтобы лучше выделить естественные, технические и гуманитарные направления.

39 Изменения с 2003 по 2012 гг. в использовании данных оценки для сравнения достижений школ Процент учащихся в школах, в которых результаты сравниваются с регионом, страной

40 Изменения с 2003 по 2012 гг. в использовании данных оценки для сравнения достижений школ PISA 2012 С 2003 по 2012 гг. наметилась тенденция увеличения использования данных оценки для сравнения результатов школ с регионом, страной

41 Единый государственный экзамен в Ярославской области в 2013 году / Под редакцией М.В. Груздева – Ярославль, – 89 с. Стр pdf pdf Результаты ЕГЭ-2013 по Ярославской области Заголовок диаграммы не передаёт основную идею: если здесь имеется в виду покомпонентное сравнение и «коэффициент участия по физике в течении 5 лет в 2,5-3 раза ниже коэффициента участия по обществознанию», то линейчатая диаграмма уместна, если же здесь временное сравнение, то лучше выбрать гистограмму и акцент сместить на динамику.

42 Обществознание является самым востребованным экзаменом ЕГЭ из предметов по выбору и его популярность среди выпускников школ Ярославской области за пять лет выросла на треть

43 Анализ результатов ЕГЭ-2012 по Чеченской Республике. Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям. – Грозный, – 140 с. Стр Результаты ЕГЭ-2012 по Чеченской Республике При объединении в одной диаграмме графика и гистограммы лучше, если показатели активности участия были в виде одного типа диаграмм, а все результаты (доля успешно справившихся и доля набравших ТБ2 и выше) другого типа. При позиционном сравнении лучше использовать линейчатую диаграмму.

44 Обществознание. Качество предоставляемой образовательной услуги в разрезе муниципальных образований в Чеченской Республике. ЕГЭ-2012

45 Анализ результатов ГИА-2013 по русскому языку, математике, физике, химии, информатике, биологии, истории, географии, иностранным языкам, обществознанию, литературе в Томской. – Томск, – 274 с. Стр pdf Результаты ЕГЭ-2013 по Томской области Числовые диапазоны не должны перекрываться. Интервальный ряд построен неправильно. Чтобы правильно построить интервальный вариационный ряд необходимо выбрать оптимальное число интервалов и установить длину каждого из них. Длина интервала должна быть постоянной, поскольку при анализе вариационного ряда сравнивают частоты из разных групп. Оптимальное количество групп рассчитывается по формуле Стерждеса: h = 1 + 3,322 х ln(n), где h – число групп в вариационном ряду; n – численность совокупности.

46 24,7% По химии доля высокобалльных результатов на ЕГЭ в Томской области увеличилось в 2,4 раза по сравнению с ЕГЭ ,9% 38,6% 26,6% 27,2% 11,7% 9,5% 1,8% Правильнее было бы границу высокобалльных результатов совместить с границей ТБ2 (по химии = 80 баллов)

47 Определение факторов, связанных с низкими результатами ЕГЭ выпускников 11 классов: оценка вклада мотивационных и семейных характеристик Привычный способ представления данных

48 Результаты ЕГЭ-2013 по Республике Коми Какие причины могут вызвать представленное на графике распределение тестовых баллов ЕГЭ и динамику по годам? Статистические информационно- аналитические материалы ЕГЭ-2013 Республика Коми/общ.рук.О.Ю.Мазанова – Сыктывкар, – 122 с. Стр Французский язык

49 Результаты государственной итоговой аттестации по образовательным программам среднего общего образования в Чувашской Республике в 2014 году. Сборник статистических материалов. – Чебоксары: БУ «Республиканский центр новых образовательных технологий» Минобразования Чувашии, – 136 с. Стр Пресловутый средний балл… Стобалльная шкала по предметам и по годам не совпадает, поэтому использование среднего бала и показателей, фиксирующий единый для всех предметов порог (например, доля набравших 80 и более баллов) является некорректным. «Представление результатов оценки учебных достижений: почему нельзя полностью доверять среднему баллу теста?» Подробнее см. вебинар РТЦ «Представление результатов оценки учебных достижений: почему нельзя полностью доверять среднему баллу теста?» Презентация и видео доступны здесь

50 Статистика основных результатов единого государственного экзамена в 2014 году. Томская область. Томск, – 266 с. Стр at_sbor pdf at_sbor pdf Показатели, построенные на выделении групп выпускников, набравших определённое число баллов по 100 балльной шкале. Ввиду неравенство шкал между предметами и по годам показатели построенные на промежутках шкалы не отражают реальность, т.к. в одном предмете 70 баллов – это очень высокий результат, а в другом – весьма посредственный. Получение 100-балльного результата является скорее исключением, чем нормой, установленной для школы. Поэтому сравнение по данному показателю не только не отражает реальной картины качества и устанавливая недостижимый ориентир, дополнительно толкает систему образования к нарушению процедуры проведения ЕГЭ

51 ВАШИ ВОПРОСЫ!