Приоритеты и решения, принимаемые при проведении общенациональной оценки CICED : московский учебный курс Винсент Грини, 3 февраля 2010 года. - презентация

1 Приоритеты и решения, принимаемые при проведении общенациональной оценки CICED : московский учебный курс Винсент Грини, 3 февраля 2010 года

2 1. Кто должен осуществлять политическое руководство программой общенациональной оценки? Учредить национальный руководя щий комитет ( Р К) для осуществления общего руководства. Р К должен Иметь авторитетный статус Обеспечить учёт ключевых вопросов политики Решать проблемы, возникающие при реализации Повысить вероятность того, что результаты оценки будут использоваться для разработки политики в будущем

3 Кто должен входить в Р К? Представители министерства образования, а также такие основные заинтересованные стороны, как: Представители основных этнических, религиозных и языковых групп; Группы, члены которых в перспективе должны будут действовать на основе результатов: Лица, отвечающие за подготовку учителей, Учителя Школьные инспекторы и Лица, отвечающие за учебные планы.

4 Сколько работы придётся выполнять РК ? Не перегружать себя совещаниями и обязательно заниматься текущей реализацией задач Осуществлять руководство на начальном этапе путем: Определения задач и обоснования оценки, Определения разделов учебной программы и классов, подлежащих оценке Выбора организации или организаций, проводящих оценку.

5 Рабочая нагрузка Руководящего комитета Основная активность на начальном и заключительном этапе Изучение предварительных экземпляров тестов и вопросников и ознакомление с предлагаемыми процедурами Осуществлять руководство и Обеспечивать, в первую очередь, сбор той информации, потребность в которой и вызвала необходимость оценки. Также должен изучать предварительные отчёты исполнительной организации.

6 2. Кто должен проводить общенациональную/ региональную оценку ? Авторитетная группа или организация, чтобы работа вызывала уважение и повышала вероятность широкого признания полученных результатов. Это может быть Группа, сформированная на уровне министерства образования; Независимая организация (университет, научный центр), Не национальные группы специалистов.

7 Группа из министерства образования ? ПреимуществаНедостатки Вероятность доверия со стороны министерства. Доступ к персоналу, материалам и данным. Нет проблем с оплатой рабочего времени сотрудников. Полученные данные могут быть предметом политических манипуляций, включая намеренный отказ от данных. Возможно недоверие у других сторон. Занятость персонала другими задачами. Возможно отсутствие специального опыта.

8 Группа из экзаменационного органа ? ПреимуществаНедостатки Как правило, вызывает доверие. Имеется опыт в проведении закрытых оценочных мероприятий. Могут потребоваться средства для оплаты персонала. Более вероятна её устойчивость в долгосрочной перспективе по сравнению с другими моделями. Персонал может быть занят выполнением множества других заданий. Возможна низкая квалификация Нет достаточного оперативного доступа к данным. Благодаря опыту в области государственных экзаменов тестовые задания могут стать слишком трудными.

9 Группа из университета/исследовательского центра ? ПреимуществаНедостатки Данные могут вызывать больше доверия у других заинтересованных сторон. Выше вероятность наличия специальных навыков. Могут использовать данные для дальнейшего изучения системы образования. Необходимость изыскания средств для покрытия трудозатрат. Возможно, эта модель менее устойчивая, чем другие. Может конфликтовать с министерством образования.

10 Необходимые знания и умения В своей основе это - коллективная работа. Группа должна быть гибкой, желающей работать очень напряжённо и в духе сотрудничества, готовой учиться новым подходам. Руководитель группы должен иметь хорошие навыки руководителя и политическую проницательность

11 Необходимые знания и умения Группа должна обладать современными знаниями и умениями в таких областях: Разработка контрольных заданий и вопросников Выборочное исследование Очистка данных Статистический анализ Составление отчётов

12 Задачи Организация семинаров для составителей заданий и администраторов тестов ; Организация издания и распространения тестов, вопросников и инструкций ; Связь со школами ; Разработка учебных материалов ; Сбор и регистрация данных.

13 Задачи ( продолжение ) Анализ учебной программы, Разработка таблиц спецификаций или макетов тестов ; Предварительная разработка заданий ; Отбор заданий после предварительного или пробного проведения и выдача рекомендаций по Начислению баллов/исправлению открытых вопросов и вопросов с множественным выбором

14 3. Кто будет проводить тесты и опросы? Учителя? Учителя оцениваемых учащихся редко бывают администраторами тестов, даже если это: Удобно с точки зрения проведения, Очень экономично Учителя, которым приходится оценивать своих учащихся: Могут подумать, что оценивается эффективность их преподавания. Могут не удержаться от оказания помощи учащимся. Могут делать копии тестов или тестовых заданий. Может повысить как обеспокоенность общественности, так и результаты оценивания.

15 Администраторы ? Инспекторы и преподаватели педагогических учебных заведений? Преимущества Вероятно, имеется опыт классной работы. Могут наблюдать реальное обучение в классе. Повышенный интерес к результатам. Вероятно, знают все места расположения школ Недостатки Могут быть слишком строгими. Возможен дефицит времени. Могут заниматься одновременно инспектированием. Обходятся дороже учителей. Могут не следовать подробным инструкциям

16 Администраторы ? Сотрудники оценочной/экзаменационной комиссии? Преимущества Профессиональная квалификация. Напрямую подотчетны своим комиссиям. Как правило, надёжные. Хорошо ведут отчётность. Советуются перед принятием важных решений. Недостатки Могут быть чрезмерно строгими, особенно те, кто привлекается для наблюдения за госэкзаменами. Возможно, у них недостаточно свежего опыта классной работы. Возможно, недостаточно опыта для тестируемого уровня. Их услуги дороги.

17 4. Кто будет оцениваться? Те, кто не охвачены школьным обучением ? Год обучения ? Обычно зависит от того, что министерство образования хочет выявить. Например : США : 4, 8 и 12 классы ; Колумбия : 3, 5, 7 и 9 классы ; Уругвай : дошкольники и 1, 2 и 6 классы ; Африка ( Англо-говорящие) SACMEQ:6 классы Африка ( Франкоговорящие) PASEC: 2 и 5 классы

18 5. Проводить сплошную или выборочную оценку? Обычно выборочно, так как: Снижает расходы на печатание, проведение тестов, очистку данных и работу с информацией; Требует меньше времени на очистку данных, анализ и отчётность ; Легче осуществлять надзор за работой на местах и подготовкой данных ; Из выборки можно получить информацию высокого качества Этого достаточно для разработки политики

19 Проводить сплошную или выборочную оценку ? Оценивание по переписи может использоваться для поддержания подотчётности школ (например, в Англии и Чили) На основе выборки: невозможно определить конкретные школы, нуждающиеся в поддержке; Можно сочетать сплошное оценивание (по переписи) и использование выборки, например в Коста-Рике, на Кубе, во Франции; В регионах/провинциях использовались данные переписи (например, в Мексике и в некоторых регионах Бразилии и Колумбии).

20 6. Что будет оцениваться? Общенациональн ое оценивание Языка/грамотности и Математики/ способности к количественному мышлению Некоторые страны оценивают другие предметы, включая: естественные науки, общественные науки и религию

21 Схема работы Сделать процесс оценки прозрачным Начать с общего определения или постановки цели; Обосновать проведение оценки; Перечислить, что необходимо измерять Определить особые характеристические задачи или переменные, которые будут использоваться; Указать на показатели оценки работы учащихся

22 Подход к чтению в рамках PIRLS (Проект "Исследование качества чтения и понимания текста») Концентрируются и извлекают явно выраженную информацию [20%] Делают непосредственные выводы [30%] Объясняют и объединяют идеи и информацию [30%] Проверяют и оценивают содержание, язык и элементы текста [20%]

23 Дополнительная информация Информация о возможных факторах, характеризующих учащихся, школу или домашнюю обстановку, повлиявших на достижения Пол и образовательная предыстория учащегося, Повторное прохождение класса; школьные ресурсы, включая доступность учебников Уровень образования учителей и их квалификация Социально-экономическ ое положение семей учащихся.

24 Как собирают информацию? Обычно информацию получают из вопросников, включающих шкалу установок, раздаваемых Учащимся, Учителям, Старшим учителям и директорам, Иногда родителям. Также отметьте, что учителя проходили тестирование (например во Вьетнаме)

25 7. Каким образом оценивать достижения? Можно иметь Средний процент вопросов, на которые учащиеся ответили правильно или Результаты могут быть сопоставлены с произвольным средним значением (например 500) Это мало говорит об уровне знания предмета учащимися

26 Типы заданий В большинстве национальных и международных оценок полагаются на множественный выбор Все чаще в оценивание включают свободные задания, в которых от учащихся требуется написать слово, фразу или предложение

27 Множественный выбор Андрей Аршавин – это O Композитор 19-го века O Русский посол во Франции O Космонавт в 1980-х годах O Футболист

28 Задание с ответом в свободной форме Ирина и Борис нашли дерево, на котором 400 яблок. Борис пытается сбить яблоко с дерева при помощи палки. Он говорит, что у него, по крайней мере, 160% шансов сбить одно яблоко.. Вы согласны с Борисом или нет? Объясните_____________________ ________________________________

29 Другие вопросы Используете ли вы единый тест или тест, состоящий из блоков (множество книг, чтобы оценить содержание) На каком языке (или языках) Каким образом вы будете определять достоверность теста (его соответствие)?

30 8. Как часто будет проводиться оценка? Варьируется от страны к стране США: чтение и математика каждые два года, а другие предметы - реже. Международные оценки уровня умений чтения (PIRLS) каждые пять лет. PISA каждые 3 года; охват основных предметов каждые 9 лет. Каждый год, если целью оценки является подотчётность учителей

31 Как часто будет проводиться оценка? Один раз в три–пять лет вполне достаточно (для предмета на определённом году обучения) Образовательные системы меняются не так быстро, поэтому маловероятно, что при более частом оценивании будут фиксироваться изменения. Слишком частое оценивание, вероятнее всего, ограничит влияние результатов, а также повлечёт ненужные затраты.

32 9. Каким образом докладывать о достижениях учащихся? Информация на уровне задания В Гане только один процент учащихся правильно ответили на вопрос о преломлении света в исследовании TIMSS Такого рода информации вероятнее всего будет интересна методистам учебных заведений и преподавателям педагогических учебных заведений.

33 Каким образом сообщать о достижениях учащихся? Показатели в области знаний предметов учебной программы

34 Каким образом докладывать о достижениях учащихся? Показатели (нормативы) умений : Пример PISA Оценочные баллы Что, как правило, умеют учащиеся уровень Учащиеся 6 уровня могут осмысливать, обобщать и использовать информацию, основанную на их собственных исследованиях и моделировании сложных проблемных ситуаций. Они могут соотносить различные источники информации и типы представления и гибко интерпретировать их. Учащиеся это уровня имеют способности к углубленному математическому мышлению и умозаключению. Такие ученики могут применять проницательность и понимание наряду с умением пользоваться символическими и формальными математическими операциями и отношениями для продумывания новых подходов и стратегий в новых ситуациях. Учащиеся на этом уровне могут сформулировать и точно сообщить о своих действиях и мыслях касательно своих выводов, толкований, доводов и их правильности в отношении оригинальных ситуаций уровень Учащиеся 5 уровня могут составлять и работать с моделями сложных ситуаций, устанавливая связи и определяя допущения. Они могут выбирать, сравнивать и оценивать соответствующие стратегии решений сложных проблем, относящихся к этим моделям. Учащиеся на данном уровне могут стратегически работать, широко применяя хорошо развитые навыки мышления и обоснования, правильно связанные представления, навыки символического и формального описания и интуитивное понимание данных ситуаций. Они способны размышлять о своих действиях, формулировать и сообщать свое видение и обоснование уровень Учащиеся 4 уровня могут эффективно работать с явными моделями сложных конкретных ситуаций, которые могут содержать связи или требовать допущения. Они могут выбирать и совмещать различные представления, в том числе символичные, и соотносить их непосредственно с аспектами реальных ситуаций. На этом уровне учащиеся могут применять хорошо развитые умения и навыки, гибко аргументировать, используя интуицию в данных ситуациях. Они могут составлять и сообщать объяснения и доводы, основанные на их собственных толкованиях, аргументах и действиях уровень Учащиеся 3 уровня могут выполнять четко описанные процедуры, в том числе те, которые требует последовательных решений. Они могут выработать и применять простые стратегии решения проблем. На этом уровне учащиеся могут интерпретировать и использовать представления, основанные на различных информационных источниках и делать выводы, непосредственно опираясь на них. Могут составлять короткие высказывания, сообщая свое понимание, результаты и доводы уровень Учащиеся 2 уровня могут интерпретировать и воспринимать ситуации с содержанием, которое не требует ничего сложнее прямых умозаключений. Они могут извлекать значимую информацию из единого источника и пользоваться одним репрезентативным способом. Учащиеся на этом уровне могут использовать основные алгоритмы, формулы, процедуры или правила. Они способны делать прямые умозаключения и буквальное толкование результатов уровень Учащиеся 1 уровня могут отвечать на вопросы со знакомым содержанием, где представлена вся необходимая информация, и вопросы поставлены четко. Они способны распознать информацию и выполнять простые процедуры в соответствии с прямыми наставлениями в явных ситуациях. Они могут выполнять очевидные действия, непосредственно вытекающие из данных стимулов.

35 Каким образом докладывать о достижениях учащихся? Нормативы : (Shiel, 2010) Процент учащихся (с поправкой на стандартную погрешность) Уровень 0Уровень 1Уровень 2Уровень 3Уровень 4Уровень 5 Север Столица Восток Юг Нац-ный

36 10. Какого рода статистические анализы должны проводиться? Определяемые вопросами политики Большинство дают сведения о достижениях, сгруппированные по полу, по регионам, по местонахождению, этническим или языковым группам и по типу школы (государственная или частная). Могут обратить внимание на качество оснащения школы Комплексный анализ необходим, когда нужно определить, как школа и окружение влияют на достижения.

37 11. Каким образом должны сообщаться и использоваться результаты общенациональной оценки? Специальный отчёт Краткие сводные отчёты по основным полученным выводам для таких занятых политических деятелей, как министр Пресс релизы Специальные отчёты для радио и телевидения; и Отдельные короткие отчёты для школ, учителей, разработчиков учебных планов и преподавателей педагогических учебных заведений

38 12. Из чего складываются затраты на проведение национальной оценки? Исполнительная организация Содержание и построение инструмента Число участвующих школ и учащихся Администрация Подсчёт баллов, очистка и ввод данных Анализ Отчётность Последующие мероприятия

39 Приоритеты и решения: Упражнение Министерство образования обратилось к вам с просьбой разработать общенациональную или региональную оценку. Ответив на следующие 11 вопросов, назовите ключевые решения, принимаемые вами перед началом проведения оценки. Вопросы: 1. Кто должен осуществлять политическое руководство программой общенациональной оценки? Дайте несколько примеров 2. Кто должен проводить оценку? 3. Кто будет проводить тесты и опросы? 4. Кого будем оценивать? 5. Проводить сплошную или выборочную оценку? 6. Что будет оцениваться? 7. Каким образом оценивать достижения учащихся? 8. Как часто будет проводиться оценка? 9. Каким образом докладывать о результатах? 10. Какого рода статистические анализы вы будете проводить? 11. Каким образом вы будете сообщать и использовать результаты общенациональной оценки?