Учебный курс «Информирование различных целевых групп о результатах оценки учебных достижений школьников» сентября 2011 года, г. Москва Достижение максимального влияния: руководство для менеджеров национальных систем оценивания Скотт Мюррей, DataAngel Policy Research Inc. Telephone: (613) address:

9/20/20122 Цель курса: Обеспечение руководителей национальных исследований методикой для получения максимальной отдачи от результатов оценки

9/20/20123 Методология включает в себя: Преставление о том, кто будет пользователями данных оценки и их особенностях Понимание областей применения этих данных пользователями и последствий этого использования для статистических свойств данных

9/20/20124 Учет ваших информационных активов (ресурсов) Планирование набора продуктов и услуг, которые отвечают широкому спектру пользователей и вариантов использования

9/20/20125 Стратегические цели: Достижение максимального влияния включает в себя максимальную социальную отдачу от государственных, бюрократических и политических вложений, которые были осуществлены для проведения оценивания

9/20/20126 Тактические цели: Предоставление полезных продуктов и услуг в распоряжение ваших сторонников Предвидение и учет вопросов, поднятых вашими критиками Проведение не менее трех (3) циклов оценки с тем, чтобы обеспечить возможность оценки

9/20/20127 Пользователи и их технические компетенции: Отдельные учащиеся Учителя Родители

9/20/20128 Руководители системы образования – Руководители отделов образования и директора школ – Руководители и специалисты школьных советов – Старшие администраторы Профессиональные объединения (учителей, директоров школ)

9/20/20129 Представители общественности Преподаватели системы образования Общественные организации, научно-исследовательские институты и общественные деятели

9/20/ Политические деятели и лица, определяющие политику: Все министры и Министерства – Труда – Культуры – Здравоохранения – По делам налогообложения – Социального развития – Сельского хозяйства – Промышленности

9/20/ Средства массовой информации

9/20/ Задание 1: Пользователи Командам дается 30 минут на то, чтобы: Подготовить подробный список тех, кто использует данные национального оценивания Задание 1 подразумевает, что каждая команда заполнит в Excel таблицу, где в отдельных колонках будут определены следующие элементы: каждый из потенциальных пользователей данных национального оценивания в их стране, уровень технической квалификации в использовании результатов список ключевых лиц и их институциональная принадлежность с указанием: - их предрасположенность к данным оценивания - относительной важности по 10-ти бальной шкале Каждой команде дается 15 минут на презентацию

9/20/ Виды использования: Административного характера развитие/образование сертификация Неадминистративного характера формирование знаний разработка стратегий и программ мониторинг оценка

9/20/ Выработка политики – комплексный процесс : Выработка политики включает переговоры, компромисс, и ответ на давление от разного рода источников.

9/20/ Контекст имеет значение: Элементы выработки политики в образовании Точка зрения политиков, идеологические позиции, Доступный бюджет, Точка зрения и интересы заинтересованных лиц ( stakeholders ) и групп, Традиционные подходы и новомодные веяния. Объективные факты, включая результаты национального оценивания

9/20/ Привлечение к работе ваших критиков: Чтобы сделать влияние на выработку политики максимальным рассмотрите Привлечение к работе ключевых заинтересованных лиц (stakeholders) на ранней стадии разработки Включение в опросники для учителей, директоров школ и др. некоторых вопросов, которые вызывают их озабоченность –Влияет ли размер класса на успеваемость учащихся? –Дает ли система образования равные возможности? Представление интересов заинтересованных лиц (stakeholders) в управляющем комитете по проведению оценки

9/20/ Количественные аспекты: Получение численных данных Взаимозависимости на данном отрезке времени Взаимозависимости в динамике по времени причинно-следственные связи обусловленные вероятности

9/20/ Неколичественные аспекты: стилизация фактической информации субъективные интерпретации

9/20/ Задание 2: Пользователи Участники должны составить список для каждого пользователя возможных, с их точки зрения, применений полученных данных. Нет необходимости на данной стадии ограничивать перечень применений, которые данное оценивание может поддержать с технической точки зрения. Участникам дается примерно 30 минут для того, чтобы расширить их таблицу, внося новые ряды для каждого пользователя по каждому из применений. По завершении данной работы участники должны подготовить 15–ти минутную презентацию своей матрицы применений и пользователей, фокусируя внимание на том, где они предполагают встретить трудности в осуществлении задуманного из-за технических возможностей пользователей или из-за того, что требует данное применение с точки зрения технического оснащения оценивания.

9/20/ Информационные активы: Спецификации Банки заданий Оценка достижений Характеристика выборки исследования

9/20/ Взаимосвязь достижений и характеристик выборки исследования: в целом и для отдельно взятых подгрупп популяции Примеры ошибок в заданиях теста Стандарты достижений Данные оценки

9/20/ Спецификации: Цели Факторы, вызывающие трудности Диапазоны Продолжительность Набор заданий Свидетельства валидности, надежности, сопоставимости

9/20/ Банки заданий: Природа теста Производное применение

9/20/ Оценка достижений

9/20/ Оценка достижений (продолжение) Распределение баллов по грамотности

9/20/ Источник:Программа Международной Оценки Учащихся, Показатели Канады по грамотности чтения близки к наивысшим Оценка достижений

9/20/ Оценка достижений Сравнительное распределение по уровням грамотности

9/20/ Оценка достижений Профиль школьных достижений по языку, по типу школы, в регионе

9/20/ Государственные чиновники Семейные условиям учащихсяОбразовательная среда учителя Интересы, увлечения и навыки Учебный план и педагогический менеджмент Качество школьного обучения Управление учреждением Политика и институциональный менеджмент Директор Множественные/многоуровневые зависимости

9/20/ Множественные/многоуровневые зависимости Для каждой комплексной проблемы есть ответ, который очевиден, прост и неверен Mencken Расхождение при комплексной выборке

9/20/ Множественные/многоуровневые зависимости Должен я использовать воспроизводимые веса?

9/20/ Различия в уровне успеваемости по чтению больше внутри школ, чем между школами Различия в уровне успеваемости между школами Различия в уровне успеваемости внутри школ Вариации объясняются различиями в институциональных структурах Множественные/многоуровневые зависимости

9/20/ Множественные/многоуровневые зависимости

9/20/ Множественные/многоуровневые зависимости Ближайший Конечный Расхождение в успеваемости по чтению по провинциям NF NB NS ON QU AB BC MB SK AB BC QU SK ON MB NS NF PE Скорректировано для ОИВ и Семейного Окружения (СО) NB Скорректировано для ОИВ, СО и Школьного Контекста (ШК) Скорректировано для ОИВ, СО, ШК, и Процесса Обучения (ПО) Скорректировано для Ошибки Измерения и Выборки (ОИВ)

9/20/ Примеры ошибок в заданиях тестов: Сравнения с учебным планом и спецификацией

9/20/ Стандарты достижений: Четко сформулированные стандарты Предполагаемые стандарты

9/20/ Продукты для родителей, учителей, директоров школ, школьных округов:

9/20/ Отчеты об учебной успеваемости в Катаре:

9/20/201239

9/20/ Примеры ошибок в заданиях: Область учебного плана Когнитивный уровень (компетентность) Количество (%) респондентов # (%) Балл 0 # (%) Балл 1 # (%) Балл 2 # (%) Балл 3 # (%) Балл 4 Особенные аспекты учебного планы, которые требуют внимания Физически е системы Научное объяснение явлений 187 (100%) 128 (7%) 425 (23 %) 503 (27%) 815 (44%) 0 (0%) Учащиеся не поняли, что Интернет или библиотека могут быть источником информации о том, как сохранить траву пышной и зеленой, в то время, как вечерние новости не могут Научный запрос Определение научных вопросов 1866 (100%) 217 (12%) 371 (29%) 557 (30%) 721 (39%) 0 (0%) 1)Учащиеся не поняли дизайн научного эксперимента и не осознали, что бумага относится к категории леса; или 2)Учащиеся не поняли дизайн научного эксперимента и не осознали, что выставленная земля не относится к почве, где деревья никогда не росли; или 3)Учащиеся не поняли дизайн научного эксперимента и не осознали, что порывы воздуха являются ветром

9/20/ Данные оценивания: Микро-данные Инструменты составления таблиц

9/20/ Задание 3: Основные продукты и услуги Участникам дается 60 минут на то, чтобы добавить в их развернутую таблицу перечень продуктов и услуг Для каждого продукта они должны создать новую закладку со спецификацией данного продукта, используя шаблон Каждой команде предоставляется 10 минут для презентации своего плана

9/20/ Ошибки и погрешности в системах оценивания: Несовершенная теория Несовершенное измерение Выборка Подсчёт баллов Проведение Оценка достижений Анализ Отчетность

9/20/ Множественные сравнения профессионального уровня грамотности

9/20/ Задание 4: Ошибки и погрешности Участникам дается 30 минут для того, чтобы представить процедуры, которые они использовали для определения ошибок и погрешностей в: Несовершенном измерении Ошибках в выборке Ошибках в выставлении баллов Ошибках в проведении Ошибках в оценке достижений Ошибках в анализе Ошибках в отчетности Участники также должны классифицировать каждую ошибку по одной из следующих категорий: Важный источник ошибки, важная погрешность Важный источник ошибки, незначительная погрешность Важный источник ошибки, неискаженный результат Незначительный источник ошибки, незначительная погрешность Незначительный источник ошибки, неискаженный результат Не источник ошибки

9/20/ Национальные доклады Цели Что измерялось Процесс разработки Почему это важно Как и когда собирались данные Как описывались достижения Источники ошибок Основное распределение по ключевым группам Факторы Тренды Последствия для политики Подробные таблицы данных

9/20/ Сюжетные линии национального доклада : Предполагаемая аудитория Ключевые сообщения Виды воздействий: Универсальные Целевые направленные на учебные достижения вязанные с социально-экономическим статусом (СЭС) учащихся компенсирующие или уравнивающие вмешательства ковлекающие вмешательства

9/20/ Практическое осуществление: роли Менеджер проекта Аналитик по работе с данными Научный ассистент Редактор Литературный редактор Специалист по производству

9/20/ Тематические отчеты: По проблематике: –Справедливость –Эффективность По отдельным подгруппам выборки: –Со специальными потребностями –Языковые меньшинства –Иммигранты –Учащиеся из сельской местности –Школы с хорошими показателями

9/20/ Задание 5: Национальные доклады Участники должны определить следующее: Кто является предполагаемой аудиторией для национального доклада Каковы ключевые мысли, которые они хотят донести в национальном докладе Подробная схема национального доклада включает в себя: –Краткое изложение стиля, который будет использоваться –Размер всех разделов доклада и коммуникативная цель для каждого раздела Три позиции доклада, которые скорее всего будут подвергнуты критике, вероятная природа данной критики и как структура и содержание национального доклада попытаются ответить на данную критику Участники затем выступят перед группой с 15-ти минутной презентацией своего плана, уделяя особое внимание главной линии доклада, типам данных и форме представления данных.

9/20/ Практическое осуществление : Инструменты Программное обеспечение для базового анализа Программное обеспечение для комплексного анализа Программное обеспечение для набора текста Программное обеспечение для подготовки оригинал-макета Оценка изменений Программное обеспечение для составления таблиц

9/20/ Задание 6: График создания, ресурсы и бюджет Участникам будет дано примерно 30 минут для написания проекта детального графика создания своего национального доклада и его оценочной стоимости, а также любых иных запланированных докладов. Там, где возможно, они определят конкретных людей, которые будут ответственны за каждый вид деятельности. Затем участники представят свой план, уделяя особое внимание определению следующих позиций: –Предположения, которые они сделали относительно временных и стоимостных затрат, связанных с ключевыми действиями –Любые пробелы, которые у них имеются в специальных знаниях, и как они намерены их устранять

9/20/ Стратегии диссеминации: Первичные и вторичные способы распространения Ценообразование Маркетинг

9/20/ Первичные способы распространения: Печатный вариант Электронный документ (доступный для скачивания) Электронный документ (на носителе) Телевидение Радио Мультимедийные средства

9/20/ Вторичные способы распространения: Реклама Внутренние брифинги Внешние брифинги Пресс релизы, конференции, наборы материалов для прессы Интервью Публицистические статьи Новостные письма Конференции и симпозиумы

9/20/ Ценообразование: Низкие цены или бесплатно!!!

9/20/ Задание 7: Способы распространения и маркетинг Участникам дается 30 минут на то, чтобы: составить перечень и описать основные каналы, по которым они будут распространять доклад и каким образом они обеспечат на рынке наличие своего продукта для ключевой аудитории.

9/20/ Коммуникационные стратегии: Ключевые сообщения Вопросы и ответы Журналисты и заинтересованные группы Мониторинг, корректировка и отклики: –Общественность –Частные лица

9/20/ Задание 8: Коммуникативный план На эту работу участникам будет выделено 60 минут. Коммуникационный план должен содержать: –Ключевые мысли, которые будут постоянно озвучиваться официальными представителями организаций –Общие вопросы и стандартные ответы на них –Как журналисты и заинтересованные группы попытаются исказить ключевые мысли –Стратегия того, как иметь дело с искажениями –Механизмы мониторинга освещения результатов в государственных и частных средствах печати и радио, корректировка основных посылов, где необходимо, и ответ на неправильное использование результатов, где необходимо, в реальном времени Каждой команде будет дано 15 минут для презентации плана и ответа на вопросы.

9/20/ Задание 9: написание проекта пресс релиза Участники напишу проект пресс-релиза, который будет сопровождать их национальный доклад. Каждой команде дается 60 минут для подготовки проекта. Каждая команда должна зачитать свой пресс-релиз и ответить на вопросы и предложения. На это каждой команде дается 15 минут.

9/20/ Задание 10: Мониторинг откликов Участники должны выработать механизм для мониторинга освещения результатов в государственных средствах информации и соответствующей корректировки коммуникационной стратегии. Команды также составят перечь лиц или организаций, мониторинг которых необходимо проводить неофициально. На этот вид деятельности дается 15 минут. Каждой команде затем выделяется 15 минут на презентацию своего плана и ответа на вопросы и предложения.