Учебный курс «Национальные экзамены и мониторинги образовательных достижений школьников: роль и место в национальной системе оценки качества образования» сентября 2012 года, г. Минск Инструмент оценки информационно- коммуникационной компетентности выпускников основной школы АВДЕЕВА СВЕТЛАНА МИХАЙЛОВНА НФПК Заместитель Исполнительного директора Учебный курс «Национальные экзамены и мониторинги образовательных достижений школьников: роль и место в национальной системе оценки качества образования» сентября 2012 года, г. Минск Сессия 9-11

РОСТ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ ПРИ ИНВЕСТИЦЯХ В ОБРАЗОВАТЕЛЬНЫЕ РЕЗУЛЬТАТЫ Десятилетние вложения, приводящие в результате к заметному повышению уровня образовательных результатов школьников, дают надбавку к ВВП сопоставимую по объему с общими затратами на образование в стране Кривые возврата инвестиций в образование при росте его качества на 0.5 стандартного отклонения, которые получены экономистами Всемирного банка реконструкции и развития (WorldBankPolicyResearchWorkingPa per 4122, February 2007).

Оценка ИКТ- компетентности: цели, задачи, целевая аудитория Методика тестирования ИКТ- компетентности Спецификация теста Разработка тестовых заданий: примеры Система автоматической обработки результатов тестирования Анализ результатов тестирования 3 СОДЕРЖАНИЕ ПРЕЗЕНТАЦИИ

Информатизация – процесс изменения содержания, методов и организационных форм учебной работы для подготовки будущих жителей информационного общества Изменение педагогических практик – Образовательные стандарты XXI века – Образовательные результаты XXI века – ИКТ насыщенная образовательная среда, проблема 1:1… Опора на новые ресурсы – Контентно насыщенная образовательная среда – Цифровые учебно-методические материалы – Нормативная база работы ОУ в ИКТ насыщенной образовательной среде ОБРАЗОВАНИЕ В ХХI ВЕКЕ – ОБРАЗОВАНИЕ В ВЕК ИЗМЕНЕНИЙ 4

Способность учиться на протяжении всей жизни Способность самостоятельно мыслить и действовать Коммуникабельность, умение работать в команде Способность осуществлять выбор и нести за него ответственность Способность решать нетрадиционные задачи, используя приобретенные предметные, интеллектуальные и общие умения и навыки КАКИЕ НАВЫКИ И СПОСОБНОСТИ ПРИОБРЕТУТ БОЛЬШУЮ ЗНАЧИМОСТЬ В БЛИЖАЙШИЕ ГОДЫ? НАВЫКИ 21 ВЕКА! Почему образовательные результаты XXI века? 5

6 Критическое мышление78% Информационные технологии77% Здоровье и благополучие76% Умение работать в команде74% Умение решать проблемы74% Самостоятельность58% Какие навыки и характеристики приобретут большую значимость в ближайшие пять лет? ПОЧЕМУ ОБРАЗОВАТЕЛЬНЫЕ РЕЗУЛЬТАТЫ XXI ВЕКА? 6

Цель: обеспечить реалистичную и разностороннюю оценку ИКТ-компетентности с помощью тестовых заданий, основанных на реальных ситуациях Тестирование призвано: – стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИКТ-компетентности. – обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе. – оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения. Целевая аудитория: учащиеся при переходе из основной школы в старшую (9-классники) 7 ЦЕЛИ ТЕСТИРОВАНИЯ ИКТ- КОМПЕТЕНТНОСТИ

Интерактивность, автоматизированный характер процесса тестирования и оценки его результатов Использование ситуаций из реальной жизни при разработке сценария для тестовых заданий Акцент на оценке НЕ уровня сформированных технологических навыков и навыков владения учащимися определенным программным продуктом или техническими возможностями компьютера, но СПОСОБНОСТИ оперировать информацией, решать практические задачи, используя ИКТ, мыслить и работать в «цифровом» мире Обязательно условие: соблюдение этических и правовых норм при использо- вании цифровых технологий и средств коммуникации. Это важно для формирова- ния социально-ответственной личности. Автоматическая обработка результатов тестирования, основанная на использова- нии сетей Байеса. 8 Преимущества данной системы тестирования

Учебный курс «Национальные экзамены и мониторинги образовательных достижений школьников: роль и место в национальной системе оценки качества образования» сентября 2012 года, г. Минск ИКТ- КОМПЕТЕНТНОСТЬ: ОПРЕДЕЛЕНИЕ И СОСТАВЛЯЮЩИЕ 9

ИКТ- компетентность – это способность использовать цифровые технологии, инструменты коммуникации и/или сети для получения доступа, управления, интеграции, оценивания, создания и передачи информации с соблюдением этических и правовых норм для того, чтобы функционировать в обществе, основанном на знании/чтобы успешно жить и трудиться в условиях современного информационного общества. 10 Что такое ИКТ-компетентность

Составляющие ИКТ-компетентности ИКТ- компетентность ИКТ- компетентность Определение Доступ Управление Интеграция Оценка Создание Передача (На основании определения American Library Association)

Определение: умение сформулировать запрос таким образом, чтобы он способствовал поиску информации Доступ: умение/способность найти и собрать (retrieve – восстанавливать, исправлять) информацию из различных источников Управление: умение применить существующую организационную или классификационную схемы (для структурирования, размещения/сохранения информации и быстрого ее поиска в дальнейшем) Интеграция: умение интерпретировать и представлять/осмыслять (representing) информацию - вычленять самое главное, сравнивать или противопоставлять информацию, полученную из нескольких источников Оценка: умение составить мнение о качестве, нужности/релевантности, полезности или эффективности информации Создание: умение создавать или адаптировать информацию с учетом конкретной потребности/задачи, выражать главную мысль и приводить информацию, подтверждающую ее Передача: умение адаптировать информацию для конкретной аудитории. СОСТАВЛЯЮЩИЕ ИКТ-КОМПЕТЕНТНОСТИ 12

Тест состоит из 16 заданий, основанных на решении РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социо-культурных и др.), с которыми человек сталкивается в течение всей жизни, с помощью 7 ИКТ-компетенций. При выполнении заданий от участника тестирования потребуется: – осуществлять поиск – проводить различные действия с данными и передавать их – отбирать и анализировать информацию – создавать или выбирать презентационные материалы для конкретной целевой аудитории – принимать решения о правомерности и этичности использовании полученной информации. 13 СПЕЦИФИКАЦИЯ ТЕСТА

Тест включает задания разные по степени СЛОЖНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения Уровень сложности задания Количество заданий Ожидаемое время выполнения задания Простое (оценка 1-й компетентности) Средней сложности (оценка 2-3 компетентностей) Сложное (оценка 4-5 Компетентностей) Тест состоит из 16 заданий, разных по степени сложности и продолжительности выполнения. Общая продолжительность тестирования - не более 2-х академических часов 14

Опреде- ление ДоступУправлениеИнтеграцияОценкаСозданиеПередача Текстовый редактор Электрон- ная почта Электрон- ные таблицы Базы данных Интернет Другие Задание 1 Задание 2 Задание 3 При выполнении теста используются различные ИНСТРУМЕНТЫ 15

Учебный курс «Национальные экзамены и мониторинги образовательных достижений школьников: роль и место в национальной системе оценки качества образования» сентября 2012 года, г. Минск КОНЦЕПТУАЛЬНЫЕ ПОДХОДЫ К РАЗРАБОТКЕ ИНСТРУМЕНТА ОЦЕНКИ ИКТ-КОМПЕТЕНТНОСТИ Тест, построенный на системе доказательств 16

Тест, построенный на системе доказательств Компетенция/Компетентность – это то, что мы хотим измерить Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей КОМПЕТЕНЦИИ И КАК ИХ МОЖНО ИЗМЕРИТЬ 17

ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ Концептуальные подходы к разработке инструмента оценки ИКТ-компетентности Что мы измеряем? – Уровень ИКТ- компетентности (7 ИКТ- компетенций) Как мы можем оценить уровень ИКТ-компетентности? Как мы можем обнаружить/судить об… – Через систему измеряемых доказательств Как мы измеряем уровень ИКТ- компетентности? – Через систему тестовых заданий 18

Учебный курс «Национальные экзамены и мониторинги образовательных достижений школьников: роль и место в национальной системе оценки качества образования» сентября 2012 года, г. Минск ПРИМЕР ТЕСТОВОГО ЗАДАНИЯ: «РАБОТА С ПОЧТОВЫМ ЯЩИКОМ/ЭЛЕКТРОННОЙ ПОЧТОЙ» Данное задание измеряет/определяет уровень компетенции «Управление информацией» с помощью реальной жизненной ситуации: необходимо разобрать/рассортировать электронные письма, накопившиеся в большом количестве в почтовом ящике за время каникул. 19

Экран с постановкой задачи 20

Инструкции по работе и представление рабочего интерфейса 21

Детализация задания 22

23

24

Измеряемая компетенция: УПРАВЛЕНИЕ Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): – Точность в управлении информацией – Сохранение информации для того, чтобы ее не потерять – Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. Как измерить 1-й наблюдаемый признак/ переменную 1: – Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; – Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. – Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ». 25 Тестовое задание «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования

Наблюдаемые признаки/Измеряемые переменные (Observables) Наблюдаемые признаки/ Измеряемые переменные (Observables) Уровень Точность в управлении информацией Высокий: удалено 10 ненужных писем (4 письма с пометкой «СПАМ» и 1 письмо с пометкой Nelson, 5 больших по объему писем) и не удалены (оставлены) 3 нужных письма. Средний: Работа выполнена на 80%/Обработано 80% писем Низкий: Работа выполнена менее чем на 80% Сохранение информации для того, чтобы ее не потерять Высокий: сохранены все электронные письма, которые необходимо сохранить. Средний: сохранено 80% электронных писем, которые необходимо сохранить. Низкий: сохранено менее 80% электронных писем, которые необходимо сохранить. Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Высокий: сохранены 5 файлов в соответствующие папки Средний: сохранены 4 файла в соответствующие папки Низкий: сохранено менее 4 файлов в соответствующие папки 26

Автоматическая обработка результатов тестирования: сети Байеса 27

Профили, необходимые для классификации компетенций ACCESS MANAGE COMMUNI CATION CREATE DEFINE INTEGRATE E VALUATE ADVANCEDHHHHHH H ABOVE BASICHHHHHMM BASICMMMMMMM BELOW BASICMMMMMLL DEVELOPINGLLLLLLL 28

Твой уровень информационно-коммуникационной компетентности выше чем у большинства твоих сверстников Тебе стоит обратить внимание на развитие навыков поиска, сбора и сохранения информации; представления информации в приемлемом для других людей виде; определения нехватки информации и формулирования исследовательских вопросов. Спасибо за участие в тестировании! 29 Результаты тестирования школьников

Твой уровень информационно-коммуникационной компетентности такой же как у большинства твоих сверстников Тебе стоит обратить внимание на развитие навыков поиска, сбора и сохранения информации; представления информации в приемлемом для других людей виде; самостоятельного создания информационных продуктов на основе заданных требований. Твой уровень информационно-коммуникационной компетентности ниже, чем у большинства твоих сверстников Тебе стоит обратить внимание на развитие навыков поиска, сбора и сохранения информации; представления информации в приемлемом для других людей виде; самостоятельного создания информационных продуктов на основе заданных требований; навыков оценки надежности и качества различных источников информации 30 Результаты тестирования школьников

Доступ к тестовой системе осуществляется через Интернет или с локального сервера (например, со школьного сервера, или же с любого компьютера, который подключен к локальной сети и в который загружена тестовая система). Технология протокола удаленного рабочего стола (Remote Desktop Protocol technology) Результаты отсылаются на сервер по защищенному каналу (securely) и хранятся там в закрытом доступе/ и доступ к ним ограничен(privately). 31 Способ проведения тестирования (Test Delivery)

Общая схема проведения тестирования 32

Отчеты о результатах тестирования доступны по Интернету/ можно посмотреть в Интернете (на закрытом веб-сайте/на веб-сайте с ограниченным доступом). Отчеты представлены как индивидуальные, т.е. на отдельного участника тестирования, так и групповые, т.е. на группу в целом. Планируется разработать специальный инструмент для анализа результатов тестирования в режиме on-line. С его помощью можно будет, например, сравнивать результаты разных групп школьников, разных школ, регионов и т.д. 33 Анализ результатов тестирования/Отчет о результатах тестирования

О некоторых результатах тестирования 34

Оценить уровень ИК-компетентности выпускников основной школы Выявить факторы, которые влияют на формирование ИК-компетентности Выработать рекомендации по результатам тестирования Проверить влияние рекомендаций на повышение уровня ИК-компетентности 35 Основные задачи проведения тестирования

Тестирование учащихся в школах Республики Татарстан и Республики Армения Республика Татарстан 2010 год Сентябрь – пилотное тестирование Ноябрь – 1-ый операционный срез репрезентативной выборки учащихся 2012 год Февраль – пилотное тестирвание Апрель – 2-ой операционный срез репрезентативной выборки учащихся и пилотное тестирование учителей (250) 2013 год Февраль – 3-ий операционный срез репрезентативной выборки учащихся Республика Армения год Сентябрь – пилотное тестирование учащихся русскоязычных школ Октябрь Январь локализация и адаптация полного варианта теста (16 тестовых заданий) на армянский язык 2012 год Январь – апробация локализованных тестовых заданий в армянских школах Март – проведение пилотного тестирования учащихся городских и сельских школ 36

Общее количество учащихся, обучающихся в девятых классах, Требования к проведению тестирования: – Надёжность = 95% – Доверительный интервал = 5% Вариант 1 – Прямая выборка 380 учащихся – Ограничения чрезмерные организационные затраты – учащиеся выбираются из более, чем 250 школ республики. Вариант 2 – Выборка учащихся формируется из отдельных классов в ОУ РТ – Случайный выбор ОУ, из расчёта на то, что в тестировании примет участие лишь один класс К тестированию приглашено 422 учащихся (с резервом при 90% явке ) 37 Методика формирования выборки учащихся

Выборка учащихся для оценки ИКТ Оценка ИКТ компетентности учащихся 9 классов Республики Татарстан с 22 по 26 апреля 2012 года

Тренды и международный бенчмаркинг ТатарстанАрмения (пилот) 39

Ресурсы: материальные и «культурные» Материальная обеспеченность Образование родителей Татарстан, 2012 На основе ответов на вопросы: «Есть ли в вашей семье автомобиль?», «Как часто вы с семьей отдыхаете за границей?». Среднее – оба родителя (или один, в случае неполной семьи) не имеют высшего образования. Смешанная семья – один из родителей имеет среднее образование, другой – высшее. Высшее – оба родителя (или один, в случае неполной семьи) имеют высшее образование 40

Доступность ИКТ дома и в школе Татарстан, 2012 На основе ответов на вопросы «Есть ли у вас дома компьютер, которым вы можете свободно пользоваться?»; «Подключен ли ваш домашний компьютер к интернету?»; «Пользуетесь ли вы в школе компьютером, если не считать уроков информатики?» 41

Влияние вида работы учащихся над домашним заданием на уровень ИК-компетентности Учителя дают домашнюю работу, требующую… На основе ответов на вопрос: «Задают ли ваши учителя ДОМАШНИЕ задания, требующие от Вас:» – «самостоятельного поиска информации (книги, статьи, сайты)», «использования компьютера», «создания презентаций», «совместного поиска решения с Вашими одноклассниками. Татарстан,

Влияние на уровень ИКТ-компетентность учащихся учителей и школы 43

Книги дома Образование родителей Факторы сильно влияющие на уровень ИК компетентности 44

Факторы, слабо влияющие на уровень ИКТ компетентности 45 Расположение (сельская, городская) Пол учащихся Социальный статус родителей

Выводы по результатам тестирования Результаты оказались неожиданными Сельская и городская школа Пол учащихся Социальный статус родителей Доступность и интенсивность использования средств ИКТ в школе Результаты оказались ожидаемыми Связь с образованностью родителей Связь с успеваемостью в школе Связь с информационно- коммуникационной грамотностью учителей (проверить) Связь с доступностью и интенсивность использования средств ИКТ дома 46

Реализовать систему мер обеспечивающих повышение ИК грамотности для тех учащихся, которые не имеют компьютеров дома Реализовать систему мер для повышения влияния на ИК грамотность учащихся: – имеющихся в школе средств ИКТ – регулярных занятий по информатике – использования ИКТ на занятиях по другим предметам 47 Рекомендации по результатам исследования

Использование ИКТ 1.Увеличивать долю проектной деятельности с использованием ИКТ (межшкольные, внутришкольные, межпредметные проекты) 2.По возможности планировать индивидуальные траектории обучения учащихся 3.Увеличивать долю самостоятельных учебных занятий, при которых используются интернет технологии и ресурсы. 4.Информированность о электронных образовательных ресурсах и сервисах поддержки при выполнении учебных заданий с использованием ИКТ ( сетевые сообщества, центры консультационной помощи и т.п.) Результаты 1.Повышение уровня ИК-компетентности 2.Способность самостоятельного решения образовательных задач с использованием возможностей ИКТ 48 Рекомендации для образовательных учреждений

Что думают школьники о тестировании ИКТ- компетентности 49 Мнения Согласны с мнением (%) Я никогда прежде не участвовал в такого рода тестировании. 90% Данный тест оказался мне по силам 85% Чтобы успешно выполнить этот тест, нужно хорошо поработать головой. 96% Мне понравился этот тест. Мне было интересно отвечать на вопросы. 92% Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в школе или дома. 87%

Учебный курс «Национальные экзамены и мониторинги образовательных достижений школьников: роль и место в национальной системе оценки качества образования» сентября 2012 года, г. Минск Спасибо за внимание !

СПАСИБО ЗА ВНИМАНИЕ! 51