1 Инструмент оценки информационно- коммуникационной компетентности выпускников основной школы Тестирование компетентности в области использования информационно- коммуникационных технологий (ИКТ) с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка

Рост образовательных результатов при инвестицях в образовательные результаты десятилетние вложения, приводящие в результате к заметному повышению уровня образовательных результатов школьников, дают надбавку к ВВП сопоставимую по объему с общими затратами на образование в стране Кривые возврата инвестиций в образование при росте его качества на 0.5 стандартного отклонения, которые получены экономистами Всемирного банка реконструкции и развития (WorldBankPolicyResearchWorkingPaper 4122, February 2007).

Содержание презентации 1.Оценка ИКТ- компетентности: цели, задачи, целевая аудитория 2.Методика тестирования ИКТ- компетентности 3.Спецификация теста 4.Разработка тестовых заданий: примеры 5.Система автоматической обработки результатов тестирования 6.Анализ результатов тестирования 3

Какие навыки и способности приобретут большую значимость в ближайшие годы ? Навыки 21 века! Способность учиться на протяжении всей жизни Способность самостоятельно мыслить и действовать Коммуникабельность, умение работать в команде Способность осуществлять выбор и нести за него ответственность Способность решать нетрадиционные задачи, используя приобретенные предметные, интеллектуальные и общие умения и навыки Почему образовательные результаты XXI века?

5 Какие навыки и характеристики приобретут большую значимость в ближайшие пять лет? Критическое мышление78% Информационные технологии77% Здоровье и благополучие76% Умение работать в команде74% Умение решать проблемы74% Самостоятельность58%

Цели тестирования ИК-компетентности Цель: обеспечить реалистичную и разностороннюю оценку ИК- компетентности с помощью тестовых заданий, основанных на реальных ситуациях Тестирование призвано: стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИКТ- компетентности. обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе. оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения. Целевая аудитория: учащиеся при переходе из основной школы в старшую (9-классники) 6

7 Интерактивность, автоматизированный характер процесса тестирования и оценки его результатов Использование ситуаций из реальной жизни при разработке сценария для тестовых заданий Акцент на оценке НЕ уровня сформированных технологических навыков и навыков владения учащимися определенным программным продуктом или техническими возможностями компьютера, но СПОСОБНОСТИ оперировать информацией, решать практические задачи, используя ИКТ, мыслить и работать в «цифровом» мире Обязательно условие: соблюдение этических и правовых норм при использо- вании цифровых технологий и средств коммуникации. Это важно для формирова- ния социально-ответственной личности. Автоматическая обработка результатов тестирования, основанная на использова- нии сетей Байеса. Преимущества данной системы тестирования

ИКТ- компетентность: определение и составляющие 8

9 Что такое ИКТ-компетентность ИКТ- компетентность – это способность использовать цифровые технологии, инструменты коммуникации и/или сети для получения доступа, управления, интеграции, оценивания, создания и передачи информации с соблюдением этических и правовых норм для того, чтобы функционировать в обществе, основанном на знании/чтобы успешно жить и трудиться в условиях современного информационного общества.

10 Составляющие ИКТ-компетентности ИКТ- компетентность Определение Доступ Управление Интеграция Оценка Создание Передача (На основании определения American Library Association)

11 Составляющие ИКТ-компетентности Определение: умение сформулировать запрос таким образом, чтобы он способствовал поиску информации Доступ: умение/способность найти и собрать (retrieve – восстанавливать, исправлять) информацию из различных источников Управление: умение применить существующую организационную или классификационную схемы (для структурирования, размещения/сохранения информации и быстрого ее поиска в дальнейшем) Интеграция: умение интерпретировать и представлять/осмыслять (representing) информацию - вычленять самое главное, сравнивать или противопоставлять информацию, полученную из нескольких источников Оценка: умение составить мнение о качестве, нужности/релевантности, полезности или эффективности информации Создание: умение создавать или адаптировать информацию с учетом конкретной потребности/задачи, выражать главную мысль и приводить информацию, подтверждающую ее Передача: умение адаптировать информацию для конкретной аудитории.

12 Тест состоит из 16 заданий, основанных на решении РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социо- культурных и др.), с которыми человек сталкивается в течение всей жизни, с помощью 7 ИКТ-компетенций. При выполнении заданий от участника тестирования потребуется: осуществлять поиск проводить различные действия с данными и передавать их отбирать и анализировать информацию создавать или выбирать презентационные материалы для конкретной целевой аудитории принимать решения о правомерности и этичности использовании полученной информациии. Спецификация теста

Тест включает задания разные по степени СЛОЖНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения Тест состоит из 16 заданий, разных по степени сложности и продолжительности выполнения. Общая продолжительность тестирования - не более 2-х академических часов. Уровень сложности задания Количество заданий Ожидаемое время выполнения задания Простое (оценка 1-й компетентности) Средней сложности (оценка 2-3 компетентностей) Сложное (оценка 4-5 компетентностей)

Опреде- ление ДоступУправлениеИнтеграцияОценкаСозданиеПередача Текстовый редактор Электрон- ная почта Электрон- ные таблицы Базы данных Интернет Другие Задание 1 Задание 2 Задание 3 При выполнении теста используются различные ИНСТРУМЕНТЫ

15 Тест, построенный на системе доказательств Концептуальные подходы к разработке инструмента оценки ИКТ-компетентности

Компетенции и как их можно измерить Тест, построенный на системе доказательств Компетенция/Компетентность – это то, что мы хотим измерить Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей

17 Тест, построенный на системе доказательств Концептуальные подходы к разработке инструмента оценки ИКТ-компетентности Что мы измеряем? Уровень ИКТ- компетентности (7 ИКТ- компетенций) Как мы можем оценить уровень ИКТ-компетентности? Как мы можем обнаружить/судить об… Через систему измеряемых доказательств Как мы измеряем уровень ИКТ-компетентности? Через систему тестовых заданий

Пример тестового задания: «Работа с почтовым ящиком/ электронной почтой» Данное задание измеряет/определяет уровень компетенции «Управление информацией» с помощью реальной жизненной ситуации: необходимо разобрать/рассортировать электронные письма, накопившиеся в большом количестве в почтовом ящике за время каникул. 18

Разработка тестового задания: основные этапы Этап 1 выбор одной или нескольких компетенций операционализация определения данной компетенции/данных компетенций Этап 2 В соответствии со спецификацией теста выбираем: продолжительность выполнения тестового задания содержание контекст основные инструменты. Этап 3. Выделение измеряемых переменных Этап 4. Написание сценария тестового задания 19

20

21 Some interface elements are not translated YET. We are here for that.

22

23

24

Тестовое задание «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования Измеряемая компетенция: УПРАВЛЕНИЕ Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): 1.Точность в управлении информацией 2.Сохранение информации для того, чтобы ее не потерять 3.Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. Как измерить 1-й наблюдаемый признак/ переменную 1: Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку ; Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ». 25

Наблюдаемые признаки/Измеряемые переменные (Observables) Уровень Точность в управлении информациейВысокий: удалено 10 ненужных писем (4 письма с пометкой «СПАМ» и 1 письмо с пометкой Nelson, 5 больших по объему писем) и не удалены (оставлены) 3 нужных письма. Средний: Работа выполнена на 80%/Обработано 80% писем Низкий: Работа выполнена менее чем на 80% Сохранение информации для того, чтобы ее не потерять Высокий: сохранены все электронные письма, которые необходимо сохранить. Средний: сохранено 80% электронных писем, которые необходимо сохранить. Низкий: сохранено менее 80% электронных писем, которые необходимо сохранить. Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Высокий: сохранены 5 файлов в соответствующие папки Средний: сохранены 4 файла в соответствующие папки Низкий: сохранено менее 4 файлов в соответствующие папки 26

Автоматическая обработка результатов тестирования: сети Байеса

Профили, необходимые для классификации компетенций ACCESS MANAGE COMMUNICATION CREATE DEFINE INTEGRATE E VALUATE ADVANCEDHHHHHH H ABOVE BASICHHHHHMM BASICMMMMMMM BELOW BASICMMMMMLL DEVELOPINGLLLLLLL 29

Результаты тестирования школьников 30

Способ проведения тестирования (Test Delivery) На данный момент реализованы три различных варианта прохождения ICT Literacy Test: 1.Онлайн тестирование с использованием технологии протокола удаленного рабочего стола (Remote Desktop Protocol – RDP), используется в том случае, если выделенный интернет-канал имеет пропускную способность не менее 512 Кб/с на одного тестируемого. 2.Тестирование с использованием технологии RDP и локального сервера - используется при недостаточной пропускной способности интернет-канала или при отсутствии доступа в интернет, но при наличии локальной сети, которая объединяет локальный сервер тестирования и компьютеры тестируемых. 3.Локальная WINDOWS сборка - подходит при наличии стабильного интернет канала с низкой пропускной способностью (для 20 тестируемых достаточно канала в 256 Кб/с). Сразу после прохождения ICTLiteracy Test учащийся сможет увидеть свои результаты и получить рекомендации для улучшения своей ИК-компетентности. 31

О некоторых результатах тестирования 32

Образование родителей Книги дома Факторы сильно влияющие на уровень ИК компетентности

Факторы, слабо влияющие на уровень ИКТ компетентности Расположение (сельская, городская) Пол учащихся Социальный статус родителей

Влияние на уровень ИКТ-компетентность учащихся учителей и школы 35

Выводы по результатам тестирования Результаты оказались неожиданными: Сельская и городская школа Пол учащихся Социальный статус родителей Доступность и интенсивность использования средств ИКТ в школе Результаты оказались ожидаемыми: Связь с образованностью родителей Связь с успеваемостью в школе Связь с информационно-коммуникационной грамотностью учителей (проверить) Связь с доступностью и интенсивность использования средств ИКТ дома

Что думают школьники о тестировании ИКТ- компетентности МненияСогласны с мнением (%) Я никогда прежде не участвовал в такого рода тестировании. 90% Данный тест оказался мне по силам 85% Чтобы успешно выполнить этот тест, нужно хорошо поработать головой. 96% Мне понравился этот тест. Мне было интересно отвечать на вопросы. 92% Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в школе или дома. 87%

Спасибо за внимание !