1 Методологические подходы к оценке информационно-коммуникационной компетентности Тестирование компетентности в области использования информационно- коммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева М.Г. Руднев К.В. Тарасова Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка

РОСТ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ ПРИ ИНВЕСТИЦЯХ В ОБРАЗОВАТЕЛЬНЫЕ РЕЗУЛЬТАТЫ Десятилетние вложения, приводящие в результате к заметному повышению уровня образовательных результатов школьников, дают надбавку к ВВП сопоставимую по объему с общими затратами на образование в стране Кривые возврата инвестиций в образование при росте его качества на 0.5 стандартного отклонения, которые получены экономистами Всемирного банка реконструкции и развития (WorldBankPolicyResearchWorkin gPaper 4122, February 2007).

Рамка для навыков 21-го века ( Базовые дисциплины (Core Subjects) Темы 21го века (21st Century Themes) Понимание глобальных проблем /Global Awareness Финансы, предпринимательская грамотность, практическая экономика Гражданская грамотность (современные социальные проблемы) Умения для жизни в нашем мире (Life and Career Skills) Гибкость, приспособление к изменениям (Flexibility and adaptability) Инициатива и самоуправление Кросс-культурные навыки и умение жить в обществе Способность трудиться и оценивать сделанное (Productivity and accountability) Лидерство и ответственность Умения учиться и творить (Learning and Innovation Skills) Навыки работы с информацией, медиа и ИКТ компетентность (Information, Media and Technology Skills) Способность работать с информацией /Information literacy Медийная грамотность /Media literacy Информационно-коммуникационная технологическая (ИКТ) компетентность /Information and communication technology literacy

Какие навыки и характеристики приобретут большую значимость в ближайшие пять лет? 4 Критическое мышление 78% Информационные технологии 77% Здоровье и благополучие 76% Умение работать в команде 74% Умение решать проблемы 74% Самостоятельность 58% ПОЧЕМУ ОБРАЗОВАТЕЛЬНЫЕ РЕЗУЛЬТАТЫ XXI ВЕКА? 4

ЦЕЛИ ТЕСТИРОВАНИЯ ИКТ-КОМПЕТЕНТНОСТИ Цель: обеспечить реалистичную и разностороннюю оценку ИКТ-компетентности с помощью тестовых заданий, основанных на реальных ситуациях Тестирование призвано: стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИКТ- компетентности. обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе. оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения. Целевая аудитория: учащиеся при переходе из основной школы в старшую (9-классники) 5

Существующие тесты оценки ИКТ- компетентности (грамотности) Большая часть существующих тестов измеряет техническую грамотность и основаны на формате вопрос-ответ (не жизненные ситуации), для оценки результатов используют простые баллы или IRT статистику. QCA Key Stage 3 ICT Test (британская национальная система тестирования ИКТ- грамотности, измеряет знания, навыки и умение решать проблемы при использовании ИКТ, основан на сценарии, формирующее оценивание, закрывается из-за низкой валидности) iCritical Thinking, бывшее iSkills, ETS (измеряет ИКТ грамотность студентов вузов, основана на сценариях, оценка результатов – IRT) Australian National Assessment Program – ICT Literacy (выборочное исследование, основано на сценариях, оценка результатов – IRT) Internet and Computing Core Certification - IC3 (понимание как работает компьютер, знание ключевых программ и работа с Интернетом) Information Literacy Test (когнитивный, в форме вопрос-ответ, т.е.не основан на сценарии, результаты только на групповом уровне) International Computer Drivers License (измеряет технические знания, в формате вопрос-ответ на бумаге Standardized Assessment of information literacy skills – SAILS (измеряет информационную грамотность ВНЕ среды ИКТ, форма вопрос-ответ на бумаге или через web- интерфейс) TRAILS: Tool for Real-time Assessment of Information Literacy Skills (измеряет информационную грамотность, в форме вопрос-ответ, отдельно по 5 категориям навыков)

ИК- компетентность: определение и составляющие 7

8 Что такое ИКТ-компетентность ИК- компетентность – это способность использовать цифровые технологии, инструменты коммуникации и/или сети для получения доступа, управления, интеграции, оценивания, создания и передачи информации с соблюдением этических и правовых норм для того, чтобы функционировать в обществе, основанном на знании/чтобы успешно жить и трудиться в условиях современного информационного общества.

Традиционная понимание грамотности и ИК компетентности Традиционное понимание грамотности читать и писать (с помощью книг и карандаша) ИК- компетентность читать и писать (с помощью средств ИКТ) использовать ИКТ для – доступа к информации, – ее поиска, – интегрирования (анализа и синтеза) данных, – оценивания информации ИК компетентность - то, что мы добавляем к традиционной грамотности, обучив школьника действовать в ИКТ насыщенной среде Отличается ли грамотность при использовании гусиного пера и использовании карандаша/авторучки (НЕТ?) Отличается ли грамотность до книгоиздания и после (ДА?)

10 Составляющие ИКТ-компетентности ИКТ- компетентность ИКТ- компетентность Определение Доступ Управление Интеграция Оценка Создание Передача (На основании определения American Library Association)

11 Составляющие ИК-компетентности Определение: умение сформулировать запрос таким образом, чтобы он способствовал поиску информации Доступ: умение/способность найти и собрать (retrieve – восстанавливать, исправлять) информацию из различных источников Управление: умение применить существующую организационную или классификационную схемы (для структурирования, размещения/сохранения информации и быстрого ее поиска в дальнейшем) Интеграция: умение интерпретировать и представлять/осмыслять (representing) информацию - вычленять самое главное, сравнивать или противопоставлять информацию, полученную из нескольких источников Оценка: умение составить мнение о качестве, нужности/релевантности, полезности или эффективности информации Создание: умение создавать или адаптировать информацию с учетом конкретной потребности/задачи, выражать главную мысль и приводить информацию, подтверждающую ее Передача: умение адаптировать информацию для конкретной аудитории.

12 Тест состоит из 16 заданий, основанных на решении РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социо- культурных и др.), с которыми человек сталкивается в течение всей жизни, с помощью 7 ИКТ-компетенций. При выполнении заданий от участника тестирования потребуется: осуществлять поиск проводить различные действия с данными и передавать их отбирать и анализировать информацию создавать или выбирать презентационные материалы для конкретной целевой аудитории принимать решения о правомерности и этичности использовании полученной информациии. Спецификация теста

Тест включает задания разные по степени СЛОЖНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения Уровень сложности задания Количество заданий Ожидаемое время выполнения задания Простое (оценка 1-й компетентности) Средней сложности (оценка 2-3 компетентностей) Сложное (оценка 4-5 Компетентностей) Тест состоит из 16 заданий, разных по степени сложности и продолжительности выполнения 13 Общая продолжительность тестирования - не более 2-х академических часов

Опреде- ление ДоступУправлениеИнтеграцияОценкаСозданиеПередача Текстовый редактор Электронная почта Электронные таблицы Базы данных Интернет Другие Задание 1 Задание 1 Задание 2 Задание 2 Задание 3 Задание 3 При выполнении теста используются различные ИНСТРУМЕНТЫ

15 Тест, построенный на системе свидетельств Концептуальные подходы к разработке инструмента оценки ИК-компетентности

16 Тест, построенный на системе свидетельств – это набор взаимосвязанных процедур, призванных прояснить два вопроса: 1.Какие свидетельства компетентности (или знаний) учащегося мы можем непосредственно наблюдать? 2.Как структурировать ситуацию, чтобы увидеть эти свидетельства?

Метод разработки теста: в центре – свидетельства компетентности (evidence centered design – Mislevy, Levy, 2006) 1. Определения компетенций Что мы измеряем? Определение ИК-компетентности и ее составляющих. 2. Модель сбора свидетельств Как мы можем это измерить? Поиск наблюдаемых свидетельств наличия компетентности 3. Модель тестового задания Где измерять? Поиск конкретных индикаторов – результатов выполнения какой-либо задачи.

Процедуры разработки теста в двух разных подходах Спецификация содержания Создание опросов/задач Рамка теста Анализ данных «Проходной балл» Классическая разработка тестаТест, построенный на системе свидетельств Модель компетенций Модель задания Модель сбора свидетельств Задание

ИК- компетентность Пример Модель компетенций: что измеряем и зачем? 19 Доступ Интегр ация Оценка Опред еление Управл ение Создан ие Переда ча Свидетельство: Успешная профессиональная карьера

ИК- компетентность Пример Модель сбора свидетельств: что мы можем узнать о компетенции управления, наблюдая за деятельностью учащегося? 20 Доступ Интегр ация Оценка Опред еление Управ ление Создан ие Переда ча Свидетельство: Успешная профессиональная карьера Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти

Пример Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности? 21 Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Ситуация, в которой файл нужно сохранить в определенную папку Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл

Пример Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности? 22 Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Ситуация, в которой файл нужно сохранить в определенную папку Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл +контекст +контент Тестовое задание

Одно из важнейших преимуществ теста, построенного на системе свидетельств – обратимость логики. Эти процедуры «автоматически» повышают конструктную валидность теста. Пример: в ситуации необходимости сортировки спама, в которой учащийся может проявить свою компетентность таким образом, чтобы мы ее смогли зафиксировать, учащийся отсортировал спам, что является одним из свидетельств его компетентности в части управления информацией, и, следовательно, одним из проявлений общей ИК-компетенции. 23

ИК- компетентность Процедура установки тестовых стандартов Модель компетенций: что измеряем и зачем? 24 Доступ Интегр ация Оценка Опред еление Управл ение Создан ие Переда ча Свидетельство: Успешная профессиональная карьера

Процедура установки тестовых стандартов ДОСТУП УПРАВЛЕНИЕ ПЕРЕДАЧА СОЗДАНИЕ ОПРЕДЕЛЕНИЕ ИНТЕГРАЦИЯ ОЦЕНКА ПРОДВИНУТЫЙВВ В ВВВВ ВЫШЕ БАЗОВОГОВВВВВ С С БАЗОВЫЙ ССССССС НИЖЕ БАЗОВОГО ССССС НН РАЗВИВАЮ- ЩИЙСЯННННННН 25

Соответствие образовательным стандартам (Alignment) Специальная процедура связывания тестируемых компетентностей и образовательных ожиданий (Webb, 1999). Необходима для встраивания тестирования в национальные системы образования.

Критерии соответствия теста стандартам по Веббу 1.Соответствие общего измеряемого понятия (structure of knowledge comparability) 2.Соответствие измеряемых категорий (categorical concurrence) 3.Соответствие отдельных индикаторов и ожиданий (range of knowledge) 4.Соответствие широты охвата (balance of representation) 5.Соответствие глубины знаний (depth of knowledge) 6.Диспозиционное соответствие (dispositional consonance)

Международные стандарты информационно- коммуникационной компетентности Стандарты информационной компетентности, разработанные Ассоциацией Американских Библиотекарей для высшего образования, 2000г. Расширены до международных стандартов в 2001 г. Обобщенная рамка для исследования ИКТ- компетентности, разработанная международной панелью экспертов на базе компании ETS в 2002 г.

Процедура исследования соответствия международным стандартам Анализ документов: стандарты и характеристики теста сопоставлялись по каждому из критериев соответствия, вычислялся процент покрытия стандартов тестом.

Результаты процедуры рассмотрения соответствия международным стандартам 1.Соответствие общего измеряемого понятия (structure of knowledge comparability) ПОЛНОЕ – определения ИК-компетентности совпадают. 2.Соответствие измеряемых категорий (categorical concurrence) ПОЛНОЕ – 100% - тест включает больше категорий, чем стандарты. 3.Соответствие отдельных индикаторов и ожиданий (range of knowledge) ПРИЕМЛЕМОЕ. Из 87 индикаторов в стандартах, различные варианты теста покрывают от 44% до 55%. Неполный охват компенсируется использованием байесовских сетей.

Результаты процедуры рассмотрения соответствия международным стандартам 4.Соответствие широты охвата (balance of representation) ПОЛНОЕ – В каждом из вариантов теста охват компетенций, содержания, контекстов и сложности задач представлен более широко, чем в стандартах. 5.Соответствие глубины знаний (depth of knowledge) Процедура не закончена, требует экспертной оценки когнитивной сложности каждого из индикаторов в стандартах и каждого из заданий теста. 6.Диспозиционное соответствие (dispositional consonance) ПОЛНОЕ – В тест эксплицитно введены наблюдаемые переменные, оценивающие этические аспекты использования информации, тест сопровождается анкетой, включающей вопросы об интересе к учащихся к ИКТ и их оценке важности изучения ИКТ.

Взятые за основу стандарты Российской Федерации ФЕДЕРАЛЬНЫЙ ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ОСНОВНОГО ОБЩЕГО ОБРАЗОВАНИЯ (от г.) Примерная основная образовательная программа образовательного учреждения Основная школа (Программа подготовлена Институтом стратегических исследований в образовании РАО. Научные руководители член- корреспондент РАО А. М. Кондаков, академик РАО Л. П. Кезина)

Процедура исследования соответствия российским стандартам Соответствие общего измеряемого понятия (structure of knowledge comparability) 33

Процедура исследования соответствия российским стандартам Соответствие измеряемых категорий (categorical concurrence) 1) ФГОС общего образования (18.2. Содержательный раздел основной образовательной программы основного общего образования: Стр.30-31) 34 2) ФГОС общего образования (Метапредметные результаты освоения основной образовательной программы основного общего образования Стр.6-7) 3) Примерная основная образовательная программа образовательного учреждения (метапредметные результаты освоения основной образовательной программы основного общего образования)

Процедура исследования соответствия российским стандартам Соответствие отдельных индикаторов и ожиданий (знаниевый диапазон) (range of knowledge) 35

Процедура исследования соответствия российским стандартам Соответствие широты охвата (баланс в подаче информации) (balance of representation) В связи с тем, что в стандарте не расставлены акценты или указания на преимущества, которые одни компоненты должны получать перед другими, все компоненты одинаково важны и должны быть представлены в контрольно-измерительных материалах в равной степени. Диспозиционное соответствие (dispositional consonance) 36

Результаты процедуры рассмотрения соответствия российским стандартам Соответствие общего измеряемого понятия (structure of knowledge comparability) ПРИЕМЛЕМО В рамках ПООП ОУ, раскрывающей механизм реализации стандарта, рассматривается понятие ИКТ-компетентности, которое включает в себя не только умение учащегося работать с информацией, но и технический аспект, который относится к навыкам работы с определенным оборудованием, программным обеспечением и пр. В связи с тем, что в рамке теста заложено понятие ИК-компетентности и IC Literacy test не направлен на измерение технических навыков учащихся. Соответствие измеряемых категорий (categorical concurrence) ПРИЕМЛЕМО ФГОС общего образования (Метапредметные результаты освоения основной образовательной программы основного общего образования, стр.6-7) – 58,3% (7 из 12); Примерная основная образовательная программа образовательного учреждения (метапредметные результаты освоения основной образовательной программы основного общего образования) – 90% (9 из 10). Учащиеся, чьи знания являются удовлетворительными по результатам оценки, должны продемонстрировать знания практически по всем темам, фигурирующим в стандарте. Исключение составляет тема «Обращение с устройствами ИКТ», в рамках которой учащиеся должны изучить технические аспекты ИК-компетентности. В связи с тем, что IC Literacy test не направлен на измерение технических навыков учащихся, данная тема не представлена.

Результаты процедуры рассмотрения соответствия российским стандартам Соответствие отдельных индикаторов и ожиданий (знаниевый диапазон) (range of knowledge) ПРИЕМЛЕМО Из 68 индикаторов в стандартах, различные варианты теста покрывают от 43% до 48%. Соответствие широты охвата (баланс в подаче информации) (balance of representation) ПОЛНОЕ В каждом из вариантов теста охват компетенций, содержания, контекстов и сложности задач представлен равномерно, как и в стандартах. Диспозиционное соответствие (dispositional consonance) ПОЛНОЕ В тест эксплицитно введены наблюдаемые переменные, оценивающие этические аспекты использования информации, тест сопровождается анкетой, включающей вопросы об интересе к учащихся к ИКТ и их оценке важности изучения ИКТ. Соответствие по глубине знаний (depth of knowledge) (dispositional consonance) Процедура не закончена, требует экспертной оценки когнитивной сложности каждого из индикаторов в стандартах и каждого из заданий теста.

Преимущества данной системы тестирования Интерактивность, автоматизированный характер процесса тестирования и оценки его результатов Использование ситуаций из реальной жизни при разработке сценария для тестовых заданий Акцент на оценке НЕ уровня сформированных технологических навыков и навыков владения учащимися определенным программным продуктом или техническими возможностями компьютера, но СПОСОБНОСТИ оперировать информацией, решать практические задачи, используя ИКТ, мыслить и работать в «цифровом» мире Обязательно условие соблюдение этических и правовых норм при использовании цифровых технологий и средств коммуникации. Это важно для формирования социально- ответственной личности. Автоматическая обработка результатов тестирования, основанная на использовании сетей Байеса. 39

Спасибо за внимание !

Разработка тестового задания: основные этапы Этап 1 выбор одной или нескольких компетенций операционализация определения данной компетенции/данных компетенций Этап 2 В соответствии со спецификацией теста выбираем: продолжительность выполнения тестового задания содержание контекст основные инструменты. Этап 3. Выделение измеряемых переменных Этап 4. Написание сценария тестового задания 41

Пример тестового задания: «Работа с почтовым ящиком/ электронной почтой» Данное задание измеряет/определяет уровень компетенции «Управление информацией» с помощью реальной жизненной ситуации: необходимо разобрать/рассортировать электронные письма, накопившиеся в большом количестве в почтовом ящике за время каникул. 42

43

44 Some interface elements are not translated YET. We are here for that.

45

46

47

Тестовое задание «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования Измеряемая компетенция: УПРАВЛЕНИЕ Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. Как измерить 1-й наблюдаемый признак/ переменную 1: Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ». 48

Наблюдаемые признаки/Измеряемые переменные (Observables) Наблюдаемые признаки/ Измеряемые переменные (Observables) Уровень Точность в управлении информацией Высокий: удалено 10 ненужных писем (4 письма с пометкой «СПАМ» и 1 письмо с пометкой Nelson, 5 больших по объему писем) и не удалены (оставлены) 3 нужных письма. Средний: Работа выполнена на 80%/Обработано 80% писем Низкий: Работа выполнена менее чем на 80% Сохранение информации для того, чтобы ее не потерять Высокий: сохранены все электронные письма, которые необходимо сохранить. Средний: сохранено 80% электронных писем, которые необходимо сохранить. Низкий: сохранено менее 80% электронных писем, которые необходимо сохранить. Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Высокий: сохранены 5 файлов в соответствующие папки Средний: сохранены 4 файла в соответствующие папки Низкий: сохранено менее 4 файлов в соответствующие папки 49