Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов » ноября 2013 года, г. Москва Характеристика инструментария: объекты измерения, рамка и спецификация теста, метод наблюдаемых доказательств, примеры тестовых заданий Тестирование компетентности в области использования информационно-коммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка

Тест, построенный на системе доказательств Концептуальные подходы к разработке инструмента оценки ИК-компетентности 2

ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ Метод разработки теста: в центре – доказательства компетентности (evidence centered design – Mislevy, Levy, 2006) ИК-компетентность – это то, что мы хотим измерить Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей 3

ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ Концептуальные подходы к разработке инструмента оценки ИК-компетентности Что мы измеряем? – Уровень ИК- компетентности (7 составляющих ИК- компетенции) Как мы можем оценить уровень ИК- компетентности? Как мы можем обнаружить/судить об… – Через систему измеряемых доказательств Как мы измеряем уровень ИК- компетентности? – Через систему тестовых заданий

Процедуры разработки теста в двух разных подходах Спецификация содержания Создание опросов/задач Рамка теста Анализ данных «Проходной балл» Классическая разработка тестаТест, построенный на системе свидетельств Модель компетенций Модель задания Модель сбора свидетельств Задание 5

6 Тест, построенный на системе доказательств– это набор взаимосвязанных процедур, призванных прояснить два вопроса: 1. Какие доказательства ИК-компетентности учащегося мы можем непосредственно наблюдать? 2. Как структурировать ситуацию, чтобы увидеть эти доказательства? ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ

Пример разработки тестового задания: «Работа с почтовым ящиком/электронной почтой» 7 1.Предмет оценки: компетенция: Управление (определение: применение существующей организационной или классификационной схемы) операционализация: предпринять элементарную организацию имеющейся информации для дальнейшего использования 2.Общие параметры/общая рамка тестового задания: Продолжительность выполнения: 4 минуты Содержание: Практические дела Контекст: Личный Основные инструменты: Электронная почта

Тестовое задание «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования Измеряемая составляющая ИК-компетентности: УПРАВЛЕНИЕ Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): – Точность в управлении информацией – Сохранение информации для того, чтобы ее не потерять – Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. Как измерить 1-й наблюдаемый признак/ переменную 1: – Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; – Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. – Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ». 8

9

10 Some interface elements are not translated YET. We are here for that.

11

12

13

Наблюдаемые признаки/Измеряемые переменные Наблюдаемые признаки/ Измеряемые переменные (Observables) Уровень Точность в управлении информацией Высокий: удалено 10 ненужных писем (4 письма с пометкой «СПАМ» и 1 письмо с пометкой Nelson, 5 больших по объему писем) и не удалены (оставлены) 3 нужных письма. Средний: Работа выполнена на 80%/Обработано 80% писем Низкий: Работа выполнена менее чем на 80% Сохранение информации для того, чтобы ее не потерять Высокий: сохранены все электронные письма, которые необходимо сохранить. Средний: сохранено 80% электронных писем, которые необходимо сохранить. Низкий: сохранено менее 80% электронных писем, которые необходимо сохранить. Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Высокий: сохранены 5 файлов в соответствующие папки Средний: сохранены 4 файла в соответствующие папки Низкий: сохранено менее 4 файлов в соответствующие папки 14

Метод разработки теста: в центре – свидетельства компетентности (evidence centered design – Mislevy, Levy, 2006) 1. Определения компетенций Что мы измеряем? Определение ИК-компетентности и ее составляющих. 2. Модель сбора свидетельств Как мы можем это измерить? Поиск наблюдаемых свидетельств наличия составляющих ИК- компетентности 3. Модель тестового задания Где измерять? Поиск конкретных индикаторов – результатов выполнения какой- либо задачи. 15

ИК- компетентност ь Пример Модель компетенций: что измеряем и зачем? Модель сбора свидетельств: что мы можем узнать о компетенции управления, наблюдая за деятельностью учащегося? 16 Досту п Интег рация Оценк а Опред елени е Управ ление Созда ние Перед ача Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти

Пример Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности? 17 Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Ситуация, в которой файл нужно сохранить в определенную папку Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл

Пример Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности? 18 Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Ситуация, в которой файл нужно сохранить в определенную папку Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл +контекст +контент Тестовое задание

Одно из важнейших преимуществ теста, построенного на системе свидетельств –конструктная валидность теста. Пример: в ситуации необходимости сортировки спама, в которой учащийся может проявить свою компетентность таким образом, чтобы мы ее смогли зафиксировать, учащийся отсортировал спам, что является одним из свидетельств его компетентности в части управления информацией, и, следовательно, одним из проявлений общей ИК-компетенции. 19

Разработка тестового задания: основные этапы Этап 1 выбор одной или нескольких компетенций операционализация определения данной компетенции/данных компетенций Этап 2 В соответствии со спецификацией теста выбираем: продолжительность выполнения тестового задания содержание контекст основные инструменты. Этап 3. Выделение измеряемых переменных Этап 4. Написание сценария тестового задания 20

ПРИМЕР Т ПРИМЕР ТЕСТОВОГО ЗАДАНИЯ: «ЯЗЫКПРИМЕР ТЕСТОВОГО ЗАДАНИЯ «ЯЗЫКИ МИРА»МИРА» ЕСТОВОГО ЗАДАНИЯ: «ЯЗЫКИ МИРА» Данное задание измеряет/определяет уровень владения четырьмя компетенциями: «Доступ к информации», «Оценка информации», «Создание информации», «Коммуникация» с помощью следующей ситуации: поиск данных для создания графика и ответа на поставленной учительницей вопрос исследования 21

Предмет оценки: – компетенция: Доступ (определение: способность искать и находить информацию из различных источников в разных средах) – компетенция: Оценка (определение: способность составить мнение о качестве, авторитетности, релевантности, полезности или эффективности информации и ее источников) – компетенция: Создание (определение: способность создавать или адаптировать информацию с учетом конкретной задачи, выражать главную мысль и приводить аргументы и свидетельства) – компетенция: Коммуникация (определение: способность адаптировать информацию к конкретной аудитории) Операционализация: – найти необходимую информацию и ответить на поставленный вопрос на базе полученной информации, подкрепив ответ аргументами Общие параметры/общая рамка тестового задания: – Продолжительность выполнения: 30 минут – Содержание: Общественные науки – Контекст: Учебный Основные инструменты: База данных, Электронная почта, Конструктор схем, Презентация 22 Пример разработки тестового задания: «Языки мира» 22

Пример разработки тестового задания: «Языки мира» Выделение измеряемых переменных: Качество выбора источников Качество создания поискового запроса Соответствии информации в выбранном ресурсе указанным требованиям Качество построенного графика (с какой попытки был построен правильный график) Соответствие отправленного графика указанным требованиям Точность информации, представленной на слайде презентации Степень полноты информации в отправляемом сообщении Насколько подходящим по содержанию является отправляемое сообщение? Соблюдение правил цитирования информации Качество организации информации на отправляемом слайде Покрытие коммуникационных задач Написание сценария задания: описание ситуации: вам нужно ответить на вопрос в рамках исследования, основываясь на полученной в процессе поиска информации и проиллюстрировав свой ответ построенным графиком. постановка задачи: найдите бесплатную базу данную, постройте график на основе полученных данных, создайте слайд, включив в него график и ответ на поставленный вопрос, отправьте слайд по электронной почте учительнице. 23

Тестовое задание «Языки мира»: автоматическая обработка результатов тестирования Измеряемые компетенции: ДОСТУП, ОЦЕНКА, СОЗДАНИЕ, КОММУНИКАЦИЯ Доказательства, по которым можно судить о наличии данных компетенций (Observables): – Качество выбора источников – Качество создания поискового запроса – Соответствии информации в выбранном ресурсе указанным требованиям – Качество построенного графика (с какой попытки был построен правильный график) – Соответствие отправленного графика указанным требованиям – Точность информации, представленной на слайде презентации – Степень полноты информации в отправляемом сообщении – Насколько подходящим по содержанию является отправляемое сообщение? – Соблюдение правил цитирования информации – Качество организации информации на отправляемом слайде – Покрытие коммуникационных задач Как измерить 1-й наблюдаемый признак/ переменную 1: Если участник выбирает в качестве типа базы данных Статистика и/или Графики, то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; Если помимо Статистика и/или График выбрано Картинки или Тексты, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. Если Статистика и/или Графики не выбрано, то уровень «НИЗКИЙ». 24

Поведение и поступки, которые отличают людей с разным уровнем ИКТ - компетентности Пример: компетенция – Коммуникация, т.е. способность адаптировать информацию к конкретной аудитории 25 Система измеряемых доказательств

Экран с заданием 26

Инструкция и интерфейс 27

30

31

32

33 Отправка информации корреспонденту

Что думают школьники о тестировании ИК- компетентности 34 Мнения Согласны с мнением (%) Я никогда прежде не участвовал в такого рода тестировании. 90% Данный тест оказался мне по силам 85% Чтобы успешно выполнить этот тест, нужно хорошо поработать головой. 96% Мне понравился этот тест. Мне было интересно отвечать на вопросы. 92% Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в школе или дома. 87%

Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов » ноября 2013 года, г. Москва Спасибо за внимание!