Инструмент оценки ИК-компетентности: : объекты измерения, рамка и спецификация теста, метод наблюдаемых доказательств, примеры тестовых заданий, обработка. - презентация

1 Инструмент оценки ИК-компетентности: : объекты измерения, рамка и спецификация теста, метод наблюдаемых доказательств, примеры тестовых заданий, обработка и анализ результатов, процедура проведения тестирования Тестирование компетентности в области использования информационно-коммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях Семинар «Оценка информационно-коммуникационной компетентности учащихся 9-х классов ЯНАО: инструментарий,обработка результатов и организация тестирования» 18 сентября 2014 года, г. Салехард

2 Рост образовательных результатов при инвестициях в образовательные результаты Кривые возврата инвестиций в образование при росте его качества на 0.5 стандартного отклонения, которые получены экономистами Всемирного банка реконструкции и развития (WorldBankPolicyResearchWorki ngPaper 4122, February 2007). Десятилетние вложения, приводящие в результате к заметному повышению уровня образовательных результатов школьников, дают надбавку к ВВП сопоставимую по объему с общими затратами на образование в стране

3 Рамка для навыков 21-го века ( Базовые дисциплины (Core Subjects) Темы 21 го века (21st Century Themes) Понимание глобальных проблем /Global Awareness Финансы, предпринимательская грамотность, практическая экономика Гражданская грамотность (современные социальные проблемы) Умения для жизни в нашем мире (Life and Career Skills) Гибкость, приспособление к изменениям (Flexibility and adaptability) Инициатива и самоуправление Кросс-культурные навыки и умение жить в обществе Способность трудиться и оценивать сделанное (Productivity and accountability) Лидерство и ответственность Умения учиться и творить (Learning and Innovation Skills) Креативность и инновационность Способность мыслить критически и решать новые задачи Общение и сотрудничество Навыки работы с информацией, медиа и ИКТ компетентность (Information, Media and Technology Skills) Способность работать с информацией Медийная грамотность Компьютерная грамотность

4 Изменение потребности в умениях работников на рынке труда Востребованность экономикой различных видов умений The New Division of Labor: How Computers Are Creating the Next Job Market, Frank Levy & Richard J. Murnane

5 Какие навыки и способности приобретут большую значимость в ближайшие годы? Навыки 21 века! Способность учиться на протяжении всей жизни Способность самостоятельно мыслить и действовать Коммуникабельность, умение работать в команде Способность осуществлять выбор и нести за него ответственность Способность решать нетрадиционные задачи, используя приобретенные предметные, интеллектуальные и общие умения и навыки

6 Почему образовательные результаты XXI века? Критическое мышление 78% Информационные технологии 77% Здоровье и благополучие 76% Умение работать в команде 74% Умение решать проблемы 74% Самостоятельность 58% Какие навыки и характеристики приобретут большую значимость в ближайшие пять лет?

7 ФГОС и инновации в педагогике Мировые тенденции Инновационная практика обучения Навыки 21 го века … предполагает: личностно-ориентированное обучение реализацию активного деятельностного подхода расширение границ учебного процесса интеграцию ИКТ и электронных образовательных ресурсов в преподавание и учение …включают: Приобретение знаний Сотрудничество Решение проблем и инновационность Использование ИКТ для обучения Развернутая коммуникация Самостоятельное планирование своей работы учащимися, мониторинг индивидуального прогресса в учении Россия Требования ФГОС, 2010 …включают: Приобретение и интеграция знаний Освоение системати-ческих знаний Сотрудничество Решение творческих и поисковых проблем Использование ИКТ для обучения Коммуникация Самоорганизация и саморегуляция Личностный смысл учения и рефлексия Ценностные установки

8 Инструмент оценки информационно-коммуникационной компетентности Это специально разработанный измерительный инструментарий, позволяющий оценить степень владения выпускниками основной ступени общеобразовательной школы современными информационными и коммуникационными технологиями, которые используются человеком для получения новых знаний, коммуникации и исследовательской деятельности, в первую очередь, в цифровой среде.

9 Цели тестирования ИК-компетентности Цель: обеспечить реалистичную и разностороннюю оценку ИК- компетентности с помощью тестовых заданий, основанных на реальных ситуациях Тестирование призвано: – стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИК-компетентности. – обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе. – оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения. Целевая аудитория: учащиеся при переходе из основной школы в старшую (9-классники) 9

10 Цели тестирования Цель: обеспечить реалистичную и разностороннюю оценку ИК-компетентности с помощью тестовых заданий, основанных на реальных ситуациях Тестирование призвано: стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИК-компетентности обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения Целевая аудитория: учащиеся при переходе из основной школы в старшую (9-классники)

11 Особенности и преимущества инструмента Интерактивность, автоматизированный характер процесса тестирования и оценки его результатов Использование для сценариев тестовых заданий ситуаций из реальной жизни Акцент на оценке уровня сформированности НЕ технологических навыков и навыков владения определенными программными продуктами или техническими возможностями компьютера, но СПОСОБНОСТИ оперировать информацией, решать практические задачи, используя ИКТ, мыслить и работать в «цифровом» мире Обязательным условием прохождения ICL Test является соблюдение правовых и этических норм при использовании цифровых технологий и инструментов, а также средств коммуникации Автоматическая обработка результатов тестирования, основанная на использовании сетей Байеса

12 Рамка и спецификация теста

13 Что такое ИК-компетентность ИК- компетентность – это способность использовать цифровые технологии, инструменты коммуникации и/или сети для получения доступа, управления, интеграции, оценивания, создания и передачи информации с соблюдением этических и правовых норм для того, чтобы функционировать в обществе, основанном на знании, чтобы успешно жить и трудиться в условиях современного информационного общества.

14 Традиционное понимание грамотности и ИК-компетентности Традиционное понимание грамотности читать и писать (с помощью книг и карандаша) ИК- компетентность читать и писать (с помощью средств ИКТ) использовать ИКТ для –доступа к информации, –ее поиска, –интегрирования (анализа и синтеза) данных, –оценивания информации ИК компетентность - то, что мы добавляем к традиционной грамотности, обучив школьника действовать в ИКТ насыщенной среде Отличается ли грамотность при использовании гусиного пера и использовании карандаша/авторучки (НЕТ?) Отличается ли грамотность до книгоиздания и после (ДА?)

15 Составляющие ИК-компетентности

16 Определение (информации): умение корректно сформулировать проблему, чтобы целенаправленно искать и обрабатывать информацию. Доступ (к информации): умение искать и находить информацию в различных источниках. Управление (информацией): умение классифицировать или организовывать информацию. Интеграция (информации): умение интерпретировать и реструктурировать информацию, вычленять главное, сравнивать информацию из разных источников. Оценка (информации): умение составить мнение о качестве, релевантности, полезности информации и источников ее получения. Создание (информации): умение создавать или адаптировать имеющуюся информацию с учетом конкретной задачи. Передача (информации): умение адаптировать информацию к конкретной аудитории.

17 Международные стандарты ИК-компетентности Стандарты информационной компетентности, разработанные Ассоциацией Американских Библиотекарей для высшего образования, 2000 г. Расширены до международных стандартов в 2001 г. Обобщенная рамка для исследования ИКТ- компетентности, разработанная международной панелью экспертов на базе компании ETS в 2002 г. 17

18 Международные стандарты ИК-компетентности Стандарты информационной компетентности, разработанные Ассоциацией Американских Библиотекарей для высшего образования, 2000 г. Расширены до международных стандартов в 2001 г. Обобщенная рамка для исследования ИКТ-компетентности, разработанная международной панелью экспертов на базе компании ETS в 2002 г.

19 Спецификация теста Тест состоит из 16 заданий, основанных на решении РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социо-культурных и др.), с которыми человек сталкивается в течение всей жизни. При выполнении заданий от участника тестирования требуется: осуществлять поиск проводить различные действия с данными и передавать их отбирать и анализировать информацию создавать или выбирать презентационные материалы для конкретной целевой аудитории принимать решения о правомерности и этичности использовании полученной информации.

20 Тест включает задания разные по степени ТРУДНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения Уровень сложности задания Количество заданий Ожидаемое время выполнения задания Простое (оценка 1-й составляющей ИК-компетентности) Средней сложности (оценка 2-3 составляющих ИК-компетентности) Сложное (оценка 4-5 составляющих ИК-компетентности) заданий разной степени трудности и продолжительности выполнения Общая продолжительность тестирования - не более 2-х часов Широкий спектр цифровых технологий: текстовые редакторы, инструменты для создания презентаций, электронные таблицы, графики, базы данных, средства мультимедиа, электронная почта, социальные сети и др. Интернет-сервисы.

21 При выполнении теста используются различные ИНСТРУМЕНТЫ Определение ДоступУправление ИнтеграцияОценка СозданиеПередача Текстовый редактор Электронная почта Электронные таблицы Базы данных Интернет Другие Задание 1 Задание 1 Задание 2 Задание 2 Задание 3 Задание 3

22 Тест, построенный на системе свидетельств Концептуальные подходы к разработке инструмента оценки ИК-компетентности

23 Концептуальные подходы к разработке теста Тест, построенный на системе свидетельств

24 Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов » ноября 2013 года, г. Москва Инновационный метод разработки инструмента измерения ИК-компетентности Метод разработки теста: в центре – свидетельства компетентности (evidence centered design – Mislevy, Levy, 2006) ИК-компетентность – это то, что мы хотим измерить Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей

25 Концептуальные подходы к разработке инструмента оценки ИК-компетентности Что мы измеряем? – Уровень ИК- компетентности (7 составляющих ИК- компетенции) Как мы можем оценить уровень ИК-компетентности? Как мы можем обнаружить/судить об… – Через систему измеряемых доказательств Как мы измеряем уровень ИК-компетентности? – Через систему тестовых заданий

26 Процедуры разработки теста в двух разных подходах Спецификация содержания Создание опросов/задач Рамка теста Анализ данных «Проходной балл» Классическая разработка теста Модель компетенций Модель задания Задание Тест, построенный на системе свидетельств Модель сбора свидетельств

27 Тест, построенный на системе свидетельств Тест, построенный на системе свидетельств – это набор взаимосвязанных процедур, призванных прояснить два вопроса: 1. Какие доказательства ИК-компетентности учащегося мы можем непосредственно наблюдать? 2. Как структурировать ситуацию, чтобы увидеть эти доказательства?

28 IC Literacy Test Тестирование ИК-компетентности Общие параметры задания Предмет оценки: составляющая ИКК «Управление (информацией)» Продолжительность: 4 минуты Контекст: личный Содержание: практические задачи Задача: сохранить информацию из писем таким образом, чтобы ее не потерять, чтобы в дальнейшем ее можно было найти легко и быстро. Пример тестового задания «Сортировка почты»

29 Тестовое задание «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования Измеряемая составляющая ИК-компетентности: УПРАВЛЕНИЕ Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): – Точность в управлении информацией – Сохранение информации для того, чтобы ее не потерять – Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. Как измерить 1-й наблюдаемый признак/ переменную 1: – Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; – Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. – Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ».

30 Наблюдаемые признаки/Измеряемые переменные Наблюдаемые признаки/ Измеряемые переменные (Observables) Уровень Точность в управлении информацией Высокий: удалено 10 ненужных писем (4 письма с пометкой «СПАМ» и 1 письмо с пометкой Nelson, 5 больших по объему писем) и не удалены (оставлены) 3 нужных письма. Средний: Работа выполнена на 80%/Обработано 80% писем Низкий: Работа выполнена менее чем на 80% Сохранение информации для того, чтобы ее не потерять Высокий: сохранены все электронные письма, которые необходимо сохранить. Средний: сохранено 80% электронных писем, которые необходимо сохранить. Низкий: сохранено менее 80% электронных писем, которые необходимо сохранить. Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Высокий: сохранены 5 файлов в соответствующие папки Средний: сохранены 4 файла в соответствующие папки Низкий: сохранено менее 4 файлов в соответствующие папки

31 31

32 32

33 33

34 Метод разработки теста: в центре – свидетельства компетентности 1. Определения компетенций Что мы измеряем? Определение ИК-компетентности и ее составляющих. 2. Модель сбора свидетельств Как мы можем это измерить? Поиск наблюдаемых свидетельств наличия составляющих ИК- компетентности 3. Модель тестового задания Где измерять? Поиск конкретных индикаторов – результатов выполнения какой- либо задачи. 34

35 ИК- компетентност ь Пример Модель компетенций: что измеряем и зачем? Модель сбора свидетельств: что мы можем узнать о компетенции управления, наблюдая за деятельностью учащегося? 35 Досту п Интег рация Оценк а Опред елени е Управ ление Создание Перед ача Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти

36 Пример Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности? 36 Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Ситуация, в которой файл нужно сохранить в определенную папку Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл

37 Пример Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности? 37 Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Ситуация, в которой файл нужно сохранить в определенную папку Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл +контекст +контент Тестовое задание

38 IC Literacy Test Тестирование ИК-компетентности Общие параметры задания Предмет оценки: составляющая ИКК «Создание (информации)» Продолжительность: 4 минуты Контекст: учебный (академический) Содержание: общественные науки Задача: выбрать наиболее подходящий заголовок для статьи, подобрать релевантное изображение, найти географические названия, требующие ссылок на соответствующие статьи в энциклопедии и создать ссылки. Пример тестового задания «Открытие Америки»

39 Преимущества использования ECD Одно из важнейших преимуществ теста, построенного на системе свидетельств –конструктная валидность теста. Пример: в ситуации необходимости сортировки спама, в которой учащийся может проявить свою компетентность таким образом, чтобы мы ее смогли зафиксировать, учащийся отсортировал спам, что является одним из свидетельств его компетентности в части управления информацией, и, следовательно, одним из проявлений общей ИК-компетенции. 39

40 Обработка результатов

41 Автоматическая обработка результатов тестирования: сети Байеса

42

43

44

45

46 Дальнейшее развитие инструмента Переход к адаптивному тестированию Администрирование с параллельным обучением сети

47 Процедура установки тестовых стандартов Уровни ИК-компетентности Уровни составляющих ИК-компетентности: К – компетентен П – приемлемо Н - неприемлемо УРОВНИ ИК- КОМПЕТЕНТНОСТИ ДОСТУП УПРАВЛЕНИЕ ПЕРЕДАЧА СОЗДАНИЕ ОПРЕДЕЛЕНИЕ ИНТЕГРАЦИЯ ОЦЕНКА ПРОДВИНУТЫЙККККККК ВЫШЕ БАЗОВОГОКККККПП БАЗОВЫЙППППППП НИЖЕ БАЗОВОГОПППППНН РАЗВИВАЮЩИЙСЯННННННН

48 Преимущества использования ECD и байесовских сетей Возможность автоматической обработки результатов Конструктная валидность теста Пример: в ситуации необходимости сортировки спама, в которой учащийся может проявить свою компетентность таким образом, чтобы мы ее смогли зафиксировать, учащийся отсортировал спам, что является одним из свидетельств его компетентности в части управления информацией, и, следовательно, одним из проявлений общей ИК-компетенции. 48

49 О результатах психометрических исследований

50 Психометрические исследования Валидность и надежность результатов тестирования Исследование валидности (конвергентной, дивергентной, текущей, очевидной) Корреляционный анализ Факторный анализ Анализ внутренней согласованности Анализ параметров заданий Анализ DIF (различного функционирования заданий) Анализ функционирования сети Байеса (model criticism) В качестве меры надежности теста используется коэффициент Альфа Кронбаха Полученное в ходе исследований значение 0.77–0.83

51 Психометрические исследования Конвергентная, дивергентная и текущая валидность Измерение Коэффициент корреляции Спирмана Собственная оценка своих навыков Уверенность в собственных ИК-способностях 0.22 – 0.3 Частота обращения к навыкам ИКТ – 0.12 Техническая грамотность 0.04 – 0.12 Самодостаточность Просил помощи (обратное кодирование) 0.05 – 0.22 Самостоятельно решал проблемы 0.06 – 0.25 Успеваемость Средняя оценка успеваемости в школе 0.32 – 0.48

52 Психометрические исследования Факторный анализ Эксплораторный и конфирматорный факторный анализ : ФА на уровне наблюдаемых переменных ФА на уровне заданий ИКТ-компетентность – сложный конструкт, части которого связаны между собой; Использование единого показателя ИКТ- компетентности оправдано. Факторная структура отражает контекст заданий Превалирует решение с одним фактором

53 Дополнительные психометрические исследования Измерение Количество вопросов СреднееСтандартное отклонение Альфа Кронбаха Собственная оценка своих навыков Уверенность в собственных ИК- способностях Частота обращения к навыкам ИКТ Техническая грамотность Самодостаточность Просил помощи (обратное кодирование) NA Самостоятельно решал проблемы NA Успеваемость Средняя оценка по предметам в школе

54 Представление и анализ результатов тестирования 54 ЗАДАЧИ ТЕСТИРОВАНИЯ ИК-КОМПЕТЕНТНОСТИ

55 Представление и анализ результатов тестирования

56 Результаты тестирования учащихся IC Literacy Test Тестирование ИК-компетентности 5 уровней ИК-компетентности: продвинутый; выше базового; базовый; ниже базового; развивающийся. 5 уровней ИК-компетентности: продвинутый; выше базового; базовый; ниже базового; развивающийся. Индивидуальные результаты учащихся содержат: общую оценку уровня ИК – компетентности учащегося персональные рекомендации, на какие навыки следует обратить внимание. Индивидуальные результаты учащихся содержат: общую оценку уровня ИК – компетентности учащегося персональные рекомендации, на какие навыки следует обратить внимание.

57 ИНДИВИДУАЛЬНЫЕ РЕЗУЛЬТАТЫ УЧАЩИХСЯ (пример таблицы обработанных результатов)

58 ИНДИВИДУАЛЬНЫЕ РЕЗУЛЬТАТЫ УЧАЩИХСЯ (интерпретация)

59

60 РАБОТА С ИНДИВИДУАЛЬНЫМИ РЕЗУЛЬТАТАМИ (результаты учащихся по наблюдаемым переменным) Установление наиболее слабо развитых навыков работы с информацией Возможность построения индивидуальной траектории работы с учащимися

61 Возможность сравнительных и лонгитюдных исследований

62 ВОЗМОЖНОСТЬ СРАВНИТЕЛЬНОГО ИССЛЕДОВАНИЯ Данные пилотирования в ГАОУ Центр образования 548 «Царицыно»,г.Москва 2013 г.

63 ВОЗМОЖНОСТЬ СРАВНИТЕЛЬНОГО ИССЛЕДОВАНИЯ

64 Лонгитюдные исследования

65 Факторы, влияющие на формирование ИК-компетентности

66 Социально-демографические сведения об участнике тестирования Доступ и вовлеченность учащегося в использование ИКТ Оценка учащимися практик использования ИКТ в школе Проектная, групповая, самостоятельная, внеурочная и внешкольная деятельность 66 Основные гипотезы факторов формирования ИК-компетентности

67 АНКЕТА Цель – выявление факторов формирования ИК-компетентности ИК-компетентность Бэкграунд учащихся Доступность и практики использования компьютера вне школы Доступность и практики использования компьютера в школе Успеваемость Макрохарактеристики тип местности (село/город), тип школы (лицей, гимназия, общеобразовательная и т.п.), район/регион

68 Характер домашних заданий и ИК-компетентность

69 Влияние на уровень ИКТ-компетентность учащихся учителей и школы 69

70 Образовательные планы: после окончания 9-го класса и на получение высшего образования Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

71 Что думают школьники о тестировании ИК- компетентности 71 Мнения Согласны с мнением (%) Я никогда прежде не участвовал в такого рода тестировании. 90% Данный тест оказался мне по силам 85% Чтобы успешно выполнить этот тест, нужно хорошо поработать головой. 96% Мне понравился этот тест. Мне было интересно отвечать на вопросы. 92% Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в школе или дома. 87%

72 Проведение процедуры согласования тестируемых компетентностей и образовательных ожиданий (Webb, 1999) Необходима для встраивания тестирования в национальные системы образования.

73 ICL Test – инструмент оценки метапредметных результатов (Критерии соответствия теста стандартам, Webb) 1. Соответствие общего измеряемого понятия 2. Соответствие измеряемых категорий Категориальное соответствие предполагает использование сопоставимых заголовков и подзаголовков элементов содержания 3. Соответствие знаниевого диапазона Оценка знаний учащегося по всему диапазону содержания стандарта, образовательной программы 4. Соответствие по глубине знаний Уровень когнитивной сложности информации, которую учащиеся должны освоить, их умение применять усвоенный материал в различных контекстах, умение делать обобщения и т.д. 5. Баланс в подаче информации Задания теста должны освещать темы одинаково глубоко и широко на основании общего представления об организации знаний (стандарт, образовательная программа)

74 Взятые за основу стандарты Российской Федерации ФЕДЕРАЛЬНЫЙ ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ОСНОВНОГО ОБЩЕГО ОБРАЗОВАНИЯ (от г.) Примерная основная образовательная программа образовательного учреждения Основная школа (Программа подготовлена Институтом стратегических исследований в образовании РАО. Научные руководители член-корреспондент РАО А. М. Кондаков, академик РАО Л. П. Кезина) 74

75 Процедура исследования соответствия российским стандартам Соответствие измеряемых категорий (categorical concurrence) 1) ФГОС общего образования (18.2. Содержательный раздел основной образовательной программы основного общего образования: Стр.30-31) 75 2) ФГОС общего образования (Метапредметные результаты освоения основной образовательной программы основного общего образования Стр.6-7) 3) Примерная основная образовательная программа образовательного учреждения (метапредметные результаты освоения основной образовательной программы основного общего образования)

76 Результаты процедуры рассмотрения соответствия российским стандартам Соответствие общего измеряемого понятия (structure of knowledge comparability) ПРИЕМЛЕМО В рамках ПООП ОУ, раскрывающей механизм реализации стандарта, рассматривается понятие ИКТ- компетентности, которое включает в себя не только умение учащегося работать с информацией, но и технический аспект, который относится к навыкам работы с определенным оборудованием, программным обеспечением и пр. В связи с тем, что в рамке теста заложено понятие ИК-компетентности и IC Literacy test не направлен на измерение технических навыков учащихся. Соответствие измеряемых категорий (categorical concurrence) ПРИЕМЛЕМО ФГОС общего образования (Метапредметные результаты освоения основной образовательной программы основного общего образования, стр.6-7) – 58,3% (7 из 12); Примерная основная образовательная программа образовательного учреждения (метапредметные результаты освоения основной образовательной программы основного общего образования) – 90% (9 из 10). Учащиеся, чьи знания являются удовлетворительными по результатам оценки, должны продемонстрировать знания практически по всем темам, фигурирующим в стандарте. Исключение составляет тема «Обращение с устройствами ИКТ», в рамках которой учащиеся должны изучить технические аспекты ИК-компетентности. В связи с тем, что IC Literacy test не направлен на измерение технических навыков учащихся, данная тема не представлена. 76

77 Результаты процедуры рассмотрения соответствия российским стандартам Соответствие отдельных индикаторов и ожиданий (знаниевый диапазон) (range of knowledge) ПРИЕМЛЕМО Из 68 индикаторов в стандартах, различные варианты теста покрывают от 43% до 48%. Соответствие широты охвата (баланс в подаче информации) (balance of representation) ПОЛНОЕ В каждом из вариантов теста охват компетенций, содержания, контекстов и сложности задач представлен равномерно, как и в стандартах. Диспозиционное соответствие (dispositional consonance) ПОЛНОЕ В тест эксплицитно введены наблюдаемые переменные, оценивающие этические аспекты использования информации, тест сопровождается анкетой, включающей вопросы об интересе к учащихся к ИКТ и их оценке важности изучения ИКТ. Соответствие по глубине знаний (depth of knowledge) (dispositional consonance) Процедура не закончена, требует экспертной оценки когнитивной сложности каждого из индикаторов в стандартах и каждого из заданий теста. 77

78 ICL Test – инструмент оценки метапредметных результатов ВЫВОДЫ 1. IC Literacy test не направлен на измерение технических навыков учащихся. В рамках ПООП ОУ, раскрывающей механизм реализации стандарта, рассматривается понятие ИКТ- компетентности, которое включает в себя не только умение учащегося работать с информацией, но и технический аспект, который относится к навыкам работы с определенным оборудованием, программным обеспечением и пр. 2.Учащиеся, чьи знания являются удовлетворительными (находятся на базовом уровне) по результатам оценки, должны продемонстрировать знания практически по всем темам, фигурирующим в стандарте (исключение - тема «Обращение с устройствами ИКТ») 3. Из 68 индикаторов в стандартах, различные варианты теста покрывают от 43% до 48%. 4. В каждом из вариантов теста охват компетенций, содержания, контекстов и сложности задач представлен равномерно, как и в стандарте. 78

79 Вопросы организации процедуры оценки

80 Подготовительный этап проведения тестирования Подготовка данных для тестирования (БД всех ОУ) Проведение репрезентативной выборки учителей Направление информационных писем от РЦОКО в школы, в которых будет проходить тестирование Согласование со школами дат проведения тестирования Представление в РЦОКО согласованного со школами графика проведения тестирования Формирование групп, которые будут проводит операционное тестирование, закрепление их обязанностей приказом по Центру оценки качества образования. Техническое обеспечение процесса проведения тестирования (компьютеры, маршрутизаторы,интернет) 80

81 Варианты прохождения зависят от технических условий, которые может предоставить заказчик для проведения тестирования тестирование может проводиться силами представителей заказчика или специалистами НФПК в процессе тестирования могут использоваться компьютеры, подключенные по RDP или WINDOWS сборка

82 Вариант прохождения теста, используемый в ЯНАО Локальная WINDOWS сборка Локальная WINDOWS сборка - при наличии стабильного интернет канала, который может иметь не самую высокую пропускную способность (для 20 тестируемых достаточно канала в 256 КБ/с). Как работает: приложение теста устанавливается на все клиентские компьютеры учащийся может сразу увидеть свои результаты и получить рекомендации для улучшения своей ИК-компетентности результаты тестирования отправляются в НФПК, где они добавляются в общую базу результатов на центральном сервере

83 Планируемая дата и мотивация учащихся Настоятельно рекомендуется проводить тестирование в первой половине учебного дня Не желательно проводить тестирование в первый или последний день учебной недели или накануне выходного дня, а также после уроков или во внеучебное время Пояснить учащимся цели тестирования заранее Подчеркнуть отсутствие проверки предметных знаний

84 Запуск тестового программного обеспечения Пакет установки программы тестирования будет предоставлен в виде exe-файла Рассылка аккаунтов и программы тестирования будет осуществляться региональным координатором по электронной почте накануне проведения тестирования В назначенный день, не позже чем за 2 часа до начала теста, технический специалист должен установить программу тестирования на все компьютеры, которые будут использоваться при тестировании. После установки программы на рабочем столе каждого компьютера будет видна иконка кликнув на которую учащиеся смогут приступить к тестированию.

85 Регистрация 1. Для регистрации учащихся необходимо воспользоваться списком, содержащим учетную запись (логин и пароль) для каждого участника тестирования. 2. Перед началом тестирования администратор тестирования и технический специалист должны выдать каждому учащемуся лист, содержащий персональные данные, логин и пароль, а также проконтролировать ввод данных учетной записи и оказать помощь в случае необходимости. 3. Имя пользователя и пароль следует набирать именно так, как они написаны, с учетом регистра (больших и маленьких букв) и языковой раскладки клавиатуры. 4.Следите, чтобы при наборе не попали пробелы. 5. После ввода имени пользователя и пароля нажмите клавишу Enter. Пример аккаунта: Login yamal112013N1001 Password vHfxKN

86 Инструктирование учащихся Использование вступительной речи, подготовленной разработчиками теста Важно отметить: -Каким образом будет проходить тестирование -Структура теста (3+17+анкета) -Количество тестовых заданий -Общее время -Расположение инструкций в заданиях -Отсутствие необходимости делать записи -Отсутствие проверки предметных знаний Пояснение инструкции на экране

87 Выполнение теста учащимися

88 Результаты тестирования и анкетирование По итогам тестирования каждый учащийся получает результат с индивидуальными рекомендациями по улучшению своей ИК- компетентности. Прочитав рекомендации и нажав кнопку «Далее», учащийся переходит к заполнению анкеты. Результаты анкеты строго конфиденциальны, используются только в обобщенном виде и позволяют делать выводы о факторах формирования ИК-компетентности.

89 Анкета для учителей 1. Заполняется в электронном виде 2. Посвящена различным аспектам использования ИКТ в профессиональной деятельности педагогов 3.Конфиденциальность: имя и фамилия, как и другие данные НЕ БУДУТ фигурировать ни в одном отчете, информация из анкеты НЕ БУДЕТ передана третьим лицам, в том числе руководству школы, все ответы будут использованы ТОЛЬКО В ОБОБЩЕННОМ ВИДЕ 4. После прохождения анкеты нажать «Отправить» и дождаться появления подтверждения

90 Завершение тестирования и сбор данных Заполнение протокола проведения тестирования, в котором необходимо описать, с какими трудностями пришлось столкнуться во время прохождения теста, высказать свои впечатления о поведении учащихся во время тестирования Заполнение технического протокола проведения тестирования – соответствие компьютеров, на которых проводилось тестирование учащихся, требованиям к программному и аппаратному обеспечению Сбор созданных в процессе работы папок UserLogs и LoggerLogs из каталога, в котором было запущено приложение теста, для того, чтобы исключить потерю данных в случае сбоя при передаче на сервер (например, при прерывании интернет-соединения)

91 СПАСИБО ЗА ВНИМАНИЕ!