Представление и использование результатов тестирования Тарасова К.В., ведущий специалист НФПК, разработчик тестовых заданий, кандидат педагогических наук. - презентация

1 Представление и использование результатов тестирования Тарасова К.В., ведущий специалист НФПК, разработчик тестовых заданий, кандидат педагогических наук Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов » ноября 2013 года, г. Москва

2 ЦЕЛИ ТЕСТИРОВАНИЯ ИК-КОМПЕТЕНТНОСТИ Цель: обеспечить реалистичную и разностороннюю оценку ИК- компетентности с помощью тестовых заданий, основанных на реальных ситуациях Основные задачи проведения тестирования: оценить уровень ИК-компетентности выпускников основной школы выявить факторы, которые влияют на формирование ИК-компетентности выработать рекомендации по результатам тестирования проверить влияние рекомендаций на повышение уровня ИК- компетентности

3 ИНДИВИДУАЛЬНЫЕ РЕКОМЕНДАЦИИ УЧАЩИМСЯ После прохождения ICL Test его участнику присваивается один из уровней информационно-коммуникационной компетентности – в зависимости от того, в какой степени он владеет каждой из семи ее составляющих. Пять уровней ИК-компетентности: продвинутый; выше базового; базовый; ниже базового; развивающийся.

4 ИНДИВИДУАЛЬНЫЕ РЕКОМЕНДАЦИИ УЧАЩИМСЯ Для лучшего восприятия учащимися после прохождения тестирования им представляется результат, который сочетает в себе: общую оценку уровня ИК – компетентности учащегося Твой результат немного лучше, чем у большинства твоих сверстников (объединяет уровни «выше базового» и «продвинутый»), Твоя ИК-компетентность находится на базовом уровне (соответствует «базовому уровню»), Твой результат немного хуже, чем у большинства твоих сверстников (соответствует уровням «ниже среднего» и «развивающийся») персональные рекомендации, на какие навыки следует обратить внимание

5 ИНДИВИДУАЛЬНЫЕ РЕКОМЕНДАЦИИ УЧАЩИМСЯ (представление результатов на экране)

6 ИНДИВИДУАЛЬНЫЕ РЕЗУЛЬТАТЫ УЧАЩИХСЯ (пример таблицы обработанных результатов)

7 ИНДИВИДУАЛЬНЫЕ РЕЗУЛЬТАТЫ УЧАЩИХСЯ (интерпретация)

8 ИНДИВИДУАЛЬНЫЕ РЕЗУЛЬТАТЫ УЧАЩИХСЯ (результаты учащихся по наблюдаемых переменным)

9 ИНДИВИДУАЛЬНЫЕ РЕЗУЛЬТАТЫ УЧАЩИХСЯ (Log File) Latency1_Task10 Длительность работы с заданием Latency2_Task10 Длительность чтения экрана полного сценария Latency3_Task10 Длительность работы с Экраном1 Latency4_Task10 Длительность работы с Экраном 2 Latency5_Task10 Длительность работы с Экраном3 Latency6_Task10 Длительность работы с заключительным сообщением на Экране4 Latency7_Task10 Конечный выбор на Экране1 Latency8_Task10 Конечный выбор на Экране2 Latency9_Task10 Конечный выбор на Экране3

10 ИНДИВИДУАЛЬНЫЕ РЕЗУЛЬТАТЫ тестирование Пять уровней ИК-компетентности: продвинутый; выше базового; базовый; ниже базового; развивающийся.

11 ИНДИВИДУАЛЬНЫЕ РЕЗУЛЬТАТЫ тестирование

12 Определение (информации): умение корректно сформулировать проблему, чтобы целенаправленно искать и обрабатывать информацию. Доступ (к информации): умение искать и находить информацию в различных источниках. Управление (информацией): умение классифицировать или организовывать информацию. Передача (информации): умение адаптировать информацию к конкретной аудитории. Интеграция (информации): умение интерпретировать и реструктурировать информацию, вычленять главное, сравнивать информацию из разных источников. Оценка (информации): умение составить мнение о качестве, релевантности, полезности информации и источников ее получения. Создание (информации): умение создавать или адаптировать имеющуюся информацию с учетом конкретной задачи.

13 ВОЗМОЖНОСТЬ СРАВНИТЕЛЬНОГО ИССЛЕДОВАНИЯ Данные пилотирования в ГАОУ Центр образования 548 «Царицыно»,г.Москва 2013 г. 80 учащихся

14 ВОЗМОЖНОСТЬ СРАВНИТЕЛЬНОГО ИССЛЕДОВАНИЯ

15 АНКЕТА 1.Валидационный блок (~15 минут) Цель – проверка валидности теста. Позволяет делать выводы о валидности тестирования на новой целевой группе (стране, регионе) Включает индикаторы следующих переменных: Самооценка различных компонентов ИК-компетентности Частота различных действий на компьютере Самооценка технической компьютерной грамотности Самостоятельность работы с компьютером Успеваемость по различным предметам 2. Социологический блок (~30 минут) Цель – выявление факторов формирования ИК-компетентности ИК- компетентность Бэкграунд учащихся Доступность и практики использования компьютера вне школы Доступность и практики использования компьютера в школе Успеваемость Макрохарактеристики тип местности (село/город), тип школы (лицей, гимназия, общеобразовательная и т.п.), район/регион

16 Основные гипотезы факторов формирования ИК-компетентности 1.Социально-демографические сведения об участнике тестирования 2. Доступ и вовлеченность учащегося в использование ИКТ 3.Оценка учащимися практик использования ИКТ в школе 4.Проектная, групповая, самостоятельная, внеурочная и внешкольная деятельность

17 Основные гипотезы факторов формирования ИК-компетентности 1.Социально-демографические сведения об участнике тестирования Пол Образовательные планы (на 10/11 классы и после) Дополнительное образование Образование родителей Образовательные ресурсы дома (количество книг) Вовлеченность родителей в использование ИКТ Уделяемое родителями время Материальная обеспеченность семьи: наличие автомобиля, зарубежные поездки на отдых, наличие смартфона

18 Уровни ИК-компетентности с учетом гендерного распределения Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

19 Образовательные планы: после окончания 9-го класса и на получение высшего образования Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

20 Влияние материальной обеспеченности семьи и образования родителей Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

21 Количество книг (домашние образовательные ресурсы) Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

22 Основные гипотезы факторов формирования ИК-компетентности 2. Доступ и вовлеченность учащегося в использование ИКТ Наличие компьютера дома Наличие подключения к Интернету Частота и интенсивность использования компьютера в различных местах Опыт пользования компьютером Цели использования компьютера

23 Доступность компьютера дома и подключение к сети Интернет Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

24 Частота использования компьютера дома и в школе Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

25 Основные гипотезы факторов формирования ИК-компетентности 3. Оценка учащимися практик использования ИКТ в школе Частота использования компьютера учителями Способы использования компьютера учителями на уроках Частота пользования компьютером учащимися на разных предметах

26 Основные гипотезы факторов формирования ИК-компетентности 4. Проектная, групповая, самостоятельная, внеурочная и внешкольная деятельность Специфика домашних заданий Самостоятельная и групповая работа Предпочитаемые виды досуга

27 Характер домашних заданий и ИК-компетентность Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

28 Предварительные выводы (на основе результатов пилотного тестирования в Армении) 1.Уровень ИК-компетентности связан с: образованием родителей, наличием в доме образовательных ресурсов, использованием компьютера в домашних условиях, успеваемостью учащихся – как со средней оценкой по всем предметам, так и по естественнонаучным, гуманитарным и общественным дисциплинам. Кроме того, ИК- компетентность способствует получению более высоких оценок, более высоким образовательным достижениям, поскольку предполагает умение эффективно использовать информацию для достижения своих целей, в частности, образовательных достижений. 2. Уровень ИК-компетентности слабо связан с: социально-экономическим статусом семьи степенью доступности и использование компьютера в школе, в отличие от, довольно слабо влияет на уровень ИК- компетентности школьников, коллективной деятельностью на уроках и вне школы, т.к. специфика работы на компьютере, похоже, в большей степени связана с организацией самостоятельной работы. Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

29 Дополнительные возможности включения анкеты 1.При обеспечении репрезентативной выборки существует возможность использования данных анкетирования не только в связи с ИК- компентностью, но и самих по себе. Например, для отслеживания уровня информатизации из года в год или сравнения с другими регионами/ странами 2.При увеличении выборки до 100 или более школ, возможно включение в исследование анкеты учителя, которая будет собирать информацию о практиках применения ИКТ в учебном процессе учителями Данные пилотирования в Республике Армения, 2013 г. 612 учащихся

30 Дополнительные возможности включения анкеты Результаты исследования ИК-компетентности учащихся 9-х классов Республики Татарстан в гг.

31 ICL Test – инструмент оценки метапредметных результатов Специальная процедура связывания тестируемых компетентностей и образовательных ожиданий (Webb, 1999), которая необходима для встраивания тестирования в национальные системы образования. Оценка согласованности подкрепляется обращением к особым критериям анализа соответствия прогнозируемых результатов реальным итогам тестирования.

32 ICL Test – инструмент оценки метапредметных результатов Взятые за основу стандарты Российской Федерации ФЕДЕРАЛЬНЫЙ ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ОСНОВНОГО ОБЩЕГО ОБРАЗОВАНИЯ (от г.) Примерная основная образовательная программа образовательного учреждения Основная школа (Программа подготовлена Институтом стратегических исследований в образовании РАО. Научные руководители член-корреспондент РАО А. М. Кондаков, академик РАО Л. П. Кезина)

33 ICL Test – инструмент оценки метапредметных результатов 1.Соответствие общего измеряемого понятия 2.Соответствие измеряемых категорий Категориальное соответствие предполагает использование сопоставимых заголовков и подзаголовков элементов содержания 3.Соответствие знаниевого диапазона Оценка знаний учащегося по всему диапазону содержания стандарта, образовательной программы 4.Соответствие по глубине знаний Уровень когнитивной сложности информации, которую учащиеся должны освоить, их умение применять усвоенный материал в различных контекстах, умение делать обобщения и т.д. 5.Баланс в подаче информации Задания теста должны освещать темы одинаково глубоко и широко на основании общего представления об организации знаний (стандарт, образовательная программа)

34 ICL Test – инструмент оценки метапредметных результатов ВЫВОДЫ 1.IC Literacy test не направлен на измерение технических навыков учащихся. В рамках ПООП ОУ, раскрывающей механизм реализации стандарта, рассматривается понятие ИКТ-компетентности, которое включает в себя не только умение учащегося работать с информацией, но и технический аспект, который относится к навыкам работы с определенным оборудованием, программным обеспечением и пр. 2.Учащиеся, чьи знания являются удовлетворительными (находятся на базовом уровне) по результатам оценки, должны продемонстрировать знания практически по всем темам, фигурирующим в стандарте (исключение - тема «Обращение с устройствами ИКТ») 3.Из 68 индикаторов в стандартах, различные варианты теста покрывают от 43% до 48%. 4.В каждом из вариантов теста охват компетенций, содержания, контекстов и сложности задач представлен равномерно, как и в стандарте.

35 СПАСИБО ЗА ВНИМАНИЕ!