СПб ГУ информационных технологий механики и оптики ИТМО Автоматизированная система тестирования компьютерной грамотности (АСТ) (методологическая основа построения) Головной центр мониторинга и сертификации Отраслевой системы С.А. Бояшова

Постановка задач проектирования АСТ Объект исследования ЧТО ИЗМЕРЯЕМ? Методы Принципы Средства КАК ИЗМЕРЯЕМ? ЧЕМ ИЗМЕРЯЕМ? Оценка достоверности результата Оценка достоверности результата В КАКОЙ МЕРЕ СЛЕДУЕТ ПОЛАГАТЬСЯ НА РЕЗУЛЬТАТ? Системный Метрологический Основные подходы к проектированию АСТ: Требования к обеспечению единства измерений: результаты измерений выражаются в единых узаконенных единицах величин погрешность результатов известна с заданной вероятностью и не выходит за рамки установленных пределов

Определение объекта исследования Определение объекта исследования 1. Определение базового понятия «ГРАМОТНОСТЬ» Система: Знание УмениеНавык Структурные элементы ЗУН Системные связи определяются индивидуальными особенностями человека Новообразования психической системы Человека УЧЕНИЕ Предметная область деятельности ИКТ Компьютерная грамотность (КГ)

«Компьютерная грамотность» Качественная интегративная характеристика уровня развития психической системы человека представляющая собой совокупность ЗУН, сформированных в процессе учебной деятельности в области информатики и ИКТ, и связанных между собою сложными видами связей, которые зависят от особенностей его психической, физической систем и личностных качеств. Количественной характеристикой КГ является V понятий, и связей между понятиями в области информатики и ИКТ, усвоенный человеком в процессе учебной деятельности в виде системы ЗУН V зун Количественной характеристикой КГ является V понятий, и связей между понятиями в области информатики и ИКТ, усвоенный человеком в процессе учебной деятельности в виде системы ЗУН V зун Единицей V зун является понятие

Формализация понятия «грамотность» Объект измерения ЗУН ГРАМОТНОСТЬ ИСПЫТУЕМОГО как система усвоенных понятий (систем понятий), связей между ними и способов их преобразования ЗУН «ИНФОРМАТИКА и ИКТ» Предметная область N=const n=const α =n/N Коэффициент грамотности понятие

Определение принципов и методов исследования V зун Первичный балл 0 ПринципМетод 1. Прямое измерение первичного тестового балла 2. Косвенное измерение коэффициента грамотности

Разработка средств измерения КГ Системы понятий 2. Исследование предметной области: «Информатика» и «ИКТ» ФГОС Общее Профессиональное СОШ СПО НПО ВПО Кодификаторы: Модуль 1 Модуль 2 Модуль 3 Компетенции Область компетенций А В С

Формирование эталонов КГ 3. Формирование эталонных средств измерения Модуль 1 Модуль 2 Модуль 3 Число блоков 6 Число блоков 5 Число блоков 6 Число дидактических единиц 72 Число дидактических единиц 67 Число дидактических единиц 94

А В С

Фрагмент кодификатора А Модуль 1 Блок Блок Информационные процессы и технологии Представление, передача и обработка информации Информация, информационные объекты Модуль 1 Блок 1 Дидактическая единица 1

Формирование рабочих средств измерения Тест 1 3. Формирование тестов Эталон А Число блоков 6 Число заданий 72 Распределение заданий по блокам: 1блок-14 2 блок-14 3 блок-17 4 блок-12 5 блок-10 6 блок-5 Формы Единичный выбор Свободный выбор Установление правильной последовательности Установление соответствия

Установление тестовых норм А В С

Установление сертификационных норм А В С 1 0,56 0 Не сертифицирован Сертифицирован 1 0,56 0 Не сертифицирован Сертифицирован 1 0,53 0 Не сертифицирован Сертифицирован

Оценка результатов тестирования Оценка результатов тестирования Модуль 1 (основное общее образование) 1. Мониторинг тестового балла испытуемого

Оценка результатов тестирования 2. Результаты измерения коэффициента грамотности Исследуемые компетенции Распределение α 1. Представление, передача и обработка информации 0,57 2. Компьютер и средства ИКТ – устройства обработки информации 0,86 3. Информационные процессы и организация информационной среды в обществе, поиск информации 0,53 4 Создание и обработка информационных объектов 0,92 5 Проектирование и моделирование 0,70 6. Запись информации средствами ИКТ 0,60

Оценка результатов тестирования Среднее значение коэффициента грамотности 0,69 Среднее квадратическое отклонение 0,16 Среднее квадратическое отклонение среднего 0,06 Для n=6 (число наблюдений) и P=0,95 (доверительная вероятность) Доверительный интервал для среднего 0,16 Действительное значение коэффициента грамотности 0,69±0,16 Относительная погрешность измерения 0,23 (23%) Стандартизация результата 0,52 ±0,04 [ 0,48 - 0,56 ] [ 0,53 - 0,85 ] 3. Обработка данных измерения коэффициента грамотности

СПАСИБО ЗА ВНИМАНИЕ Ярославль