СПб ГУ информационных технологий механики и оптики ИТМО Автоматизированная система тестирования компьютерной грамотности (АСТ) (методологическая основа. - презентация

1 СПб ГУ информационных технологий механики и оптики ИТМО Автоматизированная система тестирования компьютерной грамотности (АСТ) (методологическая основа построения) Головной центр мониторинга и сертификации Отраслевой системы С.А. Бояшова

2 Постановка задач проектирования АСТ Объект исследования ЧТО ИЗМЕРЯЕМ? Методы Принципы Средства КАК ИЗМЕРЯЕМ? ЧЕМ ИЗМЕРЯЕМ? Оценка достоверности результата Оценка достоверности результата В КАКОЙ МЕРЕ СЛЕДУЕТ ПОЛАГАТЬСЯ НА РЕЗУЛЬТАТ? Системный Метрологический Основные подходы к проектированию АСТ: Требования к обеспечению единства измерений: результаты измерений выражаются в единых узаконенных единицах величин погрешность результатов известна с заданной вероятностью и не выходит за рамки установленных пределов

3 Определение объекта исследования Определение объекта исследования 1. Определение базового понятия «ГРАМОТНОСТЬ» Система: Знание УмениеНавык Структурные элементы ЗУН Системные связи определяются индивидуальными особенностями человека Новообразования психической системы Человека УЧЕНИЕ Предметная область деятельности ИКТ Компьютерная грамотность (КГ)

4 «Компьютерная грамотность» Качественная интегративная характеристика уровня развития психической системы человека представляющая собой совокупность ЗУН, сформированных в процессе учебной деятельности в области информатики и ИКТ, и связанных между собою сложными видами связей, которые зависят от особенностей его психической, физической систем и личностных качеств. Количественной характеристикой КГ является V понятий, и связей между понятиями в области информатики и ИКТ, усвоенный человеком в процессе учебной деятельности в виде системы ЗУН V зун Количественной характеристикой КГ является V понятий, и связей между понятиями в области информатики и ИКТ, усвоенный человеком в процессе учебной деятельности в виде системы ЗУН V зун Единицей V зун является понятие

5 Формализация понятия «грамотность» Объект измерения ЗУН ГРАМОТНОСТЬ ИСПЫТУЕМОГО как система усвоенных понятий (систем понятий), связей между ними и способов их преобразования ЗУН «ИНФОРМАТИКА и ИКТ» Предметная область N=const n=const α =n/N Коэффициент грамотности понятие

6 Определение принципов и методов исследования V зун Первичный балл 0 ПринципМетод 1. Прямое измерение первичного тестового балла 2. Косвенное измерение коэффициента грамотности

7 Разработка средств измерения КГ Системы понятий 2. Исследование предметной области: «Информатика» и «ИКТ» ФГОС Общее Профессиональное СОШ СПО НПО ВПО Кодификаторы: Модуль 1 Модуль 2 Модуль 3 Компетенции Область компетенций А В С

8 Формирование эталонов КГ 3. Формирование эталонных средств измерения Модуль 1 Модуль 2 Модуль 3 Число блоков 6 Число блоков 5 Число блоков 6 Число дидактических единиц 72 Число дидактических единиц 67 Число дидактических единиц 94

9 А В С

10 Фрагмент кодификатора А Модуль 1 Блок Блок Информационные процессы и технологии Представление, передача и обработка информации Информация, информационные объекты Модуль 1 Блок 1 Дидактическая единица 1

11 Формирование рабочих средств измерения Тест 1 3. Формирование тестов Эталон А Число блоков 6 Число заданий 72 Распределение заданий по блокам: 1блок-14 2 блок-14 3 блок-17 4 блок-12 5 блок-10 6 блок-5 Формы Единичный выбор Свободный выбор Установление правильной последовательности Установление соответствия

12 Установление тестовых норм А В С

13 Установление сертификационных норм А В С 1 0,56 0 Не сертифицирован Сертифицирован 1 0,56 0 Не сертифицирован Сертифицирован 1 0,53 0 Не сертифицирован Сертифицирован

14 Оценка результатов тестирования Оценка результатов тестирования Модуль 1 (основное общее образование) 1. Мониторинг тестового балла испытуемого

15 Оценка результатов тестирования 2. Результаты измерения коэффициента грамотности Исследуемые компетенции Распределение α 1. Представление, передача и обработка информации 0,57 2. Компьютер и средства ИКТ – устройства обработки информации 0,86 3. Информационные процессы и организация информационной среды в обществе, поиск информации 0,53 4 Создание и обработка информационных объектов 0,92 5 Проектирование и моделирование 0,70 6. Запись информации средствами ИКТ 0,60

16 Оценка результатов тестирования Среднее значение коэффициента грамотности 0,69 Среднее квадратическое отклонение 0,16 Среднее квадратическое отклонение среднего 0,06 Для n=6 (число наблюдений) и P=0,95 (доверительная вероятность) Доверительный интервал для среднего 0,16 Действительное значение коэффициента грамотности 0,69±0,16 Относительная погрешность измерения 0,23 (23%) Стандартизация результата 0,52 ±0,04 [ 0,48 - 0,56 ] [ 0,53 - 0,85 ] 3. Обработка данных измерения коэффициента грамотности

17 СПАСИБО ЗА ВНИМАНИЕ Ярославль