«Измеряй измеримое и делай неизмеримое измеримым» (Галилео Галилей) - презентация

1 «Измеряй измеримое и делай неизмеримое измеримым» (Галилео Галилей)

2 Типы контроля: Входной контроль Основные формы: письменные задания, контрольные работы, тестирование. Текущая аттестация Основные формы: устный опрос, письменные задания, лабораторные работы, коллоквиумы, контрольные работы, тестирование. Промежуточная аттестация Основные формы: зачет, дифференцированный зачет и экзамен. Осуществляется в конце семестра и может завершать изучение как отдельной дисциплина, так и ее раздела (разделов). Итоговая государственная аттестация Основные формы: государственный экзамен, защита выпускной квалификационной работы.

3 Виды контроля Устный опрос позволяет оценить знания и кругозор студента, умение логически построить ответ, владение монологической речью и иные коммуникативные навыки, обладает большими возможностями воспитательного воздействия преподавателя Письменные работы экономия времени преподавателя; возможность поставить всех студентов в одинаковые условия, объективно оценить ответы при отсутствии помощи преподавателя, проверить обоснованность оценки; субъективности при оценке подготовки студента Контроль с помощью технических средств и информационных систем оперативное получение объективной информации об усвоении студентами контролируемого материала, возможность детально и персонифицировано представить эту информацию преподавателю, формирования и накопления интегральных (рейтинговых) оценок достижений студентов по всем дисциплинам и модулям образовательной программы, привитие практических умений и навыков работы с информационными ресурсам и средствами, возможность самоконтроля и мотивации студентов в процессе самостоятельной работы

4 Устный опрос Собеседование Коллоквиум Зачет, дифференцированный зачет и экзамен (формы промежуточной аттестации студента, определяемые учебным планом)

5 Письменные работы Тесты Контрольные работы Эссе Рефераты Курсовые работы(проекты) Отчеты по практикам Отчеты по научно-исследовательской работе студентов

6 Контроль с помощью технических средств и информационных систем Программы компьютерного тестирования Учебные задачи Комплексные ситуационные задания Электронный практикум Виртуальные лабораторные работы

7 ФОРМЫ КОНТРОЛЯ Традиционные: –собеседование –коллоквиум –тест –контрольная работа –лабораторная, расчетно-графическая и т.п. работы –эссе и иные творческие работы –реферат –отчет (по практикам, научно-исследовательской работе студентов и т.п.) –зачет, дифференцированный зачет –экзамен (по дисциплине, модулю, итоговый государственный экзамен) –курсовая работа(проект) –выпускная квалификационная работа Инновационные: –кейс-метод –метод проектов –портфолио –модульно-рейтинговая система

8 Семестровые контрольные мероприятия СКР – Семестровая контрольная работа (выполняется в середине курса) КР – Контрольная работа по теме ЗАЧ – Зачет по теме ТЕСТ – Тест по теме ТР – Написание и защита творческих работ (рефератов, кроссвордов, проектов и др.) ХЧ – Заучивание наизусть стихотворений (перечислить), ЛПЗ – Итоги выполнение и защита лабораторных/практических занятий 1-5 ПР –Итоги написания проверочных работ за семестр (короткие самостоятельные работы, диктанты, «летучки», быстрое тестирование и т.п.), ВСР – Итоги выполнение внеаудиторной самостоятельной работы за семестр (домашние работы и задания в соответствии с программой), АР – Итоги аудиторной работы (индивидуальный опрос, дополнения, активность на занятиях, регулярность и системность в работе ДКЗ –Дополнительное контрольное задание (работа, тест, творческое задание - проводится для студентов, которые получают оценку за семестр «автоматом») КП/КР – Выполнение и защита курсового проекта или курсовой работы. ФЭПО – Итоги проведения ИНТЕРНЕТ - ЭКЗАМЕНА или директорской контрольной работы МОДУЛЬ – Учебный модуль – это совокупность контроля по всем видам деятельности в рамках логически завершенной темы (перечислить все виды контрольных мероприятий включающих в себя оценку теоретических знаний и практических умений и навыков, которые показали студенты в период освоения модуля дисциплины)

9 Научно- обоснованные тесты как средство оптимизации учебного процесса

10 Любое задание, предназначенное для проверки чего-либо, можно назвать тестом, если руководствоваться буквальным переводом этого слова (test - проверка, испытание). В этом смысле тестом можно назвать: –задачу, которую надо решить; –вопрос, на который требуется ответить; –высказывание, справедливость которого надо оценить; –задание в тестовой форме, где необходимо указать правильный ответ; –действия, которые необходимо совершить и т.д.

11 Виды тестов Стандартизированный тест – это тест, производимый в максимально унифицированных условиях, в силу этого позволяющий сопоставить подготовку студентов различных учебных заведений, вузов и даже стран. Направлен на определение не только ЗУНов, но и компетенций, а потому не является полностью закрытым (не предполагает только выбор правильных вариантов ответа), а включает в себя творческое задание (ситуационная задача, анализ текста и т.д.). Стандартизированные тесты с творческим заданием могут проводиться на всех этапах обучения, то есть служить и для промежуточного, и итогового контроля. Тесты-действия - процедура, ориентирующая испытуемого на выполнение какого-нибудь практического действия (практические испытания). Тесты-действия распространены как проверка реальных профессиональных умений. Предназначены для выявления умений выполнять работу с механизмами, материалами, инструментами. Позволяют проверить не только уровень овладения навыком, но и оценить различные качества личности и уровень формирования сопутствующих компетенций. Ситуационные тесты (имитационные методы учебной деятельности) – это тесты, требующие не выполнения реального действия, а его имитации. При их проведении не является необходимым наличие реальных механизмов, производственных условий.

12 Ситуационные тесты Простейшая форма – метод инцидента. Испытуемым излагается проблемная ситуация, связанная с их будущей профессиональной деятельностью и предлагается принять быстрое решение. Время решения задачи резко ограничено, при оценке учитывается не только правильность ответа, но и быстрота реакции, которая имеет важное значение в реальной ситуации. Более сложная форма – анализ конкретной ситуации. Испытуемым предлагается обширная информация о конкретной ситуации. Требуется провести анализ ситуации, при этом испытуемый должен учитывать, что часть информации – лишняя, но есть возможность добыть дополнительную информацию (воспользовавшись справочником или задав вопрос). После анализа принимается мотивированное решение. Работа может проводиться как в группе, так и индивидуально. Еще более сложная форма – методика последовательных ситуаций. Задача разворачивается во времени и решается поэтапно; переход к следующему этапу возможен только в случае правильного ответа на вопросы предыдущего этапа, условия следующего этапа определяются в зависимости от варианта ответа на предыдущем этапе. Наиболее сложная форма ситуационного теста – деловая (ролевая) игра. Это метод моделирования профессиональной деятельности, при котором студенты не просто теоретически выбирают пути решения предложенных задач, а «проигрывают» их в своем поведении. Часто этот метод предполагает создание нескольких команд, которые соревнуются друг с другом в решении той или иной задачи. Деловая игра требует не только знаний и навыков, но и умения работать в команде, находить выход из неординарных ситуаций и т.д.

13 Уровни сложности тестов Первый уровень (знакомство) - тесты по узнаванию, т.е. отождествлению объекта и его обозначения (задания на опознание, различение или классификацию объектов, явлений и понятий). Второй уровень (репродукция) - тесты-подстановки, в которых намеренно пропущено слово, фраза, формула или другой какой-либо существенный элемент текста, и конструктивные тесты, в которых в отличие от теста- подстановки не содержится никакой помощи даже в виде намеков и требуется дать определение какому-либо понятию, указать случай действия какой-либо закономерности и т.д. В качестве тестов второго уровня могут использоваться и типовые задачи, условия которых позволяют «с места» применять известную разрешающую их процедуру (правило, формулу, алгоритм) и получать необходимый ответ на поставленный в задаче вопрос. Третьему уровню соответствуют задания, содержащие продуктивную деятельность, в процессе которой необходимо использовать знания-умения. Тестами третьего уровня могут стать нетиповые задачи на применение знаний в реальной практической деятельности. Условия задачи формулируются близкими к тем, которые имели место в реальной жизненной обстановке. Тесты четвертого уровня – это проблемы, решение которых есть творческая деятельность, сопровождающаяся получением объективно новой информации. Тестами четвертого уровня выявляется умение учащихся ориентироваться и принимать решения в новых, проблемных ситуациях.

14 Виды вопросов тестов Тип вопросаОписаниеНабор ответов Закрытые Один из многих Слушателю предлагается выбрать один вариант ответа из предложенных Несколько вариантов ответов, из которых лишь один (или несколько) являе(ю)тся правильным(и). Тьютор должен явным образом указать правильный(е) ответ(ы). Многие из многих Слушатель может выбрать несколько вариантов ответа из предложенных Да/Нет Слушателю предлагается дать положительный или отрицательный ответ на вопрос Область на рисунке Слушатель должен выбрать в качестве ответа область на рисунке Тьютор связывает с вопросом рисунок, область которого должен выбрать в качестве ответа слушатель.

15 Виды вопросов тестов Тип вопросаОписаниеНабор ответов Открытые Развернутый ответ Слушателю предлагается дать развернутый ответ в письменном виде. Решение о том, верен ли ответ, принимает тьютор. Автоматически ответ засчитывается как верный. Тьютор не создает вариантов ответа. Поле ввода (одно или несколько) Слушателю предлагается одно или несколько полей ввода, в котором(ых) следует набрать ответ Вводимые варианты ответа являются правильными. Введенные слушателем ответы засчитываются в качестве верных, если совпадают с введенными преподавателем вариантами. Несколько пропущенных слов Слушателю предлагается заполнить пропуски Тьютор создает несколько фраз с пропущенными словами. Слушателю предлагается заполнить пропуски. С каждым пропуском тьютор может связать несколько вариантов ответов, которые засчитываются в качестве верных.

16 Виды вопросов тестов Тип вопросаОписаниеНабор ответов На установление соответствия Слушателю предлагается установить соответствие между парами значений Несколько пар значений. На определение правильной последовательности (упорядочение) Слушателю предлагается упорядочить элементы последовательности Последовательно сть значений, которые слушатель должен упорядочить.

17 Правила составления и создания тестовых заданий Логика построения теста: –в соответствии с логикой изложения учебного материала, –по мере нарастания трудности, –по группам однотипных заданий с одной общей инструкцией. Использование различных типов вопросов: –1 тип вопросов – на знание общих понятий, определений и т.п. (часть теста, которая включает вопросы, нацеленные на выявление знания основных, базовых понятий учебной дисциплины), –2 тип вопросов – на умение решать за ограниченное время относительно простые задачи в объеме всего курса (раздела, темы), –3 тип вопросов – на умение самостоятельно решать конкретные задачи или отвечать на вопросы практического или проблемного характера.

18 Правила составления и создания тестовых заданий К тестовому заданию обязательно прилагается: –инструкция для студента, –эталоны правильных ответов («ключ») для преподавателя. Варианты формулировок инструкции к заданию (в зависимости от формы задания): –выберите один правильный ответ, –выберите несколько правильных ответов, –установите правильную последовательность, –установите соответствие (количество возможных ответов справа должно быть больше количества заданий слева), –введите правильный ответ (с обязательным пояснением как именно и какими символами необходимо ввести ответ), Например, Введите ответ в виде слова (словосочетания), последовательности букв или цифр без пробелов и знаков препинания прописными (заглавными) буквами. –дополните (с обязательным пояснением как именно и какими символами необходимо ввести ответ, можно с примером).

19 Правила формулировки тестовых заданий Задание формулируется в логической форме утверждения (неправильно: Назовите изомер бутадиена-1,3, правильно: Изомером бутадиена-1,3 является …). В конце этого предложения ставится 3 (три) точки. Все варианты ответов пишутся с маленькой буквы и без знаков препинания в конце. Основной текст задания должен содержать не более 7-8 слов и не более одного придаточного предложения. Все ответы к заданию должны быть лаконичны, примерно одинаковой длины, желательно не более 3-4 слов. В тексте задания не должно быть двусмысленности или неясности формулировки. Из текста задания исключаются ассоциации, способствующие догадке, и намеки на правильный ответ. Текст задания не должен содержать материала, не относящегося к сути задания.

20 Правила составления и создания тестовых заданий В тексте задания не рекомендуется использовать отрицания по следующим причинам: –это приводит к противоречиям при чтении задания; –за редким исключением, негативные знания не настолько важны, как позитивные; –такие задания встречаются в тесте редко, и тестируемый может по инерции просто не обратить внимания на частицу «не». –выбор ответа с частицей «не» в некоторых случаях требует от тестируемого интерпретации двойного отрицания (двойное отрицание делает утверждение истинным). Единицы измерения и повторяющиеся слова следует перенести в основной текст задания.

21 Правила составления и создания тестовых заданий Варианты ответов всегда должны соответствовать формулировке вопроса (падеж, время и пр., а главное – содержание). Если для выбора ответа предлагаются числа, то следует расположить их по рангу (это уменьшит время выполнения задания). Сокращения в формулировках заданий и ответов крайне нежелательны. Для заданий с выбором правильного ответа должно быть предложено не менее 4-х вариантов ответов.

22 Критерии качества теста Надежность – характеристика теста, показывающая обеспечивает ли тест объективность результатов; отражающая точность диагностических измерений; устойчивость результатов теста к действию случайных факторов. Валидность (пригодный) – характеристика теста, указывающая на то, что тест измеряет и насколько хорошо он это делает; пригодность тестовых результатов для той цели, ради которой проводится тестирование (качество заданий, их число в тесте, глубина охвата содержания, баланс распределения заданий в тесте по степени трудности). Объективность – оценивания, как показала практика, обеспечивается максимальной стандартизацией ее проведения. Объективность процедуры измерения возможна лишь при одинаковых условиях для всех участников. Кроме того, эта процедура должна дополняться объективностью обработки данных и интерпретации полученных результатов.

23 Технология разработки КИМов в тестовой форме 1.Установить полный состав требований к выпускнику (ФГОС). 2.Выделение массива основных учебных модулей/разделов/тем (рабочая программа). 3.Разработка структуры КИМ с выделением совокупности дидактических единиц (ДЕ). Составление диагностической карты: –Наименование и объем учебной дисциплины, междисциплинарного курса; –Требования к уровню подготовки выпускника по дисциплине (знания, умения); –Перечень контролируемых компетенций; –Тематическое содержание теста (проверяемое содержание – перечень дидактических единиц); –Количество тестовых заданий.

24 Технология разработки КИМов в тестовой форме 4.Составление тестовых заданий. 5.Аудит КИМ (экспертиза). 6.Проведение тестирования студентов. 7.Формирование результатов тестирования. 8.Анализ качества КИМ. Составление выходных форм для анализа качества тестовой базы: –Аналитическая карта результатов компьютерного тестирования; –График решаемости заданий; –Ведомость результатов тестирований в разрезе групп. 9.Корректировка КИМ.

25 Программа Item Stat 1.0 ItemStat 1.0 для Windows - это программа статистического анализа результатов тестирования, как для бланковых, так и для компьютерных тестов. Ядром программы ItemStat 1.0 является матрица результатов тестирования, которая создается пользователем по результатам выполнения теста выборкой экзаменующихся. Для обработки результатов теста, состоящих из заданий с выбором ответа, следует создать расширенную матрицу результатов тестирования. ItemStat 1.0 оценивает статистические параметры тестовых заданий на основе классической тестовой теории, а именно: –уровень трудности (обозначение - Pj); –коэффициент дискриминативности (обозначение - Dj); –точечно-бисериальный коэффициент корреляции (обозначение - Rpbisj); –фи-коэффициент корреляции задания с тестовым баллом (только для критериально-ориентированного теста, обозначение - PHIj).

26 Программа Item Stat 1.0 Item Stat 1.0 оценивает информационные данные и показатели качества всего педагогического теста: минимальный тестовый балл (обозначение - MINXi); максимальный тестовый балл (обозначение - MAXXi); среднее значение тестового балла выборки испытуемых (обозначение - Xcp); дисперсия тестовых баллов - (обозначение - Dx); стандартное отклонение тестовых баллов (обозначение - Sx); форму распределения тестовых баллов; коэффициент надежности теста по формуле KR-20 (обозначение - KR20); коэффициент надежности теста по методу расщепления (обозначение - Кн); стандартная ошибка измерения (обозначение - СОИ); количество аттестованных испытуемых (только для критериально-ориентированного теста); количество неаттестованных испытуемых (только для критериально-ориентированного теста); матрица сопряженности результатов "2х2" (только для критериально-ориентированного теста); фи-коэффициент корреляции при двукратном критериально-ориентированном тестировании (показатель надежности критериально-ориентированного измерения, обозначение - PHI); каппа-коэффициент согласованности результатов критериально-ориентированного теста (показатель надежности критериально-ориентированного измерения, обозначение - КАППА).

27 Тема: Вариант: Число заданий (k) - Число испытуемых (N) - Матрица результатов тестирования Тестовый балл испытуемого (Хi) получается суммированием всех единиц, полученных им за правильно выполненные задания теста. Количество правильных ответов (Rj) на задание получается суммированием единиц, расположенных в соответствующих столбцах Матрица результатов тестирования

28 Уровень трудности тестовых заданий Согласно классической тестовой теории уровень трудности каждого задания рассчитывается из матрицы результатов тестирования как доля правильных ответов на j-ое задание: где Rj - число правильных ответов на j-ое задание, m - количество испытуемых (вводится пользователем в самом начале работы с программой

29 Коэффициент дискриминативности Дифференцирующая способность (в некоторых работах это понятие называется "дискриминативность")- это способность задания различать в выборке испытуемых лучших и худших, хорошо подготовленных и плохо подготовленных индивидуумов. Высокая дифференцирующая способность - важная характеристика эффективного тестового задания. Высококачественный педагогический тест должен быть составлен из заданий с высокой дифференцирующей способностью. Для оценки дифференцирующей способности задания применяются различные показатели. Наиболее простым из них является коэффициент дискриминативности Dj. Он рассчитывается по результатам тестирования путем выделения двух "контрастных" групп испытуемых : 27% " самых слабых" и 27% " самых лучших" из всей выборки. Формула для расчета следующая: Dj = pл - pс, где pл и pс - это доли испытуемых в лучшей и слабой группе, ответивших на j-ое задание правильно.

30 Интерпретация коэффициента дифференцирующей способности Dj согласно классической тестовой теории представлена в таблице:

31 Точечно - бисериальный коэффициент корреляции В случае, когда результат ответа на задание в тесте оценивается дихотомической переменной (например: 0 - неправильно, 1- правильно), то за показатель дифференцирующей способности принимают точечно- бисериальный коэффициент корреляции – Rpbisj. Для j-го задания точечно-бисериальный коэффициент корреляции Rpbisj вычисляется по формуле: где Xcpj- среднее значение тестовых баллов тех испытуемых, которые ответили на j-е задание правильно, Xcp - среднее значение тестовых баллов всей выборки испытуемых, SX - стандартное отклонение тестовых баллов всей выборки испытуемых, pj - уровень трудности задания, qj = 1- pj. Чем выше значение точечно-бисериального коэффициента корреляции, тем лучше задание теста. Задания с близкими к нулю и отрицательными значениями точечно-бисериального коэффициента корреляции должны быть удалены из теста. Согласно тестовой теории значение точечно-бисериального коэффициента корреляции Rpbisj равное или большее 0,3 является приемлемым показателем его качества.

32 Коэффициент надежности теста по формуле KR-20

33 Портфолио студента: инновационное воспитательное средство и новый оценочный инструмент

34 Портфолио - портфель индивидуальных достижений. Слово «портфолио» возникло в эпоху Возрождения, так итальянские архитекторы называли папки, в которых приносили на суд заказчика свои строительные проекты. В наше время портфолио называется альбом с фотографиями, которые призваны показать мастерство фотохудожника или фотомодели. Начиная с 1960-х гг. в американской педагогике портфолио стали называть также папки индивидуальных учебных достижений учащихся. Они могут содержать их рефераты, сочинения, эссе, решения задач – все, что свидетельствует об уровне образования и духовной эволюции учащегося.

35 традиционные контрольно-оценочные средства репродуктивный уровень усвоения, фактологические и алгоритмические знания и умения портфолио продуктивный уровень усвоения, комплексная подготовка к профессиональной деятельности

36 Портфолио представляет собой форму и процесс организации (сбор, анализ и оценка) образцов и результатов учебно- познавательной деятельности обучаемого, а также соответствующих информационных материалов из внешних источников (от однокурсников, педагогов, олимпиад, конкурсов, тестовых центров, общественных организаций и научных сообществ и др.), предназначенных для последующего их анализа, всесторонней количественной и качественной оценки уровня подготовки и компетентности данного студента с возможностью дальнейшей коррекции процесса обучения.

37 Педагогические задачи портфолио поддержка высокой учебной мотивации студентов; повышение активности и самостоятельности студентов; расширение возможности обучения и самообучения; развитие навыков рефлексивной (самооценочной) деятельности студентов.

38 Стратегические цели портфолио показать все, на что студент способен, продемонстрировать его наиболее сильные стороны, максимально раскрыть его человеческий, профессиональный, творческий потенциал; привить студенту навыки анализа собственной деятельности, самоорганизации, самоконтроля, самооценки, а также позитивному и конструктивному отношению к сторонней критике; сформировать у студента навыки самосознания и адекватной самооценки своих результатов, понимания их динамики.

39 Классификация видов портфолио в профессиональном образовании Портфолио документации - портфель сертифицированных (документированных) индивидуальных образовательных достижений студента (дипломы, аттестаты, справки, сертификаты, грамоты, отзывы, рекомендации и т.п.). Портфолио процесса - собрание различных творческих, проектных, исследовательских работ студента, а также описание основных форм и направлений его учебной и творческой активности: участие в научных конференциях, конкурсах, прохождение элективных курсов, различного рода практик, спортивных и художественных достижений и др. Портфолио-презентация - включает оценку обучающимся своих достижений, проделанный им анализ различных видов деятельности и её результатов, резюме, планирование будущих образовательных этапов, а также отзывы работодателей, преподавателей, родителей, сокурсниками и др. В него включаются лучшие работы студентов, выбранные как самими студентами, так и преподавателями. Применяется для итоговой оценки мастерства студентов, для оценки их ключевых результатов.

40 Комплексные модели портфолио Портфолио, состоящее из трех разделов (наиболее объемное и комплексное): «раздел документов» + «раздел процесса» + «раздел презентации» Портфолио, состоящие из двух разделов (наиболее подходящее выпускникам ОУ СПО для их самопрезентации работодателям или на другой уровень образования): «раздел документов» + «раздел презентации»

41 Проблемы внедрения метода портфолио в образовательный процесс Превращение портфолио в «свалку» документов. Обязательное условие наличия портфолио - активность преподавателя, а не студента. Отсутствие анализа содержимого портфолио.

42 Рекомендации по внедрению метода портфолио в образовательный процесс Точная формулировка: целей портфолио как для тех, кто будет проводить обучение и оценку (преподаватели, методисты), так и для самих оцениваемых (студентов); принципов отбора содержания, в том числе количество и тип рубрик (разделов) портфолио студента; процедуры выбора документа для включения его в портфолио, а также для изъятия документа из портфолио; процедуры оценивания портфолио (когда, кто, при каких условиях). Обучение студентов процедуре анализа: элементов портфолио, портфолио в целом. Организация процесса внедрения портфолио: методические рекомендации для преподавателей и студентов; ответственный организатор (куратор); место хранения портфолио.

43 Структура задания по портфолио Цели портфолио (проверяемые результаты обучения) – знания, умения, общие и профессиональные компетенции. Структура портфолио: –перечень документов (на представление и анализ и/или оформление), –перечень фото- и видеоматериалов (на представление и анализ), –отчет (дневник) по приобретенному практическому опыту Требования к презентации и защите портфолио: –содержание презентации, –оформление презентации, –защита презентации (время, условия), –показатели оценивания портфолио (с возможностью перевода в количественную форму).

44 Спасибо за внимание!