Надежная технология – как базовый компонент, определяющий эффективность процедур оценки качества образования Учебный курс «Система оценки качества и образовательная политика: ключевые проблемы и направления развития» июня 2012 года, Кыргызская Республика О.А. Решетникова, к.п.н. Заместитель директора Российского тренингового центра СЕССИЯ 4

Технология и её место в системе оценки качества образования Качество образования - основная характеристика системы образования, которая определяет соответствие образовательных результатов обучающихся и контекстных условий получения образования ожиданиям как самих обучающихся, их родителей, так и общества в целом. Назначение технологии в системе ОКО - обеспечение качественного сбора информации, необходимой для системы образования в целях оценки качества образования

Условия эффективного использования результатов оценки учебных достижений ИЗМЕРИТЕЛИ СБОР КАЧЕСТВЕННОЙ ИНФОРМАЦИИ ТЕХНОЛОГИЯ КАЧЕСТВЕННЫЙ СБОР ИНФОРМАЦИИ Технология и её место в системе оценки качества образования

Процедуры оценки в соответствии с целями и задачами делятся: «Ответственные» по отношению к участникам (аттестация, отбор, рейтингование) «Безответственные» по отношению к участникам («обратная связь» для выбора стратегии развития образования) Данное деление напрямую влияет на определение схемы организационно-технологического обеспечения процедуры оценки.

Технология и её место в системе оценки качества образования Ключевые вопросы до определения технологии: 1.Каковы цели и задачи проектируемой процедуры? 2.Что является конечным продуктом оценки и как его планируется использовать? 3.Какие могут быть издержки (трудовые, финансовые, социальные и др.) и насколько они оправданы эффектом от использования результатов оценки? 4.Какие структуры и элементы должны быть сформированы или имеются для обеспечения этих процедур? 5.Какие структуры несут ответственность за формирование и поддержку соответствующих целям процедуры процессов? 6.Какие меры информационной безопасности необходимо принять для обеспечения эффективности проведения процедуры оценивания?

Технология и её место в системе оценки качества образования Технология - совокупность производственных процессов и операций в определенной отрасли производства. Общие задачи технологии процедур оценки: -Упорядочивание информационных потоков -Сбор и структурирование информации -Создание баз данных и управление ими -Обработка информации и её оформление в соответствии с требованиями пользователей

Технология и её место в системе оценки качества образования Технология оценочных процедур должна обеспечивать: Качественный сбор информации Существенно сокращать время сбора информации Предоставлять равные возможности участникам оценочной процедуры Должна быть понятной исполнителям Должна быть отказоустойчива

ОБОСНОВАННОСТЬ НАДЕЖНОСТЬ ПРОЗРАЧНОСТЬ ОТКРЫТОСТЬ ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ

НЕОБХОДИМО ОБОСНОВАНИЕ: выборки испытуемых; всех планируемых к использованию методов, механизмов обеспечения процессов; сроков произведения всех работ; форматов представления результатов; уровня защиты всех процессов и аппаратно-технических средств; структуры инструктивно-методической базы процедуры; планируемых к использованию критериев и методик оценки. ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: ОБОСНОВАННОСТЬ

«Оценка образовательных достижений на национальном уровне» Винсент Грини, Томас Келлаган ПризнакНациональная оценка (мониторинги)Государственные экзамены Цель Обеспечить обратную связь для тактиков в образовании Аттестовать и отобрать учащихся Частота Для отдельных предметов регулярно, периодически Регулярно Продолжительность Один или два дняМогут продолжаться несколько недель Кто проверяется? Обычно выборка учащихся определенного возраста или класса Все учащиеся, желающие пройти экзамен на проверяемом уровне образования Форма заданий Обычно задания с множественным выбором и краткими ответами Обычно эссе и задания с множественным выбором Ответственность НизкаяВысокая Узнают ли учащиеся свои результаты? ИзредкаВсегда Сбор дополнительной информации ЧастоРедко Оценивание Обычно включает статистически сложные методики анализа результатов Обычно простой процесс, основанный на предварительно определенной схеме оценки

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: ОБОСНОВАННОСТЬ

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: обоснованность: Минимальный (базисный) набор технологических процессов для любой процедуры оценки: сбор базы данных участников (после определения выборки участников), тиражирование измерительных материалов, обработки результатов оценки, подготовка кадров, определение порядка проведения процедуры. При проектировании процедур с «высокими» ставками появляются «надстройки» к базисному набору, обусловленные особенностями каждой отдельно взятой процедуры. ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: ОБОСНОВАННОСТЬ

Количество участников - около участников Количество экзаменов - более экзаменов Количество ППЭ - более пунктов Количество регионов с труднодоступными и отдаленными территориями (на территории РФ) – 18 регионов Количество часовых зон (часовых поясов) - 9 часовых зон (с 2011 г.) Количество привлекаемых к проведению ЕГЭ спец-ов в ППЭ – более чел. ПРИМЕР: Некоторые количественные характеристики Единого государственного экзамена в 2011 г. (май-июнь):

Объединение двух целей (государственная итоговая аттестация выпускников 11 классов и вступительные испытания в высшие учебные заведения страны): разграничение полномочий федерального и регионального уровней, установленных Законом об Образовании РФ сроки проведения процедуры ЕГЭ и обработки его результатов (6 дней – обязательные экзамены, 3 дня – выборные) необходимость поддержки возможности апеллирования к результатам, процедуре Использование наиболее сложной структуры контрольных измерительных материалов по всем общеобразовательным предметам, включающих задания с множественным выбором, задания, предусматривающие краткий ответ и, ответы в свободной форме (часть С): необходимость осуществления проверки двумя способами (автоматизированной и ручной для части С) одновременно Возможность проведения перекрестной проверки части С экспертами из разных регионов ПРИМЕР: Некоторые качественные характеристики Единого государственного экзамена, обосновывающие выбор технологии

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: надежность Обеспечение равных условий участия Отказоустойчивость технологии Защищенность Гибкость, превентивность ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: НАДЕЖНОСТЬ

Опора на современные методы и технологии, используемые в различных бизнес-процессах экономико- производственной сферы: Управление рисками («Системный риск-менеджмент», «Safety management», SWOT, FMEA и пр.) Любой технологический сбой – это реализовавшийся риск «Риски возникают из-за того, что мы не знаем, что делаем» Уоррен Баффет, американский бизнесмен, финансист ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: НАДЕЖНОСТЬ

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: надежность Шаги управления рисками: определение «профиля рисков»- проецирование ранее реализовавшихся в других проектах рисков ; определение наиболее критичных для данной процедуры рисков («First things first»); определение стратегии управления риском – стратегия хеджирования (страхования риска); планирование действий на случай реализовавшихся рисков (создание «подушки безопасности»); интегрирование стратегии управления рисками в систему управления процедурой оценивания ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: НАДЕЖНОСТЬ

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: надежность Опора на современные методы и технологии, используемые в различных бизнес-процессах экономико- производственной сферы: Управления рисками («Системный риск-менеджмент», «Safety management», SWOT, FMEA и пр.) Использование принципов логистики Логистика - теория и практика сквозного управления эффективным с точки зрения минимизации затрат сервисным потоком и связанной с ним информации от точки зарождения до точки потребления в целях полного удовлетворения потребностей пользователей. ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: НАДЕЖНОСТЬ

Институт управления образованием РАО 19 Планирование Дистрибьюция Проведение Обработка/проверка Планирование Дистрибьюция Проведение Обработка/проверка Планирование Дистрибьюция Проведение Обработка/проверка Планирование Дистрибьюция Проведение Обработка/проверка Управле ние Регули рование КонтрольАнализ ФУНКЦИИ ЛОГИСТИКИ

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: надежность Принципы управления логистическими процессами процедур оценки – «Логистическая миссия» или правила «семи Н» Обеспечить: 1) Нужный продукт 2) В нужном количестве 3) Нужного качества 4) В нужном месте 5) В нужное время 6) Для нужного потребителя 7) С наименьшими затратами ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: НАДЕЖНОСТЬ

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: надежность Опора на современные методы и технологии, используемые в различных бизнес-процессах экономико- производственной сферы: Управление рисками («Системный риск-менеджмент», «Safety management», SWOT, FMEA и пр.) Использование принципов логистики Использование метода «точно в срок» (англ. « just-in- time») и «метода обратного счета». ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: НАДЕЖНОСТЬ

Четкие и простые правила участия Легитимность с точки зрения законодательства Заблаговременно установленный порядок взаимодействия структур внутри системы и закрепление за ними определенных функций Публичные отчеты о проведении ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: прозрачность

Обеспечение доступа к информации: о процедуре о специфике контрольных измерительных материалов (демо-версии) о возможности использования результатов НО: при реализации принципа «открытости» следует понимать, что открытой не может быть информация, противоречащая условиям информационной безопасности. Это касается: контрольных измерительных материалов, по которым планируется проведение процедуры оценивания; персональных данных участников процедур оценивания (в РФ - в соответствии с требованиями Федерального Закона «О персональных данных» 152 от 2006 г. и дополняющего его ФЗ 261 от 2011 г.); ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: открытость

«Три кита» процедуры оценивания Основные аспекты проведения процедуры оценивания Информационная безопасность Кадры Регламентация всех процессов

Информационная безопасность Две группы факторов влияния на процедуру оценивания: Внешние факторы, связанные с осознанием обществом «высоких ставок» данной процедуры, и с желанием разных уровней (административного: руководство органа управления образованием региона, муниципалитета, администрации образовательного учреждения и др. или личного: родители выпускников, отдельные преподаватели и др. физические лица) оказать влияние на процедуру в своих интересах, направленных или на представление совокупных результатов в «выгодном свете», или на получение «нужного» индивидуального результата. Внутренние факторы, связанных с уровнем подготовленности каждого субъекта Российской Федерации, уровнем организации всех процессов экзамена, степенью обученности специалистов и др.; Основные аспекты проведения процедуры оценивания

Информационная безопасность Дональд Кэмпбелл – американский социальный психолог ЗАКОН КЭМПБЕЛЛА: «Чем сильнее отдельный количественный социальный фактор используется для обоснования социальных решений, тем сильнее он подвержен искажающим влияниям и тем больше он сам ведет к тому, чтобы исказить и сфальсифицировать социальные процессы, которые собственно и должны были быть изучены и улучшены.» Основные аспекты проведения процедуры оценивания

Информационная безопасность Средства обеспечения: -Использование защищенных каналов связи и специализированного программного обеспечения -Использование специальных средств защиты ЭМ на бумажных носителях -Привлечение к ряду операций специализированных структур, имеющих лицензию на работу с конфиденциальной информацией -Жесткая регламентация действий структур и лиц, имеющих доступ к информационным потокам, имеющим статус конфиденциальности -Введение персональной ответственности за несоблюдение условий информационной безопасности -Соблюдение принципа «точно в срок» на всех этапах подготовки и проведения оценочной процедуры и др. Современный мир отвергает концепцию абсолютной безопасности и приходит во всех сферах жизни к концепции «приемлемого» (допустимого) риска. Нельзя создать абсолютно безопасную технологию, но можно и нужно стремиться к достижению ситуации с возможными, но управляемыми рисками. Основные аспекты проведения процедуры оценивания

Кадры Средства обеспечения: продуманная стратегия по подбору кадров, привлекаемых к разным этапам оценочных процедур; четко выстроенная тактика обучения отобранных кадров, разработка обучающих программ для каждой группы специалистов, обеспечивающих разные процессы; введение критериев оценки работы привлеченных кадров, разработка подходов к стимулированию и наказанию; общественный контроль проведения процедуры оценки; организация эффективной «обратной связи» Основные аспекты проведения процедуры оценивания

Дата:_________________________ Дежурный специалист___________________________ Контролер смены _________________________________________________(фио, должность) Количество обращений за смену:_______ Незамедлительная консультационная поддержка оказана для ___________ обращений. Количество ссылок на другие структуры__________________. Из них активные ссылки_____________, пассивные ссылки___________. Выявлены системные проблемы: 1.В инструктивно-методической базе_____________________________________________ 2. При использовании ПО_______________________________________________________ 3.Нарушения процедуры________________________________________________________ 4.Другое______________________________________________________________________ ПРИМЕР: журнал «горячей линии» ЕГЭ ( г.г.) Время обращения Регион Должность, фио обращающегося Содержание обращенияРекомендации Ссылки на другие структуры Итог

Кадры По данным Федерального центра тестирования по результатам ЕГЭ в 2010 г.г. Основные аспекты проведения процедуры оценивания Статистика обращений (ЕГЭ-2010 г) Всего заявок По типам Нештатная ситуация КонсультацияПожелания

Кадры По данным Федерального центра тестирования по результам ЕГЭ в г.г г – удовлетворённых апелляций по процедуре – 88 (из чел/тестов) 2010 г. – удовлетворенных апелляций по процедуре – 189 (из чел/тестов) Основные аспекты проведения процедуры оценивания

Регламентация всех процессов Проблемы: 1)ряд пробелов в использующихся документах; 2)несогласованность между документами, регулирующими некоторые процедуры; 3)использование документов не «по назначению»; 4)необходимость в создании единой инструктивно-методической базы, позволяющей реализовывать различные по целям и задачам оценочные процедуры Основные аспекты проведения процедуры оценивания

Регламентация всех процессов Типология документов Распорядительные документы (приказ, распоряжение, решение) Организационные документы (порядок, инструкция, регламент) Информационные документы (акт, письмо, служебная записка, протокол) Основные аспекты проведения процедуры оценивания

Регламентация всех процессов Регламент – это тщательно прописанный процесс, участниками которого являются несколько взаимодействующих структур. В регламенте должны быть предусмотрены выполняемые функции, участники, исходные данные, результат, сроки, возможно – особые примечания. Регламент – это документ, который служит для того чтобы четко зафиксировать на бумаге те или иные функциональные (часто повторяющиеся) обязанности структур (должностных лиц), для того чтобы четко понимать и реализовывать процессы, а так же контролировать их. Основные аспекты проведения процедуры оценивания

ПРИМЕР: «шапка» регламента Основные аспекты проведения процедуры оценивания УчастникиФункцияИсходные данныеРезультат Сроки Ответственные от участников Примечание

Регламентация всех процессов Порядок - правила, по которым совершается процесс, существующее устройство, режим проведения процедуры, её последовательный ход. Положение это нормативный акт, устанавливающий порядок образования, структуру, функцию, компетенцию, обязанности и организацию работы системы государственных органов (таковы общие положения о министерствах РФ). Должностная инструкция - это документ, определяющий права и обязанности должностного лица. Должностная инструкция включает в себя общие положения (наименование должности работника, наименование структурного подразделения, схема подчиненности работника); должностные обязанности работника; права; ответственность. Должностная инструкция не включает в себя порядок действия работника, а определяет конкретные виды работ, выполняемые работником. Инструкция – это документ, описывающий порядок действий, определяющий стандартные виды работ и последовательность их выполнения, может содержать отдельный положения по описания действий во внештатных ситуациях. Основные аспекты проведения процедуры оценивания

Регламентация всех процессов Обеспечение: -Унификация требований к процедурам и документам, регламентирующим их проведение -Разработка отраслевого стандарта, предусматривающего основные элементы, обеспечивающие процессы подготовки и проведения оценочных процедур с разными целями и задачами и на разных уровнях управления образованием Основные аспекты проведения процедуры оценивания

СПАСИБО ЗА ВНИМАНИЕ!