Российский тренинговый центр Института управления образованием РАО ВЕБИНАР 8 НАРУШЕНИЯ В ПРОЦЕДУРАХ ОЦЕНИВАНИЯ: причины, следствия, стратегия управления рисками О.А. Решетникова, заместитель директора Российского тренингового центра, к.п.н. 15 ноября 2012 года

Ведущие и поддерживающие процессы процедур оценивания В любой процедуре оценивания: Ведущие процессы - организационные поддерживающие процессы- технологические Организационные процессы технологические процессы организационные обеспечивающие процессы

Характеристика организационных и технологических процессов Организационные процессы Человек: Ученик (участник), учитель, родитель, организатор, администратор, тех. специалист Активность (отдельный процесс процедуры): Задачи, последовательность выполнения, длительность, планируемый результат реализации каждой активности Документирование: Регламенты, порядки проведения, инструкции, приказы, распоряжения Технологические процессы Набор специализированных аппаратно-программных и технических средств : Оборудование, программное обеспечение, каналы связи, базы данных Механизмы и приёмы использования аппаратно-программного комплекса: Задачи, последовательность, планируемый результат использования каждого механизма Статистика: Форматы предоставления статистической отчетности

Нарушение – сбой в планируемом порядке подготовки и проведения процедуры, имеющий причины и последствия. Причины: Основание, мотивы действий, определяющие другие явления или действия Последствия: итоги (результаты) сбоя в планируемом ходе событий, воздействие на их дальнейшее развитие Что такое нарушения в процедуре оценивания?

КЛАССИФИКАЦИЯ НАРУШЕНИЙ «По незнанию»«По халатности»«По умыслу» Пробелы в нормативно- правовой и инструктивно- методической базе процедуры Низкая ответственность кадров Заинтересованность в получении индивидуального результата Низкое качество подготовки кадров для обеспечения проведения процедуры Отсутствие эффективной системы контроля проведения процедуры Заинтересованность в получении общей благоприятной картины

Нарушения «по умыслу»: сговор/коррупция?! Директор тувинского Института оценки качества образования Валентина Канкова «помогла» дочери Министра земельных и имущественных отношений Тувы: девушка после экзамена сдала пустой бланк, а чиновница во время проверки заполнила его правильными ответами. В московской школе 264, о чем узнала вся страна, под видом выпускников на экзамен пришли студенты МФТИ. Членов приемной комиссии сразу заподозрили в корыстном умысле: при перекличке никого не смутило, что на мужское имя откликнулась девушка, да и паспорта у «выпускников», как того требует законная процедура, не проверяли. В следственные органы области поступило заявление о том, что в доме детского творчества учителя русского языка и литературы средних школ Морозовска якобы решают ЕГЭ для учеников. Выехавшие на место следователи обнаружили там около 30 учителей, учебную литературу и методические пособия по русскому языку. Кроме того, были обнаружены ксерокопии контрольно-измерительных материалов, имеющие порядковые номера и штрих-коды, являющиеся экзаменационными заданиями ЕГЭ по русскому языку. Администратор Организатор Тех. специалист Учитель Родитель Участник

Нарушения «по умыслу»: защита от Управленца?! Источники: информация с форумов «Нарушения ЕГЭ глазами учителя», «Педсовет. орг» glazami-uchitelja

КЛАССИФИКАЦИЯ НАРУШЕНИЙ «По незнанию»«По халатности»«По умыслу» ВНИМАНИЕ НЕОБХОДИМА КОРРЕКЦИЯ: инструктивно-методической база, системы ПК ДЕЙСТВУЕМ ВВЕДЕНИЕ СООТВЕТСТВУЮЩИХ МЕР: по усилению ответственности, разработки эффективных мер контроля ПРЕСЕКАЕМ КОРРУПЦИЯ/ЗАЩИТА ОТ УПРАВЛЕНЦА: применение жесткой системы наказания в соответствии с КоАП и УК, корректная интерпретация результатов процедур оценивания

Что следует сделать, чтобы искоренить мошенничество в ходе сдачи и обработки ЕГЭ? Около половины опрошенных (48 %) не смогли предложить конкретных мер, 24 % предложили отменить ЕГЭ и вернуть старую систему. Также были предложены следующие варианты: тщательнее контролировать процедуру сдачи экзамена, например, поставить видеокамеры (9 %); ввести жесткое наказание, вплоть до уголовного (4 %); бороться с коррупцией (2 %); изменить схему проведения ЕГЭ (2 %); повышать уровень знаний у детей, повысить зарплату преподавателям, улучшить моральный облик людей в стране (по 1 %). 3 % опрошенных считают, что никакие меры не помогут. Из социологического опроса Всероссийского центра изучения общественного мнения

Деловая репутация - набор качеств и оценок, с которыми их носитель ассоциируется в глазах своих коллег по работе, учеников, родителей и персонифицируется среди других профессионалов в данной области деятельности. Факторы влияния на деловую репутацию как отдельных лиц, так и системы в целом: прямое злостное нарушение: подтасовка, подмена, подсказка и пр. «халатное» отношение к своим прямым обязанностям «закрытие глаз» на факты нарушений рядом слабая система служебных расследований ПРОБЛЕМА: отсутствие понятия «репутационный риск» и, соответственно, отсутствие системы работы с репутационными рисками Репутационный риск «Чтобы заработать хорошую репутацию, необходимо совершить много хороших дел и всего одно плохое, чтобы ее потерять» (Бенджамин Франклин)

Любой организационный или технологический сбой – это реализовавшийся риск Шаги управления рисками (риск-менеджмент): определение «профиля рисков»; определение наиболее критичных для данной процедуры рисков; определение стратегии управления риском – стратегия хеджирования (hedging –страхование от потерь); планирование действий на случай реализовавшихся рисков; интегрирование стратегии управления рисками в систему управления процедурой оценивания Предупреждение нарушений и расчёт их последствий

ПРИМЕР: Может быть применим при разработке инструктивно-методической базы Приём «Замыленный глаз»: -Раздать нескольким специалистам других отделов/структур (не разработчиков) -Попросить выделить некорректные (неоднозначные, спорные) формулировки, дать оценку доступности языка, достаточности информации о необходимых действиях -Проиграть инструктаж в аудитории по данной Инструкции («организатор» и «участники» – не специалисты-разработчики Инструкции), попросить участников дать комментарии по доступности и достаточности полученной информации -Обработать результаты опроса, выделить наиболее часто встречающиеся замечания, не игнорировать единичные замечания Предупреждение нарушений: превентивная система, но не последействие!

ПРИМЕР: Приём «Подушка безопасности при утечке информации по измерителям»: -Заблаговременное определение кол-ва участников процедуры оценивания на один вариант ИМ -Заблаговременное определение кол-ва одного варианта ИМ в одном месте проведения экзамена (пункте, муниципалитете) -Расчет технологической возможности экстренной передачи резервного варианта ИМ в места проведения экзамена с учетом п. 1 и 2 -Расчет времени, необходимого для передачи и печати резервного ИМ -В случае невозможности реализации п.3 – заблаговременно разработанный регламент отмены процедуры и информирования/перенос её проведения на другие сроки Предупреждение нарушений: превентивная система, но не девиантная!

Концепция «приемлемого» (допустимого) риска: Нельзя создать абсолютно безопасную технологию, но можно и нужно стремиться к достижению ситуации с возможными, но управляемыми рисками, предусмотрев и реализовав соответствующие организационные процессы. Предупреждение нарушений

Кому нужна гласность? Что может «дать» общественный контроль? Пути решения «кадрового вопроса» Реальные (работающие) механизмы

«Только полная публичность мероприятия, открытость информации для всех заинтересованных гарантируют, что ЕГЭ будет справедливо оценивать участников» Я. Кузьминов, ректор НИУ ВШЭ Одним из методов борьбы с нарушениями является широкая огласка произошедших фактов нарушения процедуры: Разработка соответствующих мер и принятия мер наказания к нарушителю Огласка принятых мер в СМИ, на сайтах Служб по надзору и контролю в сфере образования Разбор случившегося прецедента на мероприятиях по подготовке кадров Общественный контроль на всех этапах процедуры и широкое обсуждение результатов контроля Гласность

Информация с официального сайта Службы по надзору и контролю в сфере образования Республики Казахстан Фрагмент документа: О мерах, принятых к нарушителям технологии проведения ЕНТ г. Министерством ежегодно проводится комплекс мероприятий с целью подготовки и проведения ЕНТ среди выпускников и их родителей. Несмотря на проводимую информационно-разъяснительную работу среди школьников, их родителей и работников организаций образования, повсеместно фиксируются попытки сдачи тестирования с использованием мобильных телефонов, шпаргалок, подставных лиц и других незаконных методов. В большинстве случаев нарушения технологии совершаются организаторами тестирования на местах, в частности государственной комиссией, представителями правоохранительных органов, медицинскими работниками, дежурными по аудиториям, и другими заинтересованными лицами. Наибольшее количество нарушений было зафиксировано в Южно-Казахстанской (в 11 из 16 ППЕНТ), Алматинской, Кызылординской, Восточно-Казахстанской и Мангыстауской областях. Южно-Казахстанская область. За нарушение технологии при проведении тестирования 1 потока в ППЕНТ г. Сарыагаш приказом Министерства образования и науки Республики Казахстан 232 от 4 июня 2011 года отстранены от проведения ЕНТ Председатель государственной комиссии Б.К. Майрихов (заместитель начальник отдела образования Сарыагашского района) и заместитель председателя А.М. Каржанбаев (депутат маслихата Сарыагашского района ). Приказом Сарыагашского районного отдела образования 17 от 15 июля 2011 года заместителю начальника районного отдела образования Б.Майрихову объявлен выговор. За вмешательство в процедуру тестирования в ППЕНТ на базе Университета «Сырдарья» города Жетысай и в профлицее 12 г. Сарыагаш отстранены дежурные в количестве 30 человек. Министерством внутренних дел по информации Комитета национальной безопасности о ненадлежащей организации охраны общественного порядка сотрудниками ДВД Южно- Казахстанской области при проведении ЕНТ проведена служебная проверка, по результатам которой за ненадлежащую организацию охраны общественного порядка в местах проведения ЕНТ, повлекших попытки несанкционированной передачи шпаргалок выпускникам средних школ, приказом начальника ДВД ЮКО 156 л/с от 20 июля 2011 года, ответственнные за обеспечение общественного порядка: - заместитель начальника по службе Сарыагашского РУВД полковник Намазбаев Ж.Т. предупрежден о неполном служебном соответствии; - заместителю начальника по службе Тюлькубасского РОВД подполковнику полиции Кожабекову М.А. объявлен строгий выговор; - заместителю начальника по службе Казыгуртского РОВД майору полиции Тулегенову С.Б. объявлен строгий выговор; -заместителю начальника по службе Ордабасинского РОВД подполковнику полиции Медетову А.Т. объявлен выговор.... Гласность

Из доклада Я.И. Кузьминова (председателя Комиссии Общественной палаты Российской Федерации по развитию образования) по материалам обращений на горячую линию ОП РФ в 2011 г. Типичные жалобы (в % от общего числа обратившихся): Нарушение конфиденциальности выполнения заданий (списывание с помощью Интернета) - 35,00% (халатность, умысел) Нарушение процедуры проведения экзамена его организаторами (школой, учителями) - 30,00% (незнание, халатность, умысел) Жалобы на нехватку бланков (незнание, халатность) и долгое ожидание результатов экзамена - 14,76% Жалобы на качество КИМов (халатность) и недостаток времени на написание экзамена - 8,49% Нарушение правил пользования сотовыми телефонами на экзамене - 8,49% (халатность, умысел) Ненадлежащее качество технического обеспечения экзамена по иностранному языку - 3,32% (незнание, халатность) Общественный контроль – что даёт?

Из доклада Я.И. Кузьминова (председателя Комиссии Общественной палаты Российской Федерации по развитию образования) по материалам обращений на горячую линию ОП РФ в 2012 г. Типичные вопросы (в % от общего числа обратившихся): Недостаток информации о времени, месте, и сроках проведения экзамена, возможностях его пересдачи и апелляции - 37,31% Вопросы об оформлении экзаменационных бланков, работе с КИМами - 30,54% Вопросы о правилах организации и проведения экзамена и санкциях за их нарушение - 4,08% Вопросы о критериях оценки результатов экзамена - 1,86% Вопросы о сдаче ЕГЭ отдельными категориями учащихся (детьми с ОВЗ, победителями олимпиад и т.д. ) - 0,88% Вопросы о правомерности действий учителей на экзамене - 0,26% Вопросы о проведении ЕГЭ в 2012 году - 0,10% Общественный контроль – что даёт?

Москва. Круглый стол «Общественные наблюдатели на ЕГЭ: имитация прозрачности?» 7 июня 2011 года информационное агентство "Росбалт" (Москва) провело круглый стол "Общественные наблюдатели на ЕГЭ: имитация прозрачности?". Подробнее: Согласно Положению Рособрнадзора, институт общественных наблюдателей создан для того, чтобы общество могло проконтролировать ход сдачи российскими школьниками ЕГЭ. В полномочия общественных наблюдателей входит обеспечение порядка в аудитории, принятие превентивных мер по недопущению использования школьниками внешних источников информации, а также распространение информации посредством прессы о фактах нарушения соответствующих регламентов. Те, кто желает стать общественными наблюдателями, должны подать заявление в муниципальный орган управления образованием. Общественный контроль – что даёт?

продуманная стратегия по подбору кадров, привлекаемых к разным этапам оценочных процедур; четко выстроенная тактика обучения отобранных кадров, разработка обучающих программ для каждой группы специалистов, обеспечивающих разные процессы; введение критериев оценки работы привлеченных кадров, разработка подходов к стимулированию и предотвращению нарушений, оценка «репутационных рисков»; общественный контроль проведения процедуры оценки; организация «обратной связи» («горячие линии», сбор и анализ информации с форумов и пр.) Кадры решают всё… Как должно быть?

Из Аналитического доклада Общественной палаты Российской Федерации «Уроки проведения ЕГЭ-2010» - М.: Изд.дом ГУ-ВШЭ, 2010: Звонки из аудитории от организаторов: «Как надо заполнять бланк?», «Я перепутала номер дополнительного бланка ответов, не правильно внесла информацию. Что теперь делать?», «Сколько времени отводится на экзамен по математике, нам никто не сообщил»… Сообщения участников после экзамена: «Я сдавала обществознание. У нас были нарушения. При сдаче ЕГЭ в аудитории находились лишние люди. Они ходили между рядами, необоснованно обыскивали детей. Что ещё важно, ЕГЭ сдавался в нашей же школе, это правомерно?» «Мне запретили написать апелляцию по процедуре, потому что я якобы вышел из пункта проведения ЕГЭ, выйдя из кабинета. Кто прав?»… «Кадровый вопрос»: что есть на самом деле?

Данные из презентации ФГБУ «Федеральный центр тестирования» по результатам ЕГЭ в 2010 г. ( «Кадровый вопрос»: что есть на самом деле? Резюме: С учетом кол-ва субъектов РФ (83), в среднем за цикл ЕГЭ специалисты каждого региона обращаются в ФЦТ: по нештатной ситуации – 12 раз, за консультацией - 22 раза. Статистика обращений (ЕГЭ-2010 г) Всего заявок По типам Нештатная ситуацияКонсультацияПожелания

Личная ответственность разработка мер поощрения, наказания за неправомерные действия, приводящим к нарушению процедуры, допущенную халатность при выполнении функциональных обязанностей Мотивация что получит от результатов процедуры каждый участник (ученик, учитель, ОУ, орган управления образования) Подготовка действенной методики подготовки кадров по всем направлениям формы и средства обучения тщательная доработка инструктивно-методических материалов Разработка стратегии работы с материалами обращений на «горячие линии» оказание консультативной поддержки анализ обращений в целях определения эффективности работы и совершенствования процессов «Кадровый вопрос»: что необходимо предусмотреть

Дата:_________________________ Дежурный специалист___________________________ Контролер смены _________________________________________________(ФИО, должность) Количество обращений за смену:_______ Незамедлительная консультационная поддержка оказана для ___________ обращений. Количество ссылок на другие структуры__________________. Из них активные ссылки_____________, пассивные ссылки___________. Выявлены системные проблемы: 1.В инструктивно-методической базе_____________________________________________ 2. При использовании ПО_______________________________________________________ 3.Нарушения процедуры________________________________________________________ 4.Другое______________________________________________________________________ Как использовать данные журнала «горячей линии» организационной и технической поддержки? Время обращения Регион Должность, фио обращающегося Содержание обращенияРекомендации Ссылки на другие структуры Итог Время обращения Регион Должность, фио обращающегося Содержание обращенияРекомендации Ссылки на другие структуры Итог

«Кадровый вопрос»: что необходимо предусмотреть При разработке инструктивно-методической базы для проведения процедуры оценивания на различных этапах следует: определить и обосновать её структуру; определить назначение, статус и пользователя каждого документа; обеспечить корреляцию и взаимодополняемость документов; обеспечить экспертизу документов на предмет соответствия; содержания назначению документа и на предмет простоты и ясности изложения содержания.

«Кадровый вопрос»: что необходимо предусмотреть: Из опубликованного документа «Инструкция для организаторов в аудитории ппэ» (Источник: rudocs.exdat.com/docs/index-4024.html#208132): Содержание Инструкции Данные действия нельзя проводить ни при каких условиях!!! Подготовка к экзамену Лица, не прошедшие обучение и инструктаж, не могут быть допущены к проведению ЕГЭ. Не позднее, чем за 1 час 30 минут Проведение экзамена в аудитории Еще раз ознакомиться с правилами заполнения бланков ответов!!! и кодировкой бланков Ознакомиться с правилами заполнения ведомости проведения экзамена по форме ППЭ. Пропуск участников экзамена в аудиторию Раздача экзаменационных документов После выхода участника ЕГЭ из ППЭ апелляция о нарушении установленного порядка проведения ЕГЭ Дать указание вынуть из конверта бланки ответов. Начало экзамена Окончание экзамена сбор экзаменационных документов

«Кадровый вопрос»: что необходимо предусмотреть: Мы хотели бы обратить ваше внимание на основные моменты в работе руководителей и организаторов ДА, заслуживает внимания: Уважаемые коллеги! Мы хотели бы обратить ваше внимание на основные моменты в работе руководителей и организаторов ППЭ, которые, как показывает практика проведения ЕГЭ в предыдущие годы, зачастую вызывают нарекания и замечания… НО, среди основных моментов встречаются: Необходимо не допустить факт присутствия посторонних лиц в ППЭ, пришедших заранее! Каждый сотрудник должен при себе иметь копию документа об образовании (дежурные, организаторы, руководитель ППЭ, медработник) При возникновении в процессе экзамена ситуаций, не отраженных в Методических рекомендациях по подготовке и проведению ЕГЭ в пунктах проведения экзамена, руководитель ППЭ консультируется с дежурным сотрудником РЦОИ по телефону горячей линии ( , )

Стандартные аргументы, почему нам трудно реализовать все такие простые и понятные принципы: дефицит квалифицированных кадров, ротация кадров, отсутствие стандартизированных подходов к различного рода процедурам и документам их регламентирующим, дефицит времени и решение многих значимых вопросов одновременно и др. Аргументы «за кадром»: нежелание «выносить сор из избы» как для профсообщества, так и для общества в целом вдруг правда не понравится Начальству? Информирован, значит вооружен Что мешает?

Условные стадии развития любой реформы: 1.Сопротивление 2.Принятие 3.Осмысление 4.Развитие с учетом осмысленных ошибок На стадии ОСМЫСЛЕНИЯ пора начать: Выявлять и наказывать нарушителей Научиться управлять рисками Пересмотреть стратегию по подготовке кадров Совершенствовать пакет действующих инструктивно-методических материалов Использовать все возможности общественного контроля, постоянно осуществляя самоконтроль Поддерживать принцип гласности!!! Информирован, значит вооружен. ВЫВОДЫ:

СПАСИБО ЗА ВНИМАНИЕ!