ВАЛИДАЦИЯ МЕТОДИК И МЕЖЛАБОРАТОРНОЕ ПРОФЕССИОНАЛЬНОЕ ТЕСТИРОВАНИЕ В СУДЕБНОЙ ЭКСПЕРТИЗЕ. - презентация

1 ВАЛИДАЦИЯ МЕТОДИК И МЕЖЛАБОРАТОРНОЕ ПРОФЕССИОНАЛЬНОЕ ТЕСТИРОВАНИЕ В СУДЕБНОЙ ЭКСПЕРТИЗЕ

2 Задачи аккредитации судебно-экспертных организаций O повышение научно-технического уровня и достоверности судебно-экспертных заключений; O объективизация оценки деятельности судебно-экспертных организаций; O объективизация оценки заключений экспертов как доказательств в суде; O обеспечение возможности использования заключений российских экспертов в зарубежных и международных судах

3 Судебно-экспертная методика это программа действий эксперта, основанная на системе научно- обоснованных методов, приемов и средств, применяемых для изучения свойств объектов судебной экспертизы, используемая для установления фактов, относящихся к предмету определенного рода, вида и подвида судебной экспертизы, решения экспертной задачи

4 Специфика судебно-экспертных методик O большинство аттестованных методик измерений отличаются от судебно-экспертных методик тем, что они созданы и применяются для решения стандартных задач с использованием стандартных методов и средств; O для решения нестандартных экспертных задач, которые часто решаются в ходе судебных экспертиз, применение стандартных процедур во многих случаев невозможно; O поскольку экспертам приходится иметь дело с нестандартными объектами исследования аттестованные методики измерений при использовании в судебной экспертизе подлежат обязательной валидации.

5 Судебно-экспертная стандартная операционная процедура - назначение и область применения; -сущность МИ и (или) МТ; - средства измерений и вспомогательное оборудование; - материалы, реактивы; - отбор, подготовка и хранение образцов для экспертизы; - процедура выполнения измерений и (или) тестирования; - подтверждение прослеживаемости измерений; - общие требования обеспечения качества экспертизы; - условия безопасности проведения СЭ СОП; -требования к квалификации персонала; - сообщение о валидации; - интерпретация результатов измерения и (или) тестирования; - требования к представлению результатов экспертного исследования (например, составление синтезирующей части заключения и др.).

6 Требования ГОСТ Р ИСО/МЭК и ГОСТ Р к валидации лаборатория обязана проводить валидацию каждой вновь разработанной или усовершенствованной методики, а также тех методик, которые используются для испытаний новых объектов, ранее не включенных в сферу применения данной методики; если необходимо, валидацию должны проходить также процедуры пробоотбора и пробоподготовки.

7 Оценка пригодности (валидация) судебно-экспертной методики O документированное подтверждение путем исследования и представления объективных доказательств того, что конкретные требования к решению специфической экспертной задачи выполняются

8 Цели валидации судебно-экспертных методик O установление пригодности экспертной методики при производстве конкретного вида судебных экспертиз и экспертных исследований в соответствии с требованиями нормативных документов; O обеспечение единства оценки показателей качества в организациях, производящих судебные экспертизы с использованием конкретной экспертной методики; O подготовка методического обеспечения судебно- экспертной деятельности к аккредитации СЭУ по стандартам.

9 Организация валидации методики П л а н в а л и д а ц и и: тип экспертной методики и описание объектов судебной экспертизы; предполагаемые экспертные вопросы, которые могут быть решены с использованием валидируемой методики; определение участников валидации; описание МВИ и (или) МВТ, приведенные в виде стандартной операционной процедуры; обоснование выбора МВИ и (или) МВТ для оцениваемой экспертной методики; перечень необходимого оборудования и расходных материалов; параметры валидации, которые будут оцениваться; этапы и сроки проведения валидационных исследований; порядок обеспечения участников валидации пробами, включая сроки предоставление проб (при необходимости); форма протоколов валидации; отчет о валидации экспертной методики.

10 Проведение экспериментальных работ O Проведение экспериментальных работ осуществляется участником (несколькими участниками) в соответствии с планом валидации. O До начала работ по валидации должна быть установлена стабильность предоставленных проб в лабораторных условиях в течение времени проведения исследований, или стабильность проб заранее должна гарантироваться заказчиком. O Полученные в ходе экспериментальных исследований данные оцениваются в соответствии с методическими рекомендациями по проведению оценки пригодности (валидации) судебно-экспертных методик. O Определяется достаточность проведенных экспериментов.

11 Статистическая обработка результатов валидации методик O Общими этапами оценки результатов являются: оценка рабочих характеристик методики; при необходимости предварительное определение однородности объекта испытания; определение значения контролируемого показателя; статистическая оценка результатов количественных измерений с использованием параметрических методов (критерий Стьюдента, парный критерий Фишера, дисперсионный анализ, коэффициент корреляции, регрессивный анализ) для нормального распределения данных и непараметрических методов (критерий суммы рангов Уилкоксона, критерий Крускала-Уоллиса, коэффициент ранговой корреляции Спирмана и др.) для ненормального распределения данных; статистическая оценка результатов качественных испытаний, заключающаяся в установлении доли ложных положительных и ложных отрицательных результатов для данного теста, в использовании статистики Байеса; к обработке результатов валидации рекомендуется привлекать специалистов в области метрологии и математической статистики.

12 К характеристикам методик относят: O специфичность ; O линейность ; O диапазон определяемых величин ; O предел обнаружения или предел количественного определения ; O чувствительность.

13 Показатели точности методик O Прецизионность – степень близости друг к другу независимых результатов, полученных в конкретных регламентированных условиях. Мера прецизионности вычисляется как среднеквадратическое отклонение (от среднего значения) результатов измерений, выполненных в определенных условиях: повторяемости и воспроизводимости. O Под правильностью понимают способность метода дать верный результат. O Мерой правильности является разность (смещение) между принятым опорным значением и соответственно математическим ожиданием результатов измерений – «систематическая погрешность».

14 Стандарты оценки характеристик методик O Организация, планирование, проведение эксперимента по оценке различных показателей точности, а также отдельные примеры использования этих данных на практике приведены в серии стандартов ГОСТ Р ИСО – ГОСТ Р ИСО Точность (правильность и прецизионность) методов и результатов измерений. (Части 1 – 6). O В частях 2, 3, 4 ГОСТ Р ИСО 5725 изложены основные способы определения повторяемости (сходимости) и воспроизводимости (ГОСТ Р ИСО ), промежуточных показателей прецизионности (ГОСТ Р ИСО ), правильности

15 Неопределенность результатов измерения Неопределенность результатов измерения – это параметр, связанный с результатом измерения и характеризующий разброс значений, которые с достаточным основанием могут быть приписаны измеряемой величине Руководство по выражению неопределенности результатов измерений Источники неопределенности процедура отбора проб (образцов), или фиксация следов подготовка проб или образцов свойства, состояние и состав пробы (образца) применяемые методы и оборудование окружающая среда Оператор (эксперт) стандартные образцы, чистые вещества, образцы сравнительных коллекций

16 Методика Исследование работоспособности и пригодности к стрельбе (технического состояния*) огнестрельного оружия заводского изготовления при производстве судебно-баллистической экспертизы Измеряемая величина Сила, прилагаемая к хвосту спускового крючка, необходимая для выхода его фигурного выступа из зацепления с боевым взводом курка Разработчик РФЦСЭ при Минюсте России Цель методики Установление работоспособности и пригодности к стрельбе конкретного экземпляра огнестрельного оружия заводского изготовления Матрица (мешающие компоненты) Отсутствует Методика выполнения измерения Измерение усилия спуска в соответствии с инструкцией на проведение измерения усилий с помощью динамометров ГОСТ Калибровка Прямые измерения, калибровка не требуется Рабочий диапазон 0, кг с погрешностью измерений 1-1,5% Нижний предел обнаружения 0,01 кг Нижний предел определения 0,15 кг Селективность Прямые измерения, селективность отсутствует Прослеживаемость Прямое измерение силы, кг Расширенная неопределенность В приведенном примере измеренная величина составляет 2,7±0,3 кг, то есть с вероятностью 95% оцененное значение измеряемой величины находится в интервале 2,4-3,0 кг Выводы: Методика Исследование работоспособности и пригодности к стрельбе (технического состояния*) огнестрельного оружия заводского изготовления при производстве судебно-баллистической экспертизы является пригодной для установления работоспособности и пригодности к стрельбе конкретного экземпляра огнестрельного оружия заводского изготовления и позволяет по установленному значению измеряемой величины отнести представленное на экспертизу оружие к работоспособному Утверждаю: Руководитель СЭУФИО Подпись Дата ПРИМЕР Протокола оценки пригодности МВИ в экспертной методике «Исследование работоспособности и пригодности к стрельбе (технического состояния) огнестрельного оружия заводского изготовления при производстве судебно- баллистической экспертизы»

17 Отчет о валидации O Отчет о валидации:: ответы на вопросы, поставленные в плане валидации; протоколы валидации; сведения обо всех изменениях, внесенных в план валидации, с соответствующими объяснениями; сведения о поверке или калибровке использованных средств измерения; положительный или отрицательный вывод о пригодности методики для производства конкретного вида судебной экспертизы или экспертных исследований, который сообщается заказчику (инициатору валидации методики) и проверяющему лабораторию органу (например, органу по аккредитации).

18 Задачи валидации судебно-экспертных методик O обеспечение возможности сравнения результатов исследования, полученных в разных судебно-экспертных лабораториях; O через оцененную неопределённость выйти на решение вопроса достоверности результатов исследований; O В плане КМК СМЮ Евр АзЭС – валидация методики «Исследование работоспособности и пригодности к стрельбе (технического состояния) огнестрельного оружия заводского изготовления при производстве судебно-баллистической экспертизы)».

19

20 Что такое МПТ O Межлабораторное профессиональное тестирование это организация, проведение и оценка результатов испытаний одних и тех же или таких же объектов судебной экспертизы двумя или большим числом судебно- экспертных лабораторий в соответствии с заранее установленными условиями

21 O определение компетентности отдельных лабораторий в отношении исследований конкретных объектов судебной экспертизы ; O оценка качества производства судебных экспертиз и экспертных исследований ; O определение эффективности судебно - экспертных методик ; O обеспечение дополнительного доверия у органов ( лиц ), назначающих экспертизы, в компетентности конкретных судебно - экспертных лабораторий ; O установление значения определяемого показателя для контрольных объектов ( КО ) судебной экспертизы и оценка пригодности КО для использования в методиках экспертного исследования ; O обучение участвующих лабораторий, основанное на результатах тестирования ; O выявление различных проблем в лабораториях, связанных, например, с проведением неправильных процедур испытаний, недостаточной эффективностью обучения и управления персоналом, и их устранение Задачи МПТ

22 O Провайдер проведения МПТ - уполномоченная организация, осуществляющая общее руководство и координацию деятельности по разработке программ и проведению проверок компетентности судебно-экспертных лабораторий посредством межлабораторного профессионального тестирования O Координатор проведения МПТ – организация, назначенная провайдером, ответственная за координацию всех видов деятельности, связанных с реализацией программы межлабораторного профессионального тестирования. Организаторы МПТ

23 O планирование МПТ, разработка и утверждение программы O приобретение, подготовка, обеспечение контроля качества объектов тестирования O рассылка участникам объектов тестирования и соответствующих материалов (программ, инструкций и т. п.) O исследование участниками объектов тестирования и сообщение координатору о результатах в установленные сроки O сравнительный анализ полученных результатов O подготовку координатором итогового отчета и ознакомление с ним участников МПТ Типовая схема выполнения МПТ

24 O наименование и адрес провайдера O наименование и адрес координатора O характер и цель программы МПТ O критерии, которым надо соответствовать для участия в МПТ O число предполагаемых участников программы O характер выбранных объектов судебной экспертизы O описание способа получения, обработки, проверки и транспортировки объектов испытаний O набор документов, которые будут предоставлены участникам O предполагаемые сроки начала и выполнения экспертных исследований O схему статистической обработки результатов эксперимента, включая определение методики обнаружения выбросов O описание данных или информации, которые участникам необходимо представить координатору после окончания эксперимента; O методы оценки работы участников МПТ O описание требований для обеспечения конфиденциальности при проведении МПТ Состав программы МПТ

25 O Объекты тестирования предусмотренные программой межлабораторного профессионального тестирования, готовятся компетентными сотрудниками организации-координатора по документированным методикам. O Объекты тестирования рекомендуется приближать к объектам судебной экспертизы, являющимся типовыми для лабораторий-участников профессионального тестирования Объекты тестирования

26 O описание программы тестирования O объекты тестирования O формы для единообразного оформления его результатов Рассылка Лабораториям, участвующим в МПТ, направляются:

27 O Лаборатории должны использовать в эксперименте МПТ свои стандартные процедуры в области исследования объектов тестирования и обработки результатов O После получения лабораторией результатов тестирования, она составляет по принятой форме сообщение и высылает его координатору в установленный программой МПТ срок Исследование участниками объектов тестирования

28 O Координатор осуществляет оценку результатов и комментирует техническую компетентность судебно- экспертной лаборатории СПЭ, СТЭД, КЭВМ, СКТЭ. O Программы МПТ КМК СМЮ Евр АзЭС: СПЭ, СТЭД, КЭВМ, СКТЭ. Анализ результатов

29 Пример программы МПТ Судебно-экспертная область тестирования Судебная компьютерно-техническая экспертиза Объект профессионального тестирования Информация на накопителе на жестких магнитных дисках (для исследования представляется образ диска в формате vdi). Цель Контроль качества выполнения исследований при производстве судебных компьютерно-технических экспертиз Участники Лаборатории, выполняющие компьютерно-технические экспертизы, изъявившие желание участвовать в Программе. Количество участников не менее 6 Контролируемые характеристики - Пользовательские удаленные файлы форматов «doc», «jpg», «tif» - Информация об обмене пользователем текстовыми сообщениями, содержащимися в истории программы Skype Информация, представляемая участниками Программы Форма для представления результатов приведена в Приложении Начало реализации Программы 2011 год Используемые методики Любые методики, которые участники считают необходимыми для выполнения данного исследования Степень конфиденциальности Лаборатории кодируются. Оценки сообщаются лишь лабораториям, из которых получены результаты

30 Результат O Все лаборатории, принимавшие участие в профессиональном тестировании, продемонстрировали высокое качество выполнения исследований при производстве компьютерно-технических экспертиз O Подтверждение эффективности методик, используемых при производстве компьютерно- технических экспертиз

31 ВЫВОДЫ O Все судебно-экспертные методики должны быть валидированы (в т.ч посредством МПТ); O Судебно-экспертные лаборатории должны участвовать в программах МПТ БЛАГОДАРЮ ЗА ВНИМАНИЕ!!!