Методологические особенности валидации судебно-экспертных методик (А.И. Усов, Г.Г. Омельянюк, Г.И. Бебешко, И.П. Любецкая, И.Б. Афанасьев, журнал "Теория и практика судебной экспертизы", N 1 (том 18), январь-март 2023 г.)

Усов А.И., Омельянюк Г.Г., Бебешко Г.И., Любецкая И.П., Афанасьев И.Б. Методологические особенности валидации судебно-экспертных методик

А.И. Усов - д. юр. н., профессор, первый директор ФБУ РФЦСЭ при Минюсте России, профессор РПА Минюста России, профессор кафедры "Безопасность в цифровом мире" МГТУ им. Н.Э. Баумана

Г.Г. Омельянюк - д. юр. н., профессор, заместитель директора ФБУ РФЦСЭ при Минюсте России, профессор кафедры судебно-экспертной деятельности юридического института ФГАОУ ВО РУДН, профессор кафедры "Безопасность в цифровом мире" МГТУ им. Н.Э. Баумана, профессор кафедры земельных ресурсов и оценки почв факультета почвоведения МГУ имени М.В. Ломоносова

Г.И. Бебешко - д.т.н., к.х.н., главный научный сотрудник отдела инноваций судебно-экспертной деятельности ФБУ РФЦСЭ при Минюсте России

И.П. Любецкая - заместитель начальника отдела инноваций судебно-экспертной деятельности ФБУ РФЦСЭ при Минюсте России

И.Б. Афанасьев - ведущий государственный судебный эксперт ФБУ РФЦСЭ при Минюсте России

В статье представлен обзор и обобщение опыта валидации судебно-экспертных методик (СЭМ) в ФБУ РФЦСЭ при Минюсте России. Отмечены методологические особенности практической реализации процедуры валидации. Показано, что специфичность, разнообразие и сложность объектов экспертного исследования требуют классификации используемых методик в метрологическом плане, выявления основных параметров валидации количественных и качественных методик, организации эксперимента и оценки параметров валидации с применением математических методов анализа. Предлагается разделять методики на два типа: судебно-экспертные методики измерения (СЭМИ) и судебно-экспертные методики тестирования (СЭМТ). На основании обобщения сведений, представленных в ряде нормативных документов и научных публикаций, для СЭМИ выделены следующие параметры: метрологические характеристики или свойства методики (специфичность, линейность, чувствительность, диапазон определяемых величин, предел обнаружения, предел количественного определения) и показатели качества методики (прецизионность, правильность, точность результата анализа или неопределенность). При валидации СЭМТ предложено оценивать надежность методики и компетентность эксперта.

Эксперимент по оценке параметров валидации выполняют с использованием достаточного количества контрольных образцов с установленными характеристиками контролируемых показателей и с участием достаточного числа экспертов. Приведены требования, предъявляемые к контрольным образцам.

Разобраны примеры вероятностной оценки параметров валидации для двух качественных методик тестирования: по микроскопическому исследованию текстильных волокон и по обнаружению следов продуктов выстрела с помощью сканирующей электронной микроскопии и рентгеноспектрального микроанализа. Дана оценка надежности этих методик с помощью расчета отношения правдоподобия, отмечена специфика интерпретации результатов валидации СЭМИ и СЭМТ.

Решение о соответствии СЭМИ предъявленным требованиям принимается, если интервал установленной расширенной неопределенности для полученного результата не выходит за пределы поля допуска. При отсутствии допусков СЭМИ считается пригодной для решения судебно-экспертных задач, если значения расширенной неопределенности результатов измерений контролируемого показателя не превышают значений, установленных при валидации. Для СЭМТ низкая вероятностная доля ложноположительных и ложноотрицательных результатов установления наличия/отсутствия контролируемых показателей, а также экспериментально подтвержденная компетентность эксперта в ходе валидации являются показателями пригодности методики для цели использования.

Ключевые слова: судебно-экспертные методики измерения (СЭМИ) и тестирования (СЭМТ), параметры и эксперимент валидации, применение математических методов, пригодность методики для цели использования

Usov A.I., Omel'yanyuk G.G., Bebeshko G.I., Lyubetskaya I.P., Afanas'ev l.B. Methodological Features of Validating Forensic Expert Techniques

A.I. Usov - Doctor of Law, Full Professor, The First Deputy Director of the Russian Federal Centre of Forensic Science of the Russian Ministry of Justice, Professor of the All-Russian State University of Justice, Professor of "Security of the Modern World" Department, the Bauman Moscow State Technical University

G.G. Omel'yanyuk - Doctor of Law, Full Professor, Deputy Director of the Russian Federal Centre of Forensic Science of the Russian Ministry of Justice, Professor of the Department of Forensic Activities, Institute of Law, RUDN University, Professor of the Professor of "Security of the Modern World" Department, the Bauman Moscow State Technical University, Professor, Department of Land Resources and Soil Assessment, Faculty of Soil Science, Lomonosov Moscow State University

G.I. Bebeshko - Doctor of Engineering, Principal Researcher, Department of Innovations in the Practice of Forensic Science of the Russian Federal Centre of Forensic Science of the Russian Ministry of Justice

I.P. Lyubetskaya - Deputy Chief of the Department of Innovations in the Practice of Forensic Science of the Russian Federal Centre of Forensic Science of the Russian Ministry of Justic

l.B. Afanas'ev - Chief State Expert of the Russian Federal Centre of Forensic Science of the Ministry of Justice of the Russian Federation

The article reviews and summarizes the experience of validating forensic expert techniques in the Russian Federal Centre of Forensic Science of the Ministry of Justice of the Russian Federation. The authors point out the methodological features of practical implementation of the validation procedure. They demonstrate that the specificity, diversity, and complexity of the objects of expert study require the classification of the applied methods in terms of metrology, identification of the main validation parameters of quantitative and qualitative methods, organization of experiments, and evaluation of validation parameters using mathematical analysis methods. They also propose to divide methods into two types: forensic expert measurement methods (FMT) and forensic expert testing methods (FTT). Based on the generalization of information presented in several regulatory documents and scientific publications, the following parameters are identified for FMT: metrological characteristics or properties of the method (specificity, linearity, sensitivity, range of determined values, detection limit, quantitative determination limit) and quality indicators of the method (precision, correctness, accuracy of the analysis result, or uncertainty). When validating FTT, it is proposed to evaluate the reliability of the method and the competence of the expert.

An experiment to assess validation parameters is performed using enough control samples with established characteristics of controlled indicators and with the participation of a sufficient number of experts. Requirements for control samples are provided.

The authors also give examples of probabilistic evaluation of validation parameters for two qualitative testing methods: microscopic examination of textile fibers and detection of gunshot residue using scanning electron microscopy and X-ray microanalysis. The reliability of these methods is assessed by calculating the likelihood ratio, and the specificity of interpreting the results of FMT and FTT validation is noted.

The decision on compliance with the requirements is made if the interval of the established extended uncertainty for the obtained result does not exceed the tolerance field. In the absence of tolerances, FMT is considered suitable for solving forensic expert tasks if the values of the extended uncertainty of the measurement results of the controlled indicator do not exceed the values established during validation. For FTT, a low probabilistic proportion of false positive and false negative results in determining the presence/absence of controlled indicators, as well as experimentally confirmed competence of the expert during validation, are indicators of the suitability of the method for its intended use.

Keywords: forensic expert measurement methods (FMT), forensic expert testing methods (FTT), validation parameters and experiment, application of mathematical methods, suitability of the methodology for its intended use