Приложение 4. Методические указания по оценке аналитической надежности клинических лабораторных методов исследования (для республиканских, краевых и областных организационно-методических и контрольных центров по лабораторному делу)

Приложение 4

к приказу Минздрава СССР

от 23 апреля 1985 г. N 545

Методические указания
по оценке аналитической надежности клинических лабораторных методов исследования (для республиканских, краевых и областных организационно-методических и контрольных центров по лабораторному делу)

Критерии оценки аналитической надежности метода

Одним из важнейших направлений развития клинической лабораторной диагностики как научной дисциплины является расширение методических возможностей путем совершенствования аналитических методов, препаративных и измерительных приборов.

Качество результата лабораторного исследования зависит от многих факторов, среди которых важное значение имеет качество метода.

Для объективной оценки аналитических качеств метода рекомендуется оценка его аналитической надежности.

В отличие от системы контроля качества работы лабораторий, которая должна давать ежедневную информацию о качестве получаемых в лаборатории результатов, оценка аналитической надежности метода - продолжительный процесс, во время которого постепенно накапливается информация об аналитических качествах метода.

При оценке надежности метода задача состоит в выявлении погрешностей, зависящих от метода; поэтому важно оценку надежности метода проводить не в одной, а в нескольких точно работающих (референтных) лабораториях с соблюдением всех указаний по применению метода.

Количественные аналитические методы клинических лабораторных исследований разнообразны, поэтому описываемые способы оценки надежности метода могут быть пригодны не для всех методов. Оценке аналитической надежности должны подвергаться методы, которые рекомендуются для официального утверждения, новые методы и методы, существенно модифицированные.

Критерии оценки аналитической надежности метода

Основными критериями, по которым оценивается метод, являются следующие: воспроизводимость, правильность, специфичность, чувствительность.

I. Воспроизводимость

Воспроизводимость результатов - соответствие результатов повторных определений в одном и том же материале. Воспроизводимость не имеет числовой величины, она определяется степенью разброса результатов.

Воспроизводимость аналитического метода - определяется воспроизводимостью результатов, полученных этим методом, с учетом воспроизводимости в серии, во времени и межлабораторной воспроизводимости.

Понятие, обратное воспроизводимости, - разброс результатов, или аналитическая вариация, - зависит от наличия случайных погрешностей и может быть охарактеризовано количественно. Воспроизводимость рассчитывается либо по двум параллельным результатам при исследовании различных образцов, либо по результатам повторных определений на одном и том же контрольном материале. Контрольный материал должен быть стабильным в течение всего периода проверки.

Статистическим показателем разброса результатов является среднеквадратическое отклонение S и относительный показатель разброса результатов - коэффициент вариации V. Сравнивают аналитическую вариацию метода с помощью F-теста. (Формулы 1 - 7).

Воспроизводимость метода может зависеть от концентрации исследуемого компонента; поэтому S определяется на разных уровнях концентрации - нормальном и патологическом. Это позволяет более полно охарактеризовать воспроизводимость метода на всем диапазоне определяемых концентраций.

Чем меньше коэффициент вариации, тем выше воспроизводимость результатов, получаемых тем или иным методом.

Такой способ оценки воспроизводимости позволяет объективно оценивать и сравнивать воспроизводимость различных методов. Воспроизводимость метода обычно зависит от случайных погрешностей, обусловленных количеством процедур метода - осаждение, центрифугирование, пипетирование, а также стабильностью окрашенного комплекса и другими причинами. Для более правильной оценки воспроизводимости метода количество параллельных исследований не должно быть меньше 20. С увеличением количества исследований (n) точность расчета среднеквадратического отклонения возрастает. При этом погрешности, связанные с работой, должны быть сведены к минимуму и, по возможности, условия работы не должны меняться в течение всего периода исследования.

II. Правильность

Правильность результатов - соответствие среднего значения результатов повторных определений одного и того же материала с должной величиной. Правильность не имеет числовой величины, она определяется неправильностью.

Правильность метода определяется правильностью результатов, полученных этим методом.

Правильность зависит от наличия систематических погрешностей метода.

Систематическая погрешность метода может быть обусловлена рядом причин: неспецифичностью метода, и тогда она определяется как постоянная систематическая погрешность; или неправильным способом построения калибровочной кривой, использованием калибровочного материала недостаточной степени чистоты, неправильной постановкой холостой пробы, и тогда она определяется как пропорциональная систематическая погрешность метода.

Постоянная и пропорциональная погрешности составляют общую систематическую погрешность метода.

Статистическим критерием правильности является средняя _ арифметическая (Х) и степень ее отклонения от истинного (номинального) значения m. Способами определения правильности могут быть:

способ добавки - внесение в биологическую жидкость точно взвешенного количества анализируемого вещества и определение его с помощью исследуемого метода;

способ смешивания проб - биологическая жидкость с низкой и с высокой концентрацией исследуемого вещества смешивается в различных соотношениях.

Способ добавки и смешивания проб (последний может быть применим в методах определения активности ферментов, где невозможно использовать способ добавки) позволяют определить только пропорциональную систематическую погрешность метода. Например, добавленное количество креатинина, определенное по реакции Яффе, может дать хороший процент выявления, однако методы, основанные на реакции Яффе, дают неправильные результаты за счет низкой специфичности метода. Процент выявления вещества, равный 90 - 110%, считается удовлетворительным для клинических лабораторных методов исследования.

Исследование контрольного материала с известным содержанием компонентов - наиболее простой способ оценки правильности. Однако, он может быть использован только для быстрой ориентировочной оценки правильности метода. Обязательным условием, ограничивающим возможности этого способа является использование метода, который указан в аннотации к контрольному материалу. Процедура изготовления контрольного материала, хранение его, вид используемой сыворотки могут в значительной степени изменить истинное содержание компонента. Особенно большим изменениям могут подвергнуться ферменты.

Сравнение методов. Наиболее информативным способом является способ сравнения методов. Данный способ позволяет определять общую систематическую погрешность метода. Смысл сравнения методов состоит в сравнении результатов, которые получены методом-кандидатом (т.е. методом, правильность которого исследуется) и сравнительным методом, который должен давать правильные результаты. Поэтому крайне важным является правильность сравнительного метода.

Международной федерацией клинической химии и Рабочей группой экспертов стран-членов СЭВ (Компендиум методорум по лабораторной диагностике) введено понятие - референтный метод.

Референтный метод - это метод, обладающий максимальной специфичностью, правильностью и воспроизводимостью результатов измерения. Он служит главным образом для сравнения методов при оценке аналитической надежности унифицированных и других методов.

Однако, референтные методы могут быть недоступны лабораториям, и для ряда компонентов они еще не разработаны. Поэтому в качестве сравнительных могут использоваться методы, правильность, которых исследована, и которые не дают существенного отклонения от истинных величин.

Для более точной оценки правильности предлагаемого метода сравнение методов следует проводить в соответствии с правилами сравнения методов.

Правила сравнения методов предусматривают:

1) точное соблюдение всех письменных указаний по применению метода;

2) проведение исследований под контролем качества с применением единого контрольного материала для гарантии стабильности условий исследования за время всего периода сравнения методов;

3) в сравниваемых методах должны быть проверены точность и линейность калибровочных кривых;

4) за время всего периода сравнения методов должны, по возможности, применяться одни и те же реактивы, приборы; работа проводится одними и теми же лаборантами;

5) правильность метода должна оцениваться на всем диапазоне измеряемых концентраций; поэтому должны быть исследованы образцы с низкими, нормальными и повышенными концентрациями вещества;

6) сравнение методов проводится на контрольном материале и на биологическом материале, полученном от больных и здоровых лиц;

7) очень важным является выбор метода для сравнения.

Статистическая обработка результатов состоит в оценке степени совпадения результатов, полученных методом-кандидатом и сравнительным методом.

в отличие от воспроизводимости, оценка правильности результатов - значительно более сложная задача.

Для статистической обработки результатов могут применяться различные статистические тесты.

Ниже приводится статистический способ оценки результатов сравниваемых методов, не требующих специальной вычислительной техники и позволяющий судить о правильности метода-кандидата.

Статистическая оценка правильности результатов сравниваемых методов

Для оценки правильности определяются: достоверность различий результатов и наличие статистической связи.

Определение достоверности различий результатов

Определить достоверность различий результатов можно с помощью теста Стьюдента (формула 8).

Наиболее достоверные результаты тест Стьюдента дает при нормальном распределении результатов.

Поэтому в тех случаях, когда распределение результатов не является нормальным, или вид распределения невозможно определить из-за малого числа наблюдений, рекомендуется использовать непараметрические критерии - критерий знаков, тест Вилкоксона.

Преимуществом непараметрических критериев является их независимость от вида распределения результатов и простота расчета.

Критерий знаков эффективен при большом числе определений. Он учитывает не степень различий в каждой паре, а лишь их направленность (знак) и основан на подсчете числа разностей между результатами X и Y со знаком + или -.

Если число наблюдений невелико, и критерий знаков не выявил различий, целесообразно применить критерий Т - парный критерий Вилкоксона. Критерий Т более чувствителен, он основан на следующем приеме: вычислен разностям между двумя рядами результатов (X и Y) дают ранговые номера в порядке возрастания абсолютных значений разности (без учета ее знака). Совпадающим значениям дают ранговые номера, равные средним из их порядковых значений. Например, одинаковые разности, стоящие на 3-м и 4-м местах, получают ранг 3,5. Далее вычисляется величина Т, равная сумме ранговых номеров разностей, имеющих отрицательное значение (т.е. разностей, противоположных наблюдаемым в большинстве).

Таблица 9

Пример расчета критерия Т-Вилкоксона

NN п/п	Результаты ряда Х	Результаты ряда Y	Разность	Ранговый номер разности
1 2 3 4 5 6 7 8	107 93 121 85 89 110 81 102	88 74 92 72 90 108 67 110	19 19 29 13 -1 2 14 -8	6,5 6,5 8 4 1 2 5 3

                              Т = 1 + 3 = 4

Заключения строятся на достигнутом уровне значимости.

Для целей лабораторной диагностики достаточным является уровень значимости Р = 0,05. Полученные значения сравнивают с табличными. Если Р < 0,05, то различия между методом-кандидатом и сравнительным методом достоверны, т.е. метод-кандидат - неправильный. Если Р > 0,05, то различия на достигнутом уровне значимости не достоверны, т.е. метод-кандидат может быть правильным. Дальнейшая обработка результатов состоит в оценке статистической связи.

Оценка статистической связи

Для оценки статистической связи можно использовать корреляционный метод и метод регрессии. Корреляционный метод менее информативен, чем метод регрессии.

Корреляционный метод. Корреляция указывает на степень связи двух рядов чисел, т.е. изучается зависимость между результатами X и Y двух методов. Для определения корреляции рассчитывают обычный коэффициент корреляции r и коэффициент ранговой корреляции g, при расчете которого результаты оцениваются порядковыми номерами - рангами от меньших результатов к большим. Порядковый номер каждого результата является его рангом.

Формулы расчета коэффициента корреляции 9 и 10

Коэффициенты корреляции могут колебаться от 0 до +1 при положительной корреляции и от 0 до -1 - при отрицательной корреляции.

Если имеется хорошее совпадение результатов сравниваемых методов, то значение r будет около 1,0 (0,9 - 0,99). Чем ниже величина коэффициента корреляции, тем меньше степень совпадения результатов сравниваемых методов. При отсутствии связи между результатами r = 0. При отрицательной корреляции, при изменении результатов группы "Х", результаты группы "Y" будут изменяться в противоположном направлении: r = -1.

Метод регрессии. Если корреляция указывает на степень связи, то регрессия позволяет определить, как количественно меняется один результат по мере изменения другого.

Для построения эмпирической линии регрессии на диаграмму наносят парные результаты в виде точек: на оси абсцисс - сравнительного метода, а на оси ординат - метода-кандидата. Диаграмма дает первое впечатление о типе связи между двумя методами. При линейности регрессии точки располагаются вокруг прямой линии.

Если регрессия нелинейна, то требуется дальнейшая доработка метода-кандидата, т.е. он не пригоден для целей лабораторной диагностики.

Линейная регрессия рассчитывается по формуле 11.

Если "а" статистически отличается от 0, то метод-кандидат имеет систематическую погрешность по отношению к сравнительному методу. Эта ошибка может быть приемлемой и неприемлемой.

В таблице 10 приведена статистическая обработка результатов сравнения рефрактометрического и биуретового методов определения белка.

Таблица 10

Статистическая оценка результатов биуретового (унифицированного) и рефрактометрического методов определения белка в сыворотке крови

Методы	n	_ Х, S (г/л)	t-тест	Крите- рий знаков	Коэффици- ент корре- ляции ран- гов	Линейный коэффициент корреляции	Рег- рес- сия
Биурето- вый (Х) Рефракто- метриче- ский (Y)	50 50	_ Х = 76 S = 7,2 _ Y = 86 S = 8,7	t = 6,26 p < 0,05	+48 -2 p<0,05	0,75	0,75	Х=16+ 0,96Y Sx=8,9

Различия результатов - достоверны, связь низкая.

В таблице 11 сравниваются результаты диацетилмонооксимного и уреазного методов определения мочевины в сыворотке крови. Сравнительным методом в данном случае является наиболее специфичный уреазный метод.

Таблица 11

Статистическая оценка результатов сравнения уреазного и диацетилмонооксимного методов

Метод	n	_ Х, S (ммоль/ л)	t-тест	Крите- рий знаков	Тест Вилкоксона	Коэффици- ент корре- ляции
1	2	3	4	5	6	7
На нормальных величинах | |_ | | | Уреазный |14|Х = 5,26| t = 0,26 |+8 | Т = 45 (Х) | |S = 2,3 | | -6 | | | | | | Диацетил-| |_ | | | моноокси-| |Y = 5,0 | p > 0,05 |p>0,05 | p > 0,05 мный (Y) |14|S = 2,0 | | | | | | | | На патологических величинах | |_ | | | Уреазный |14|Х = 18,6| t = 0,194|+8 | Т = 46 (Х) | |S = 7,76| | -6 | | | | | | Диацетил-| |_ | | | моноокси-| |Y = 19,2| p > 0,05 |p>0,05 | p > 0,05 мный (Y) |14|S = 8,0 | | |						0,94 0,98

Различия результатов не достоверны, связь высокая.

III. Специфичность

Аналитическая специфичность метода - способность метода измерять лишь тот компонент или те компоненты, для определения которых он предназначен. Низкая специфичность приводит к получению неправильных результатов и должна быть указана в описании метода. Оценка специфичности не имеет завершения, поскольку любое вещество может повлиять на результаты. Например к методам с низкой специфичностью относится редуктометрический метод для определения группы редуцирующих веществ в крови или реакция Яффе для определения креатинина и креатининподобных хромогенов крови.

Высокоспецифичными являются ферментативные методы определения глюкозы, мочевины.

Многие методы для коррекции неспецифичности требуют постановки холостого опыта.

Для оценки аналитической специфичности следует использовать примеси, которые, исходя из химической структуры, являются репрезентативными представителями тех групп веществ, которые с физиологической точки зрения имеют практическое значение.

Интерференция обусловлена влиянием веществ на ход реакции. Способ влияния (повышение, понижение) и степень влияния могут быть различными.

Важным аспектом этой проблемы является интерференция лекарств. Лекарственные вещества, в зависимости от вида, дозы, способа применения, могут воздействовать на результаты лабораторных исследований различными путями: различают фармакологическую интерференцию в организме и техническую интерференцию в ходе выполнения анализа.

Низкая специфичность, интерференция снижают правильность метода. Поэтому предпочтение следует отдавать более специфичным методам и неподвергающимся интерференции.

IV. Аналитическая чувствительность. Предел чувствительности

Аналитическая чувствительность метода определяется его способностью выявлять наименьшие различия между двумя концентрациями исследуемого вещества. В процессе калибровки устанавливается диапазон калибровочной кривой, что является частью аналитической характеристики метода. При прочих равных условиях меньший наклон калибровочной кривой соответствует более высокой чувствительности метода, что позволяет выявить меньшие количества анализируемого вещества. На нижнем и верхнем пределах калибровочной кривой способность к выявлению веществ ухудшается.

Нижний предел чувствительности метода - это концентрация исследуемого вещества, которая соответствует наименьшему результату определения, статистически достоверно отличающемуся от показателей холостой пробы. Предел чувствительности может быть охарактеризован количественно. Он аналитически характеризует метод и позволяет сравнивать методы по этому качеству.

Кроме того, нижний предел чувствительности позволяет избежать ошибок, связанных с измерением величин, более низких, чем нижний предел чувствительности.

Практически определить нижний предел чувствительности для фотометрических методов можно следующим образом: проводят многократное исследование (n = 20) холостой пробы и проб с низкой концентрацией анализируемого вещества и устанавливают с заданным уровнем значимости статистически достоверные различия между холостой и опытной пробой с низким значением анализируемого вещества, которое и будет количественно соответствовать нижнему пределу чувствительности метода.

Экспериментально установлено, что обычно нижний предел чувствительности в фотометрических методах равен среднему значению холостой пробы плюс 3 среднеквадратических отклонения.

Теоретические основы определения допустимых погрешностей результатов лабораторных исследований

Определение допустимых пределов погрешностей метода преследует цель - установить приемлемость аналитических качеств метода для клинических целей.

Теоретические основы определения допустимой аналитической вариации базируются на следующем:

1. Определение аналитической вариации метода (среднеквадратического отклонения и коэффициента вариации) путем оценки аналитической надежности метода.

2. Теоретический расчет аналитической вариации, как фиксированной части биологической вариации. Смысл такого подхода состоит в определении степени влияния аналитической вариации на биологическую, тем самым - определении степени влияния аналитической вариации на расширение диапазона нормальных или референтных величин.

Соотношение между различными видами вариации определяется следующим уравнением:

                        S

где: S

     S

     S

Биологическая вариация имеет два источника - внутрииндивидуальная и межиндивидуальная вариации:

                   S

Математически рассчитано, что, если отношение Sан к Sбиологической меньше 0,4, то увеличение биологической вариации за счет аналитической будет незначительным.

Существуют и другие способы определения соотношения аналитической и биологической вариаций. По данным ряда авторов коэффициент вариации метода не должен превышать 1/8 области нормальных пределов в процентах от средней величины нормы. При этом нормальные величины рассматриваются как совокупность аналитической и биологической вариации.

Во всех случаях, при расчете допустимых пределов погрешности метода индивидуально для каждого вещества и метода аналитическая вариация, полученная экспериментально, сопоставляется с теоретически рассчитанными величинами.

3. Медицински допустимые пределы погрешностей. Этот способ оценки допустимых пределов погрешностей может быть основан на опросе мнений врачей-клиницистов и лабораторных работников.

Каждое исследуемое вещество определяется в конечном счете для клинических целей - установления диагноза, контроля за лечением, обследования здоровых. Поэтому медицински допустимые пределы погрешностей в различных клинических ситуациях будут различными, но они безусловно дополняют представление о допустимых погрешностях в зависимости от цели лабораторного исследования.

Однако, медицински допустимые пределы погрешности, в зависимости от поставленной цели, могут включать различные виды вариаций. Например, при повторном анализе теста медицински допустимые пределы погрешностей будут включать внутрииндивидуальную и аналитическую вариации изо дня в день.

При диспансерном обследовании здоровых наибольшее значение для разделения нормы и патологии будут иметь межиндивидуальные колебания.

Определение медицински допустимых пределов погрешностей позволит в ряде случаев не добиваться большей точности, чем она требуется в определенных клинических обстоятельствах, что связано в ряде случаев с увеличением расходов на проведение анализов.

В таблице 12 приводятся допустимые пределы аналитической вариации (V%) для ряда веществ, принятые рабочей группой экспертов по лабораторной диагностике стран-членов СЭВ.

Таблица 12

Допустимые пределы аналитической вариации (разброса) для анализируемых компонентов

NN	Анализируемый компонент	V%
1	2	3
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 1 2 3 4	Клиническая биохимия Адреналин Аланинаминотрансфераза Альбумин а-Амилаза Аммиак Аспартатаминотрансфераза Белок общий Белковые фракции Билирубин Глюкоза Глюкозо-6-фосфатдегидрогеназа y-Глутамилтранспептидаза Железо Иммуноглобулины Калий Кальций Кортизол Креатинин Креатинкиназа Лактатдегидрогеназа Лейцинаминопептидаза Липиды общие Магний Медь Мочевая кислота Мочевина Натрий Норадреналин Триглицериды Фосфор Фосфатаза щелочная Хлор Холинэстераза Холестерин Гематология Гемоглобин Гематокрит Лейкоциты Эритроциты	7 7 3 10 5 7 3 8 10 5 8 10 5 7 2 2 7 5 7 7 10 5 2 5 7 7 2 7 7 5 7 3 7 7 2 3 10 10

В целом, клиническая характеристика аналитических качеств метода и определение допустимых пределов погрешностей метода направлены на повышение диагностической значимости и экономической эффективности лабораторных тестов.