Приложение L. Межлабораторное исследование качественных методов: критерии согласованности, соответствия и коэффициент расхождения между согласованностью и соответствием

Приложение L
(справочное)

Межлабораторное исследование
качественных методов: критерии согласованности, соответствия и коэффициент расхождения между согласованностью и соответствием

L.1 Общие требования

Критерии точности, чувствительности и специфичности (см. 5.2.2) не в полной мере характеризуют изменчивость метода внутри и между лабораториями (прецизионность метода).

Это приложение содержит дополнительные критерии (согласованность, соответствие и коэффициент расхождения между согласованностью и соответствием), которые позволяют проанализировать такую изменчивость.

Критерии повторяемости и воспроизводимости характеризуют возможную разницу между двумя образцами, отправленными в одну или разные лаборатории. Поскольку разность неколичественных данных нельзя использовать, статистика качественных методов основана на вероятности (выраженной в процентах) того, что два образца дадут одинаковый результат.

Такие критерии разработаны в Европейском проекте SMT CT 96 2098, финансируемом Европейской комиссией/DG XII, для валидации шести основных стандартизованных методов, используемых в микробиологии пищевых продуктов (координатор - Др. C. Lahellec, AFSSA, Франция) [9].

Вычисления представлены в таблице L.1.

Таблица L.1 - Примеры числовых данных

Лаборатории	Номер реплики					Число положительных результатов (из 5)
	1	2	3	4	5
1	+	+	+	+	+	5
2	+	+	+	+	+	5
3	+	+	+	+	+	5
4	+	+	+	+	+	5
5	-	-	+	+	+	3
6	+	+	+	+	+	5
7	-	-	+	+	+	3
8	+	+	+	+	+	5
9	+	+	+	+	+	5
10	+	+	+	+	+	5

Данные, приведенные в этой таблице, относятся только к одному уровню одного типа пищевого продукта. На практике совместное испытание является более обширным, но меньший набор данных облегчает объяснение вычислений.

L.2 Согласованность (accordance)

L.2.1 Определение

Согласованность (accordance) - это выраженная в процентах вероятность получения одинакового результата (т.е. оба положительные или оба отрицательные) от двух идентичных подобразцов, анализируемых в одной лаборатории, в условиях повторяемости (т.е. один оператор, использующий то же оборудование и те же реагенты с минимальным разумным временным интервалом).

Согласованность, таким образом, эквивалентна повторяемости в количественных методах.

L.2.2 Вычисления

Для получения согласованности по результатам межлабораторного исследования для каждой лаборатории-участника поочередно вычисляют вероятность того, что два образца дадут один и тот же результат. Затем находят среднюю вероятность по всем лабораториям.

Например, см. таблицы L.1 и L.2.

Для тех лабораторий (как, например, лаборатория 1), где все образцы оказались положительными, наилучшая оценка вероятности получения того же результата точно равна 1,00 или 100%.

Для других (например, лаборатории 5 и 7) вероятность того, что одна реплика окажется положительной, равна 3/5 = 0,60. Для получения вероятности положительности пары реплик возводят эту вероятность в квадрат (). Проделывают ту же операцию для получения вероятности отрицательности пары реплик . Затем суммируют эти цифры для получения полной вероятности того, что две реплики дадут одинаковый результат (0,36 + 0,16 = 0,52).

Проводят такие вычисления для всех лабораторий (см. таблицу L.2).

Таблица L.2 - Вычисление согласованности

Лаборатории	Число положительных образцов	Вероятность положительного образца	Вероятность пар положительных образцов	Вероятность отрицательного образца	Вероятность пар отрицательных образцов	Вероятность пар с одинаковыми результатами
1	5	1,00	1,00	0,00	0,00	1,00
2	5	1,00	1,00	0,00	0,00	1,00
3	5	1,00	1,00	0,00	0,00	1,00
4	5	1,00	1,00	0,00	0,00	1,00
5	3	0,60	0,36	0,40	0,16	0,52
6	5	1,00	1,00	0,00	0,00	1,00
7	3	0,60	0,36	0,40	0,16	0,52
8	5	1,00	1,00	0,00	0,00	1,00
9	5	1,00	1,00	0,00	0,00	1,00
10	5	1,00	1,00	0,00	0,00	1,00
					Среднее: 0,904 = 90,4%

Согласованность - это среднее значение вероятностей, что для двух реплик будет получен одинаковый результат для каждой лаборатории. В данном случае согласованность составляет 90,4%.

Примечание - Так как повторяемость характеризует разницу, в то время как согласованность измеряет сходство, высокие значения согласованности означают, что метод надежен в отличии от количественных методов, где желательны низкие значения повторяемости.

L.3 Соответствие (concordance)

L.3.1 Определение

Соответствие (concordance) - это выраженная в процентах вероятность получения одинакового результата от двух идентичных образцов, анализируемых в разных лабораториях.

Соответствие, таким образом, является эквивалентом воспроизводимости в количественных методах.

L.3.2 Вычисления

Для вычисления соответствия по результатам межлабораторного исследования используют поочередно каждую реплику в каждой лаборатории-участнике и группируют по парам с идентичными результатами всех других лабораторий.

Соответствие - это выраженная в процентах доля всех пар, дающих одинаковые результаты, от всех возможных упомянутых пар данных.

Например, см. таблицы L.1 и L.3.

Поочередно используют каждую реплику из каждой лаборатории, начиная с первой реплики из лаборатории 1, которая положительна. Ее можно объединить в пару с любой из 45 реплик из других лабораторий, и все, кроме 4, из этих пар (а именно, кроме тех, что составлены из реплик из лабораторий 5 и 7) сочетаются (т.е. являются парой с двумя положительными репликами), и, таким образом, для 41 пары получают одинаковый результат.

То же самое проделывают с остальными 4 репликами лаборатории 1 так, что получается суммарное число в 225 (5 · 45) межлабораторных пар реплик, включающих реплики из лаборатории 1, из которых 205 (5 · 41) дают одинаковый результат.

То же выполняют во всех других лабораториях со всеми репликами, которые оказались положительными.

Для лаборатории 5, где 3 реплики из 5 положительны, 2 отрицательных результата совпадают лишь с 2 другими отрицательными результатами лаборатории 7, в то время как из 3 положительных каждый совпадает с 43 положительными репликами. Таким образом, суммарное число пар с одинаковым результатом 133 (2 · 2 + 3 · 43).

Таблица L.3 - Вычисление соответствия

Лаборатории	Число положительных образцов	Межлабораторные пары с одинаковыми результатами	Суммарное число межлабораторных пар
1	5	205	225
2	5	205	225
3	5	205	225
4	5	205	225
5	3	133	225
6	5	205	225
7	3	133	225
8	5	205	225
9	5	205	225
10	5	205	225
Всего		1906	2250

Соответствие - это процентная доля всех пар дупликатов, дающих одинаковый результат; в этом примере соответствие равно 84,7% (1 906/2 250 · 100).

Примечание - Так как воспроизводимость характеризует разницу, а соответствие характеризует подобие, высокие значения соответствия свидетельствуют о надежности метода в отличие от количественных методов, где желательны низкие значения воспроизводимости.

L.4 Коэффициент расхождения между согласованностью и соответствием

L.4.1 Общие положения и определение

Если соответствие меньше согласованности, то это свидетельствует о том, что вероятность получения одного и того же результата для двух идентичных образцов, анализируемых в одной лаборатории, больше, чем в случае анализа в разных лабораториях, что дает основание предполагать, что может существовать изменчивость рабочих характеристик между лабораториями. В случае количественного метода эта ситуация соответствует тому, что воспроизводимость больше повторяемости.

К сожалению, величины соответствия и согласованности сильно зависят от уровня точности, что затрудняет процесс оценки степени межлабораторной вариации.

Поэтому полезно вычислить коэффициент расхождения между согласованностью и соответствием (COR), определяемый следующим образом:

L.4.2 Критерии значимости

Значение 1,00 коэффициента расхождения между согласованностью и соответствием указывает, что согласованность и соответствие одинаковы, и чем больше этот коэффициент, тем более доминирующую роль играет межлабораторная вариация.

Тем не менее значения, превышающие 1,00, могут появляться из-за случайной вариации, поэтому необходимо провести испытания на статистическую значимость для подтверждения, доказательны ли данные о повышенной межлабораторной вариации. "Точным критерием" является наилучший рекомендованный для этого критерий*1). Основной принцип, лежащий в основе таких критериев, заключается в том, что вероятность события вычисляется для всех наборов результатов для реплик, которые могли привести к общему числу положительных и отрицательных результатов.

Например, см. таблицу L.1.

Возможные распределения общего числа 46 положительных и 4 отрицательных реплик приведены в столбцах в таблице L.4.

Таблица L.4 - Возможные распределения положительных реплик (столбцы) для получения общего числа 46 положительных

4	3	3	2	1
4	4	3	4	5
4	4	5	5	5
4	5	5	5	5
5	5	5	5	5
5	5	5	5	5
5	5	5	5	5
5	5	5	5	5
5	5	5	5	5
5	5	5	5	5

Реальное распределение показано жирным шрифтом (третий столбец) в таблице L.4. По критерию в ходе вычислений складываются вероятности Р для всех тех возможных вариантов размещения результатов, которые, по меньшей мере, столь же доказательно свидетельствуют о наличии межлабораторной вариации, как и реальное распределение, - здесь это означает использование всех перестановок в трех столбцах справа. Если эта вероятность меньше, чем принятое значение в 0,05% или 5%, то маловероятно, что эта степень межлабораторных вариаций могла появиться случайно, и, таким образом, можно сделать вывод, что существует значимая межлабораторная вариация в рабочих характеристиках.

В иллюстративной таблице L.4 значение Р = 0,039 указывает, что межлабораторная вариация значима с уровнем 5%.

В случаях, когда программное обеспечение для "Точного критерия" недоступно, в качестве альтернативы можно использовать обычный статистический анализ с помощью критерия хи-квадрат таблиц сопряженности признаков. Результаты этого критерия менее надежны, чем результаты "точного критерия" при количестве реплик, обычно используемом в совместных исследованиях, но результаты моделирования дают основания полагать, что такой критерий является разумным указателем значимости межлабораторных расхождений.

При использовании любого критерия следует учитывать, что способность обнаруживать межлабораторные расхождения зависит от числа лабораторий и числа повторных образцов, проанализированных каждой лабораторией. Незначимый результат таких критериев не должен приниматься как указание на то, что рабочие характеристики лабораторий не отличаются, а является свидетельством того, что расхождения не доказаны, особенно если значение Р чуть превышает 0,05. Идеальным решением было бы приводить значение коэффициента расхождения между согласованностью и соответствием с указанием среднеквадратической погрешности или доверительных пределов, но распределение коэффициента расхождения между согласованностью и соответствием сильно асимметрично, что затрудняет получение надежных пределов.

_____________________

*1) Этот критерий можно вычислить, используя, например, статистические пакеты программ .