Приложение В (справочное). Объем испытаний и неопределенность

Приложение В
(справочное)

Объем испытаний и неопределенность

В.1 Доверительные интервалы и объем испытаний для независимых одинаково распределенных результатов сравнений

В.1.1 Правило трех

Правило трех используется при определении наименьшей вероятности ошибки, которая может быть статистически значимо установлена для N независимых одинаково распределенных результатов сравнений. Если значение вероятности ошибки р, для которого вероятность нулевой погрешности при N испытаниях является случайной и равна, например, 5 %, то

р  3/N

с доверительной вероятностью 95 % *.

------------------------------

^*_{Здесь и далее доверительная вероятность определяется как 100 %-ный уровень значимости, т.е. доверительная вероятность 95 % соответствует уровню значимости 5 %.}

------------------------------

Пример - Если испытание 300 независимых образцов прошло без ошибок, считают, что с доверительной вероятностью 95 % вероятность ошибки равна 1 % или меньше.

Примечание 1 - р  2/N с доверительной вероятностью 90 %.

Примечание 2 - Допущение о независимых одинаково распределенных результатах сравнений может быть принято, если каждая попытка подлинного лица выполнялась разными пользователями и если никакие две попытки "самозванца" не выполнялись одним и тем же пользователем. При n испытуемых субъектах могут быть выполнены n попыток подлинного лица и n/2 попыток "самозванца". При сравнении всех представленных признаков образца с зарегистрированными шаблонами получают намного больше попыток "самозванца" и согласно [24] достигается меньшая вероятность ошибки при взаимной зависимости попыток. Таким образом, кроме оперативного испытания, следует ограничить данные единственной попыткой пользователя, чтобы выполнить допущение о независимых одинаково распределенных результатах сравнений.

В.1.2 Правило тридцати

В правиле тридцати утверждается, что для того, чтобы с доверительной вероятностью 90 % истинная вероятность ошибки находилась в диапазоне  30 % от установленной вероятности ошибки, должно быть зарегистрировано не менее 30 ошибок [13]. Например, если получены 30 ошибок ложного несоответствия в 3000 независимых испытаниях, можно с доверительной вероятностью 90 % утверждать, что истинная вероятность ошибки находится в диапазоне от 0,7 % до 1,3 %. Правило следует непосредственно из биноминального распределения при независимых испытаниях и может применяться с учетом ожидаемых эксплуатационных характеристик для выполнения оценки.

Пример - Требуемые эксплуатационные характеристики: ВЛНС - 1 % и ВЛС - 0,1 %. В соответствии с правилом тридцати необходимо, чтобы были выполнены 3000 попыток подлинного лица и 30000 попыток "самозванца". Необходимо обратить внимание на допущение, что данные испытания должны быть независимыми. Для этого необходимо, чтобы в испытаниях приняли участие 3000 зарегистрированных пользователей и 30000 "самозванцев". Альтернатива - найти компромисс путем повторного использования меньшего числа испытуемых субъектов, но при этом необходимо учесть, что это приведет к потере статистической значимости.

Примечание - Правило является общим для разных доверительных интервалов. Например, чтобы быть на 90 % уверенным, что истинная вероятность ошибки находится в диапазоне  10 % установленного значения, необходимо, чтобы было выявлено не менее 260 ошибок. Чтобы быть на 90 % уверенным, что истинная вероятность ошибки находится в диапазоне  50 % наблюдаемого значения, необходимо чтобы было выявлено не менее 11 ошибок.

В.1.3 Число сравнений для обеспечения требуемой вероятности ошибки

В.1.3.1 Число статистически независимых сравнений, необходимых для обеспечения требуемой вероятности ошибки, показано на рисунке В.1. Например, никакое число ложных соответствий при N независимых сравнениях "самозванца" не может обеспечить требуемую вероятность ошибки ложного соответствия 3/N с доверительной вероятностью 95 % ^**, в то время как 30 ошибок обеспечивают требуемую вероятность 41/N.

------------------------------

^**_{В оригинале ИСО/МЭК 19795-1 допущена ошибка. В соответствии с правилом трех требуемая вероятность ошибки ложного соответствия 3/N с доверительной вероятностью 95 % может быть обеспечена при нулевой наблюдаемой ошибке ложного соответствия.}

------------------------------

Рисунок В.1 - Области, определяемые с доверительной вероятностью 95 %, для принятия (или отклонения) требуемой вероятности ошибки при N независимых сравнениях

Примечание - Диаграмма, приведенная на рисунке В.1, обеспечивает корректное приближение, если требуемая вероятность ошибки не более 1 %.

В.1.3.2 Чтобы гарантировать статистическую независимость, шаблоны "самозванцев" и имитирующие шаблоны для всех сравнений должны быть различными при одинаковых условиях извлеченными из целевой выборки. Данный подход неэффективен из-за низких ВЛС, поскольку для N независимых сравнений требуется 2N добровольцев.

В.1.3.3 Допускается использовать альтернативный метод перекрестного сравнения, но данный метод не гарантирует статистическую независимость. С Р людьми перекрестное сравнение попыток или шаблонов для каждой (неупорядоченной) пары может иметь низкую степень корреляции. Корреляции в пределах Р (Р - 1)/2 попыток ложных соответствий уменьшают доверительную вероятность для обеспечения требуемого уровня ВЛС по сравнению с тем же числом независимых сравнений.

В.2 Дисперсия эксплуатационных характеристик как функция объема испытаний

По мере увеличения объема испытаний дисперсия оценок уменьшается, но масштабный коэффициент зависит от источника вариации:

а) если все испытуемые субъекты совершают несколько попыток подлинных лиц, то дисперсия наблюдаемой ВЛНС содержит компоненты, обусловленные:

- вариацией испытуемых субъектов, отнесенной к их числу,

- остаточной вариацией попыток подлинных лиц, отнесенной к их числу.

б) если испытуемые субъекты совершают несколько попыток, и попытки "самозванца" были выполнены в режиме отложенного задания путем перекрестного сравнения данных попыток подлинных лиц с шаблонами регистрации от различного набора пользователей, то дисперсия наблюдаемой ВЛС содержит компоненты, обусловленные:

- вариацией попыток "самозванца", отнесенной к их числу,

- вариацией имитируемых шаблонов, отнесенной к их числу,

- вариацией подлинных образцов (отличается от рассчитанной вариации испытуемых субъектов), отнесенной к их числу,

- остаточной вариацией произведенных попыток "самозванца", отнесенной к их числу.

Примечание - Доддингтон и другие [16] показали существование "козлов", "ягнят" и "волков" в биометрических системах. "Козлы" - субъекты, имеющие персональную ВЛНС значительно выше, чем другие представители выборки, "ягнята" - субъекты, чьи шаблоны имеют непропорциональную долю ложных соответствий, а "волки" - субъекты, чьи образцы особенно часто показывают ложные соответствия. Это подразумевает, что для ВЛНС компонент дисперсии для испытуемых субъектов отличается от нуля; и для ложного соответствия компоненты для испытуемых субъектов и для шаблонов отличаются от нуля.

В.3 Оценка дисперсии эксплуатационных характеристик

В.3.1 Общие положения

В данном подразделе приведены формулы и методы оценки дисперсии эксплуатационных характеристик. Дисперсия - статистическая мера погрешности, которая может использоваться при оценке доверительных интервалов и др. Применение данных формул зависит от следующих предположений относительно распределения ошибок сравнения:

- испытуемая группа является репрезентативной по отношению к целевой выборке. Это справедливо в том случае, если, например, испытуемые субъекты выбраны случайно из целевой выборки;

- попытки различных субъектов являются независимыми. Это не всегда выполнимо. Поведение пользователей зависит от того, что они видят, что делают другие. Корреляции между субъектами испытания будут незначительными по сравнению с корреляциями в пределах ряда попыток одним испытуемым субъектом;

- попытки не зависят от порогового значения. В ином случае определения вероятности ошибок могут быть смещены, исключение составляет пороговое значение, используемое для сбора данных;

- вероятности ошибок варьируются внутри выборки. Различные субъекты могут иметь различные индивидуальные вероятности ошибки ложного несоответствия, и различные пары субъектов могут иметь различные индивидуальные вероятности ошибки ложного соответствия;

- число наблюдаемых ошибок является достаточно большим. При отсутствии наблюдаемых ошибок при вычислении по формулам получают нулевую дисперсию, и в этом случае применяют правило трех.

В.3.2 Дисперсия наблюдаемой вероятности ложного несоответствия

В.3.2.1 Вероятность ложного несоответствия - единственная попытка испытуемых субъектов

Если каждый испытуемый субъект совершает единственную попытку, используют следующие формулы:

,

(В.1)

,

(В.2)

где n - число зарегистрированных испытуемых субъектов;

а _i - число ложных несоответствий для i-го испытуемого субъекта;

- наблюдаемая ВЛНС;

() - оценка дисперсии наблюдаемой ВЛНС.

Примечание 1 - Правила выведения формулы (В.2) описаны в научной литературе по статистике (например, [31]).

Примечание 2 - Данные формулы иногда неправильно используют в случаях, когда субъекты совершают несколько попыток. В общем случае не допускается заменять число испытуемых субъектов на n число попыток.

Примечание 3 - Данные формулы применяют для определения оценок дисперсий отказа сбора данных и отказа регистрации в случае одной попытки испытуемых субъектов.

В.3.2.2 Вероятность ложного несоответствия - несколько попыток испытуемых субъектов

Если каждый испытуемый субъект совершает одинаковое число попыток, соответствующие оценки рассчитывают по следующим формулам [31]:

,

(В.3)

,

(В.4)

где n - число зарегистрированных испытуемых субъектов;

m - число попыток, совершенных каждым испытуемым субъектом;

а _i - число ложных несоответствий для i-го испытуемого субъекта;

- наблюдаемая ВЛНС;

() - оценка дисперсии наблюдаемой ВЛНС.

Примечание 1 - Если m = 1, для оценки применяют формулы В.1 и В.2.

Примечание 2 - Данные формулы применяют для определения оценок дисперсий отказа сбора данных в случае нескольких попыток испытуемых субъектов.

В.3.2.3 Вероятность ложного несоответствия - неравночисленные попытки испытуемых субъектов

Число попыток испытуемого субъекта может варьироваться. Некоторые субъекты могут не выполнить требуемое число попыток. Отказы регистрации также могут стать причиной того, что попытки не будут учтены при вычислении ВЛНС. Если нет корреляции между числом сделанных попыток и числом удачных попыток, то:

,

(В.5)

,

(В.6)

где n - число зарегистрированных испытуемых субъектов;

m _i - число попыток, совершенных i-м испытуемым субъектом;

а _i - число ложных несоответствий для i-го испытуемого субъекта;

- наблюдаемая ВЛНС;

() - оценка дисперсии наблюдаемой ВЛНС.

Примечание 1 - Данная оценка дисперсии по [31] - приближение, представленное в удобной для применения форме.

Примечание 2 - При равном числе попыток m _i вычисление оценок проводят по формулам (В.3) и (В.4).

Примечание 3 - Если частота использования испытуемых субъектов коррелирует с числом удачных попыток (например, отсеянные испытуемые субъекты могут совершить дополнительные попытки для распознавания или, пользуясь системой более часто, могут привести к завышенным оценкам эксплуатационных характеристик в связи с эффектом привыкания), формулы (В.5) и (В.6) не применяют, т.к. результат испытаний будет зависеть от маленькой группы часто встречающихся, но нетипичных пользователей.

В.3.3 Дисперсия наблюдаемой вероятности ложного соответствия

Если проведен полный набор взаимных сравнений, то наблюдаемую вероятность ошибки ложного соответствия и оценку дисперсии рассчитывают по следующим формулам:

,

(B.7)

,

(B.8)

где n - число испытуемых субъектов (и зарегистрированных шаблонов);

m - число образцов каждого испытуемого субъекта;

b _ij - число проб i-го испытуемого субъекта, ложно соответствующих шаблону j-го испытуемого субъекта (b _ii = 0);

c _i - число ложных соответствий с шаблоном i-го испытуемого субъекта ();

d _i - число ложных соответствий с i-м испытуемым субъектом ();

- наблюдаемая вероятность ошибки ложного соответствия;

() - оценка дисперсии наблюдаемой вероятности ошибки ложного соответствия.

Примечание - Формула (В.8) для m = 1 получена Бикелом [22] и экспериментально верифицирована [24].

В.4 Оценка доверительных интервалов

В.4.1 Общие положения

В.4.1.1 В соответствии с центральной предельной теоремой [31] при достаточно большом числе попыток наблюдаемые вероятности ошибок должны подчиняться нормальному закону распределения. Если значения вероятностей ошибок близки к 0 %, а дисперсия не одинакова по выборке, то остается некоторая асимметрия до тех пор, пока число испытуемых субъектов не станет достаточно большим.

В.4.1.2 Согласно допущению о нормальном распределении, границы 100 (1 - ) % доверительного интервала для наблюдаемых вероятностей ошибки определяют по формуле

,

(В.9)

где z (х) - квантили стандартного нормального распределения, то есть площадь под кривой плотности вероятности стандартного нормального распределения с серединой в нуле и дисперсией, равной единице, в интервале от - до z (х) равна х. Для 95 %-ного доверительного интервала значение z (0,975) = 1,96;

- вероятность того, что доверительный интервал не содержит истинного значения вероятности ошибки;

- наблюдаемая вероятность ошибки;

- оценка дисперсии вероятности ошибки.

В.4.1.3 Часто при применении вышеупомянутой формулы доверительный интервал включает в себя отрицательные значения наблюдаемой вероятности ошибки, но отрицательных значений вероятностей ошибок быть не может. Это происходит вследствие отклонения от нормального распределения наблюдаемой вероятности ошибки. В таких случаях для определения доверительных интервалов следует использовать непараметрические методы, например, самонастройку по [32] - [34].

В.4.2 Самонастраивающиеся оценки дисперсии и доверительных интервалов

В.4.2.1 Если биометрическая система обеспечивает самонастраивающуюся оценку, это устраняет необходимость делать предположения относительно распределения наблюдаемых вероятностей ошибок и зависимостей между попытками. Распределения и зависимости система определяет по имеющимся данным. Производя выборку с заменой первоначальных данных, может быть создан самонастраивающийся образец, по которому проводится определение вероятности ошибки. При большом числе таких самонастраивающихся образцов может быть получено эмпирическое распределение, используемое для определения доверительных интервалов, оценки неопределенности и т.д.

В.4.2.2 Чтобы проиллюстрировать процесс, предположим, что необходимо оценить вероятность ошибки ложного соответствия, используя полный набор перекрестных сравнений с n испытуемыми субъектами, каждый из которых совершает по m попыток, которые будут сравниваться со всеми (n - 1) несобственными шаблонами. Значение х (v, а, t) обозначает результат сопоставления попытки а испытуемого субъекта v с шаблоном t. Набор данных X для оценки ВЛС включает в себя результаты всех mn (n - 1) перекрестных сравнений Х = {х (v, a, t) | t v {1, ..., m}}. Каждый самонастраивающийся образец должен быть построен с помощью набора данных X методом, который повторяет структуру и зависимость первоначальных данных. Данный метод заключается в следующем:

a) выборка n испытуемых субъектов с заменой: v (1), ..., v (n). (Выборка с заменой означает, что список будет содержать более чем одно появление одного и того же элемента);

b) для каждого v (i) образца с заменой (n - 1) несобственных шаблонов: t (i, 1), ..., t (i, n - 1);

c) для каждого v (i) образца с заменой m попыток, выполненных испытуемым субъектом: (i, 1), ..., (i, m);

d) самонастраивающийся образец:

.

Создается множество самонастраивающихся образцов, и для каждого из них определяется вероятность ошибки ложного соответствия. Распределение значений самонастройки для вероятности ошибки ложного соответствия используется для аппроксимации наблюдаемой вероятности ошибки ложного соответствия.

В.4.2.3 Самонастраивающиеся значения позволяют определить границы 100 (1 - ) % доверительного интервала: выбрать такие значения L (нижний предел) и U (верхний предел), что /2 самонастраивающихся значений будет меньше L, а /2 самонастраивающихся значений - больше U. Для определения границ 95 %-ного доверительного интервала должны использоваться не менее 1000 самонастраивающихся образцов, а для 99 %-ного доверительного интервала - не менее 5000 самонастраивающихся образцов.

В.4.3 Разбиение на подмножества

В.4.3.1 Данный метод для определения границ доверительного интервала ошибок по наблюдаемым вероятностям ошибок заключается в разбиении собранных данных испытаний на непересекающиеся подмножества пользователей и построении кривой КОО для каждого подмножества. Например, в отчете испытаний [11] данный метод применен для определения эллипсов ошибки.

В.4.3.2 Основной метод определения эллипсов ошибки заключается в следующем:

a) собрать результаты эксплуатационных испытаний, при которых были испытаны Т испытуемых субъектов;

b) разделить испытуемую выборку на М (например, М = 10) непересекающихся подмножеств размером N = T/M;

c) построить кривую КОО для каждого подмножества;

d) установить пороговое значение t;

1) вычислить х _i = () при пороговом значении для всех множеств i = 1, ..., М;

2) вычислить выборочное среднее значение m = sum (х _i)/М и выборочную ковариацию  = sum ((х _i - m) (х _i - n) ^T)/(М - 1);

3) m и /sqrt (М) обеспечивают оценку распределения ВЛС и ВЛНС наблюдений (вычисленную для всей испытуемой выборки) при пороговом значении t, которое согласно допущению о нормальном распределении может использоваться для определения 95 %-ного доверительного эллипса вокруг m;

e) повторить операции, указанные в перечислении а) - d) при других пороговых значениях t.