Приложение В (справочное). Объем испытаний и неопределенность

Приложение В
(справочное)

Объем испытаний и неопределенность

В.1 Доверительные интервалы и объем испытаний для независимых одинаково распределенных результатов сравнений

В.1.1 Правило трех

Правило трех используется при определении наименьшей вероятности ошибки, которая может быть статистически значимо установлена для N независимых одинаково распределенных результатов сравнений. Если значение вероятности ошибки р, для которого вероятность нулевой погрешности при N испытаниях является случайной и равна, например, 5 %, то

р  3/N

с доверительной вероятностью 95 % *.

------------------------------

^*_{Здесь и далее доверительная вероятность определяется как 100 %-ный уровень значимости, т.е. доверительная вероятность 95 % соответствует уровню значимости 5 %.}

------------------------------

Пример - Если испытание 300 независимых образцов прошло без ошибок, считают, что с доверительной вероятностью 95 % вероятность ошибки равна 1 % или меньше.

Примечание 1 - р  2/N с доверительной вероятностью 90 %.

Примечание 2 - Допущение о независимых одинаково распределенных результатах сравнений может быть принято, если каждая попытка подлинного лица выполнялась разными пользователями и если никакие две попытки "самозванца" не выполнялись одним и тем же пользователем. При n испытуемых субъектах могут быть выполнены n попыток подлинного лица и n/2 попыток "самозванца". При сравнении всех представленных признаков образца с зарегистрированными шаблонами получают намного больше попыток "самозванца" и согласно [24] достигается меньшая вероятность ошибки при взаимной зависимости попыток. Таким образом, кроме оперативного испытания, следует ограничить данные единственной попыткой пользователя, чтобы выполнить допущение о независимых одинаково распределенных результатах сравнений.

В.1.2 Правило тридцати

В правиле тридцати утверждается, что для того, чтобы с доверительной вероятностью 90 % истинная вероятность ошибки находилась в диапазоне  30 % от установленной вероятности ошибки, должно быть зарегистрировано не менее 30 ошибок [13]. Например, если получены 30 ошибок ложного несоответствия в 3000 независимых испытаниях, можно с доверительной вероятностью 90 % утверждать, что истинная вероятность ошибки находится в диапазоне от 0,7 % до 1,3 %. Правило следует непосредственно из биноминального распределения при независимых испытаниях и может применяться с учетом ожидаемых эксплуатационных характеристик для выполнения оценки.

Пример - Требуемые эксплуатационные характеристики: ВЛНС - 1 % и ВЛС - 0,1 %. В соответствии с правилом тридцати необходимо, чтобы были выполнены 3000 попыток подлинного лица и 30000 попыток "самозванца". Необходимо обратить внимание на допущение, что данные испытания должны быть независимыми. Для этого необходимо, чтобы в испытаниях приняли участие 3000 зарегистрированных пользователей и 30000 "самозванцев". Альтернатива - найти компромисс путем повторного использования меньшего числа испытуемых субъектов, но при этом необходимо учесть, что это приведет к потере статистической значимости.

Примечание - Правило является общим для разных доверительных интервалов. Например, чтобы быть на 90 % уверенным, что истинная вероятность ошибки находится в диапазоне  10 % установленного значения, необходимо, чтобы было выявлено не менее 260 ошибок. Чтобы быть на 90 % уверенным, что истинная вероятность ошибки находится в диапазоне  50 % наблюдаемого значения, необходимо чтобы было выявлено не менее 11 ошибок.

В.1.3 Число сравнений для обеспечения требуемой вероятности ошибки

В.1.3.1 Число статистически независимых сравнений, необходимых для обеспечения требуемой вероятности ошибки, показано на рисунке В.1. Например, никакое число ложных соответствий при N независимых сравнениях "самозванца" не может обеспечить требуемую вероятность ошибки ложного соответствия 3/N с доверительной вероятностью 95 % ^**, в то время как 30 ошибок обеспечивают требуемую вероятность 41/N.

------------------------------

^**_{В оригинале ИСО/МЭК 19795-1 допущена ошибка. В соответствии с правилом трех требуемая вероятность ошибки ложного соответствия 3/N с доверительной вероятностью 95 % может быть обеспечена при нулевой наблюдаемой ошибке ложного соответствия.}

------------------------------

Рисунок В.1 - Области, определяемые с доверительной вероятностью 95 %, для принятия (или отклонения) требуемой вероятности ошибки при N независимых сравнениях

Примечание - Диаграмма, приведенная на рисунке В.1, обеспечивает корректное приближение, если требуемая вероятность ошибки не более 1 %.

В.1.3.2 Чтобы гарантировать статистическую независимость, шаблоны "самозванцев" и имитирующие шаблоны для всех сравнений должны быть различными при одинаковых условиях извлеченными из целевой выборки. Данный подход неэффективен из-за низких ВЛС, поскольку для N независимых сравнений требуется 2N добровольцев.

В.1.3.3 Допускается использовать альтернативный метод перекрестного сравнения, но данный метод не гарантирует статистическую независимость. С Р людьми перекрестное сравнение попыток или шаблонов для каждой (неупорядоченной) пары может иметь низкую степень корреляции. Корреляции в пределах Р (Р - 1)/2 попыток ложных соответствий уменьшают доверительную вероятность для обеспечения требуемого уровня ВЛС по сравнению с тем же числом независимых сравнений.

В.2 Дисперсия эксплуатационных характеристик как функция объема испытаний

По мере увеличения объема испытаний дисперсия оценок уменьшается, но масштабный коэффициент зависит от источника вариации:

а) если все испытуемые субъекты совершают несколько попыток подлинных лиц, то дисперсия наблюдаемой ВЛНС содержит компоненты, обусловленные:

- вариацией испытуемых субъектов, отнесенной к их числу,

- остаточной вариацией попыток подлинных лиц, отнесенной к их числу.

б) если испытуемые субъекты совершают несколько попыток, и попытки "самозванца" были выполнены в режиме отложенного задания путем перекрестного сравнения данных попыток подлинных лиц с шаблонами регистрации от различного набора пользователей, то дисперсия наблюдаемой ВЛС содержит компоненты, обусловленные:

- вариацией попыток "самозванца", отнесенной к их числу,

- вариацией имитируемых шаблонов, отнесенной к их числу,

- вариацией подлинных образцов (отличается от рассчитанной вариации испытуемых субъектов), отнесенной к их числу,

- остаточной вариацией произведенных попыток "самозванца", отнесенной к их числу.

Примечание - Доддингтон и другие [16] показали существование "козлов", "ягнят" и "волков" в биометрических системах. "Козлы" - субъекты, имеющие персональную ВЛНС значительно выше, чем другие представители выборки, "ягнята" - субъекты, чьи шаблоны имеют непропорциональную долю ложных соответствий, а "волки" - субъекты, чьи образцы особенно часто показывают ложные соответствия. Это подразумевает, что для ВЛНС компонент дисперсии для испытуемых субъектов отличается от нуля; и для ложного соответствия компоненты для испытуемых субъектов и для шаблонов отличаются от нуля.

В.3 Оценка дисперсии эксплуатационных характеристик

В.3.1 Общие положения

В данном подразделе приведены формулы и методы оценки дисперсии эксплуатационных характеристик. Дисперсия - статистическая мера погрешности, которая может использоваться при оценке доверительных интервалов и др. Применение данных формул зависит от следующих предположений относительно распределения ошибок сравнения:

- испытуемая группа является репрезентативной по отношению к целевой выборке. Это справедливо в том случае, если, например, испытуемые субъекты выбраны случайно из целевой выборки;

- попытки различных субъектов являются независимыми. Это не всегда выполнимо. Поведение пользователей зависит от того, что они видят, что делают другие. Корреляции между субъектами испытания будут незначительными по сравнению с корреляциями в пределах ряда попыток одним испытуемым субъектом;

- попытки не зависят от порогового значения. В ином случае определения вероятности ошибок могут быть смещены, исключение составляет пороговое значение, используемое для сбора данных;

- вероятности ошибок варьируются внутри выборки. Различные субъекты могут иметь различные индивидуальные вероятности ошибки ложного несоответствия, и различные пары субъектов могут иметь различные индивидуальные вероятности ошибки ложного соответствия;

- число наблюдаемых ошибок является достаточно большим. При отсутствии наблюдаемых ошибок при вычислении по формулам получают нулевую дисперсию, и в этом случае применяют правило трех.

В.3.2 Дисперсия наблюдаемой вероятности ложного несоответствия

В.3.2.1 Вероятность ложного несоответствия - единственная попытка испытуемых субъектов

Если каждый испытуемый субъект совершает единственную попытку, используют следующие формулы:

,

(В.1)

,

(В.2)

где n - число зарегистрированных испытуемых субъектов;

а _i - число ложных несоответствий для i-го испытуемого субъекта;

- наблюдаемая ВЛНС;

() - оценка дисперсии наблюдаемой ВЛНС.

Примечание 1 - Правила выведения формулы (В.2) описаны в научной литературе по статистике (например, [31]).

Примечание 2 - Данные формулы иногда неправильно используют в случаях, когда субъекты совершают несколько попыток. В общем случае не допускается заменять число испытуемых субъектов на n число попыток.

Примечание 3 - Данные формулы применяют для определения оценок дисперсий отказа сбора данных и отказа регистрации в случае одной попытки испытуемых субъектов.

В.3.2.2 Вероятность ложного несоответствия - несколько попыток испытуемых субъектов

Если каждый испытуемый субъект совершает одинаковое число попыток, соответствующие оценки рассчитывают по следующим формулам [31]:

,

(В.3)

,

(В.4)

где n - число зарегистрированных испытуемых субъектов;

m - число попыток, совершенных каждым испытуемым субъектом;

а _i - число ложных несоответствий для i-го испытуемого субъекта;

- наблюдаемая ВЛНС;

() - оценка дисперсии наблюдаемой ВЛНС.

Примечание 1 - Если m = 1, для оценки применяют формулы В.1 и В.2.

Примечание 2 - Данные формулы применяют для определения оценок дисперсий отказа сбора данных в случае нескольких попыток испытуемых субъектов.

В.3.2.3 Вероятность ложного несоответствия - неравночисленные попытки испытуемых субъектов

Число попыток испытуемого субъекта может варьироваться. Некоторые субъекты могут не выполнить требуемое число попыток. Отказы регистрации также могут стать причиной того, что попытки не будут учтены при вычислении ВЛНС. Если нет корреляции между числом сделанных попыток и числом удачных попыток, то:

,

(В.5)

,

(В.6)

где n - число зарегистрированных испытуемых субъектов;

m _i - число попыток, совершенных i-м испытуемым субъектом;

а _i - число ложных несоответствий для i-го испытуемого субъекта;

- наблюдаемая ВЛНС;

() - оценка дисперсии наблюдаемой ВЛНС.

Примечание 1 - Данная оценка дисперсии по [31] - приближение, представленное в удобной для применения форме.

Примечание 2 - При равном числе попыток m _i вычисление оценок проводят по формулам (В.3) и (В.4).

Примечание 3 - Если частота использования испытуемых субъектов коррелирует с числом удачных попыток (например, отсеянные испытуемые субъекты могут совершить дополнительные попытки для распознавания или, пользуясь системой более часто, могут привести к завышенным оценкам эксплуатационных характеристик в связи с эффектом привыкания), формулы (В.5) и (В.6) не применяют, т.к. результат испытаний будет зависеть от маленькой группы часто встречающихся, но нетипичных пользователей.

В.3.3 Дисперсия наблюдаемой вероятности ложного соответствия

Если проведен полный набор взаимных сравнений, то наблюдаемую вероятность ошибки ложного соответствия и оценку дисперсии рассчитывают по следующим формулам:

,

(B.7)

,

(B.8)

где n - число испытуемых субъектов (и зарегистрированных шаблонов);

m - число образцов каждого испытуемого субъекта;

b _ij - число проб i-го испытуемого субъекта, ложно соответствующих шаблону j-го испытуемого субъекта (b _ii = 0);

c _i - число ложных соответствий с шаблоном i-го испытуемого субъекта ();

d _i - число ложных соответствий с i-м испытуемым субъектом ();

- наблюдаемая вероятность ошибки ложного соответствия;

() - оценка дисперсии наблюдаемой вероятности ошибки ложного соответствия.

Примечание - Формула (В.8) для m = 1 получена Бикелом [22] и экспериментально верифицирована [24].

В.4 Оценка доверительных интервалов

В.4.1 Общие положения

В.4.1.1 В соответствии с центральной предельно