Приложение D (справочное). Методы определения объема оперативного испытания

Приложение D
(справочное)

Методы определения объема оперативного испытания

D.1 Общие положения

Оперативные испытания должны предусматривать такой объем испытания (то есть число транзакций оперативного испытания), который будет достаточен для достижения целей данного испытания. Объем оперативного испытания влияет на точность получаемых значений эксплуатационных характеристик, на то, какой минимальный уровень ошибки может быть измерен; на вероятность обнаружения значимого результата в случае наличия такового (мощность оперативного испытания); на вероятность ложной интерпретации случайных процессов как значимых (уровень значимости оперативного испытания).

Связь между числом транзакций оперативного испытания и статистической значимостью результатов зависит от проверяемой в оперативном испытании гипотезы. При оперативных испытаниях биометрической системы целью часто является сравнение количественных соотношений, таких как вероятности ошибок, вероятности недопуска или вероятности отказа биометрической регистрации, например:

- есть ли различия в вероятностях недопуска у двух подсистем, использующих разные биометрические сканеры?

- влияют ли изменения условий окружающей среды на вероятности недопуска?

- функционирует ли биометрическая система в пределах заданного диапазона эксплуатационных характеристик для вероятности ложного недопуска?

Приведенные ниже примеры демонстрируют общий подход к определению объема оперативного испытания для таких случаев.

D.2 Объем оперативного испытания для сравнения количественных соотношений

В оперативном испытании проводится поиск возможных различий между вероятностями недопуска биометрической системы для двух различных биометрических сканеров (А и В). Во время эксперимента будет проведено n транзакций верификации "подлинного лица" при использовании каждого биометрического сканера. Пусть и - истинные вероятности недопуска каждого биометрического сканера. Статистический параметр , полученный в ходе оперативного испытания, является наблюдаемым различием между вероятностями недопуска двух биометрических образцов, а нулевая гипотеза ( = ) будет отвергнута в случае, если превысит критерий оперативного испытания с.

Для вычисления необходимого объема оперативного испытания испытатель должен определить:

- значение , соответствующее различию, которое считается существенным;

- желаемую вероятность получения значимого результата в случае, если истинное различие больше или равно (стандартные значения : 0,80; 0,90 или 0,95);

- уровень значимости оперативного испытания (стандартные значения : 0,10; 0,05 или 0,01).

Для данного примера будем считать, что транзакции верификации являются статистически независимыми. Тогда будет иметь распределение, близкое к нормальному со средним значением и стандартным отклонением (где р = ()/2 может быть установлено на основе наблюдения за рабочей биометрической системой).

В данном примере будут использоваться значения = 0,06; = 0,80; = 0,10 и р = 0,12. Таким образом:

a) если , при оперативном испытании имеется вероятность не менее 80% определить, что c , и отвергнуть нулевую гипотезу;

b) если = , при оперативном испытании имеется вероятность не более 10% определить, что c и отвергнуть нулевую гипотезу.

Заметим, что:

- имеет распределение, близкое к нормальному, со средним значением

( + )/2 и среднеквадратичным отклонением ;

- 10% стандартного нормального распределения лежит за пределами интервала (-1,645; 1,645);

- 80% стандартного нормального распределения лежит в интервале (-0,842; ).

Из требований а) и b) следует:

.

Для критерия достоверности оперативного испытания с необходимо:

.

Таким образом, в рассматриваемом примере необходимо провести испытание минимум с 363 транзакциями для каждого биометрического сканера.

Общая формула числа транзакций оперативного испытания для сравнения количественных соотношений (для двустороннего критерия с независимыми транзакциями):

,

где - нормальное отклонение для двустороннего уровня значимости ;

- нормальное отклонение для одностороннего уровня значимости = (1 - );

р - (оценка) доля(и) интереса, усредненная по обоим биометрическим образцам.

Заметим, что уменьшение значения , увеличение значения или уменьшение значения уровня значимости приведет к увеличению необходимого числа транзакций.

Описанный метод построен на допущениях о нормальности распределения и независимости выборок. Данный метод может дать заниженное число необходимых транзакций, если результаты транзакций имеют положительную корреляцию (например, если большая доля транзакций проводится на относительно небольшом числе испытуемых субъектов). Осторожность также нужна при использовании оценочных значений р и n, () < 10 (или если n(1 - р) < 10), когда аппроксимация нормальным распределением не подходит для достаточно точной оценки n.

D.3 Сравнение вероятности недопуска с заданным значением

Предположим, что в результате работы необходимо получить вероятность недопуска менее . Полученная при оперативном испытании величина X - наблюдаемое число недопусков, и биометрическая система будет признана работающей в пределах заданных требований, если X не превышает значение критерия оперативного испытания с.

Уровень значимости означает, что если действительная вероятность недопуска превышает , вероятность неверной интерпретации биометрической системы как удовлетворяющей требованиям составляет максимум .

В свою очередь значения и выбираются на основе решения, что если вероятность недопуска ниже - , биометрическая система будет признана удовлетворяющей требованиям как минимум с вероятностью . Тогда, если транзакции принять независимыми, число транзакций n должно удовлетворять условиям:

и

.

Решение данных неравенств позволит найти n и с путем использования нормальной аппроксимации биномиального распределения (как в примере D.2) либо для малых значений путем использования таких средств, как Excel.

Примечание - Использование функции Excel с = CRITBINOM(n, , ) - 1 предоставляет критерий оперативного испытания для удовлетворения требованиям принятия биометрической системы. Число транзакций n должно быть достаточно велико, чтобы значение BINOMDIST(c, n, - , TRUE) превысило .