Национальный стандарт РФ ГОСТ Р ИСО/МЭК 19795-1-2007 "Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура" (утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 25 декабря 2007 г. N 403-ст) (с изменениями и дополнениями)

Национальный стандарт РФ ГОСТ Р ИСО/МЭК 19795-1-2007
"Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура"
(утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 25 декабря 2007 г. N 403-ст)

Automatic identification. Biometrics. Biometric performance testing and reporting. Part 1. Principles and framework

ОКС 35.040
П85

Дата введения - 1 января 2009 г.
Введен впервые

ГАРАНТ:

Курсив в тексте не приводится

Предисловие

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. N 184-ФЗ "О техническом регулировании", а правила применения национальных стандартов Российской Федерации - ГОСТ Р 1.0-2004 "Стандартизация в Российской Федерации. Основные положения"

Сведения о стандарте

1 Подготовлен Научно-исследовательским институтом биометрической техники Московского государственного технического университета имени Н.Э. Баумана (НИИ БМТ МГТУ им. Н.Э. Баумана) на основе собственного аутентичного перевода стандарта, указанного в пункте 4

2 Внесен Техническим комитетом по стандартизации ТК 355 "Автоматическая идентификация"

3 Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 25 декабря 2008 г. N 403-ст

ГАРАНТ:

По-видимому, в тексте предыдущего абзаца допущена опечатка. Дату названного приказа следует читать как "от 25 декабря 2007 г."

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 19795-1:2006 "Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура" (ISO/IEC 19795-1:2006 "Information technology - Biometric performance testing and reporting - Part 1: Principles and framework").

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2004 (подраздел 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных (региональных) стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении G

5 Введен впервые

Введение

Настоящий стандарт входит в комплекс стандартов и технических отчетов, которые были разработаны подкомитетом ИСО/МЭК СТК1/ПК37 с целью установления требований к автоматической идентификации на основе биометрических характеристик.

Стандарт устанавливает общие требования к проведению эксплуатационных испытаний биометрических систем, определяет эксплуатационные характеристики, а также требования к записи данных и представлению результатов испытаний.

Настоящий стандарт рекомендуется использовать вместе с другими стандартами комплекса "Идентификация биометрическая".

Сноски в тексте стандарта приведены для пояснения текста стандарта и выделены курсивом.

1 Область применения

Настоящий стандарт:

- устанавливает общие требования к проведению эксплуатационных испытаний биометрических систем в отношении определения вероятности появления ошибок и пропускной способности, используемых для прогнозирования и сравнения эксплуатационных характеристик систем, а также для проверки их соответствия установленным эксплуатационным требованиям;

- определяет эксплуатационные характеристики биометрических систем;

- устанавливает требования к методам испытаний и форме представления протоколов с результатами испытаний;

- является основой для разработки и анализа протоколов испытаний для предотвращения систематических ошибок, обусловленных несоответствующими процедурами сбора и анализа данных, а также для более точной оценки результатов эксплуатационных испытаний и уточнения области их применения.

Настоящий стандарт распространяется на эмпирические эксплуатационные испытания биометрических систем и алгоритмов на основании анализа степеней схожести и решений, выдаваемых системой, без детальной информации об алгоритмах системы или о законе распределения биометрических характеристик испытуемой выборки.

Оценка вероятностей ошибок и пропускной способности биометрических систем при попытке умышленного обмана (то есть активной попытке "самозванца") находится вне области применения настоящего стандарта.

2 Соответствие

Соответствие биометрических систем требованиям настоящего стандарта обеспечивается соответствием планирования, выполнения и подготовки протоколов эксплуатационных испытаний.

3 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующий стандарт, которые необходимо учитывать при использовании настоящего стандарта. В случае ссылок на документы, у которых указана дата утверждения, необходимо пользоваться только указанной редакцией. В случае, когда дата утверждения не приведена, следует пользоваться последней редакцией ссылочных документов, включая любые поправки и изменения к ним:

ИСО/МЭК 17025 Общие требования к компетентности испытательных и калибровочных лабораторий

4 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

4.1 Биометрические данные

4.1.1 образец (sample): Биометрическая характеристика пользователя, получаемая на выходе подсистемы сбора данных.

Пример - Изображения отпечатка пальца, лица и радужной оболочки глаза.

Примечание - В сложных системах образец может состоять из множества представленных характеристик (например, запись отпечатков десяти пальцев; изображения лица, полученные с разных углов; изображения радужной оболочки правого и левого глаз).

4.1.2 признаки (features): Цифровое представление информации, извлеченной из образца (подсистемой обработки сигналов) и используемой для создания шаблонов или сравнения с зарегистрированными в базе данных шаблонами.

Пример - Координаты контрольных точек и коэффициенты главных компонент.

4.1.3 шаблон/модель (template/model): Информация, предназначенная для сохранения, полученная из биометрических характеристик пользователя на основе признаков, извлекаемых из образцов, предназначенных для регистрации.

Примечание - Шаблон, как правило, формируется из признаков и предназначен для представления "идеального" образца, который мог бы быть получен от пользователя. В общем случае шаблон - это модель, представляющая собой возможный диапазон биометрических признаков конкретного пользователя. В настоящем стандарте термины "шаблон" и "модель" являются синонимами.

4.1.4 степень схожести/степень подобия (matching score/similarity score): Количественный показатель, характеризующий схожесть извлеченных из образца признаков с шаблоном базы данных.

Примечание 1 - Решение о схожести или несхожести принимают в зависимости от того, превышает или нет степень схожести/степень подобия порог принятия решений.

Примечание 2 - Чем меньше различий между извлеченными из образца признаками и шаблоном базы данных, тем выше степень схожести.

4.1.5 результат верификации (verification decision): Решение о возможной достоверности заявления пользователя о том, что он является источником определенного шаблона в базе данных системы.

4.1.6 список кандидатов (candidate list): Набор идентификаторов зарегистрированных субъектов, полученный в результате попытки идентификации (или предварительного отбора), которые могут соответствовать идентифицируемому субъекту.

4.1.7 результат идентификации (identification decision): Список кандидатов, для которых источником соответствующих шаблонов может быть идентифицируемый пользователь.

4.2 Взаимодействие пользователя с биометрической системой

4.2.1 представление (presentation): Предъявление пользователем одного биометрического образца.

4.2.2 попытка (attempt): Предъявление системе одного биометрического образца или набора биометрических образцов.

Примечание - Попытка приводит к появлению зарегистрированного шаблона, степени (или степеней) схожести или, возможно, к отказу сбора данных.

4.2.3 транзакция (transaction): Последовательность попыток со стороны пользователя для регистрации, верификации или идентификации ^*.

------------------------------

^*_{Транзакция в системах обработки данных - последовательность логических связанных действий для обработки запроса, поступившего в систему. Может содержать большое число (тысячи или сотни тысяч) элементарных логических или арифметических операций.}

------------------------------

Примечание - Существует три вида транзакций: транзакция регистрации, приводящая к регистрации или к отказу от нее, транзакция верификации, приводящая к результату верификации, и транзакция идентификации, приводящая к результату идентификации.

4.2.4 попытка подлинного лица (genuine attempt): Попытка пользователя получить положительный результат сравнения представленного биометрического образца и собственного шаблона, хранимого в базе данных.

4.2.5 пассивная попытка "самозванца" ^* (zero-effort impostor attempt): Попытка, при которой пользователь предоставляет собственные биометрические характеристики для сравнения с шаблоном другого пользователя.

------------------------------

^*_{Под термином "самозванец" в настоящем стандарте понимают субъекта, предпринимающего умышленную или неумышленную попытку получить ложный положительный результат сравнения, используя собственные биометрические характеристики, или путем манипуляции, в том числе путем подделки биометрической характеристики.}

------------------------------

4.2.6 активная попытка "самозванца" (active impostor attempt): Попытка, при которой субъект предоставляет поддельный или скопированный биометрический образец или специально измененные собственные биометрические характеристики с целью получить положительный результат сравнения с шаблоном другого пользователя.

Примечание - Вероятность ошибки, вызванной активной попыткой "самозванца", будет отличаться от вероятности ошибки, вызванной пассивной попыткой "самозванца". Методы и средства, используемые при активной попытке "самозванца", не рассматриваются в настоящем стандарте.

4.2.7 эффекты представления (presentation effects): Влияние различных параметров датчика и внешних условий на результат представления биометрических характеристик человека.

Пример - При распознавании лиц такими эффектами являются угол расположения субъекта и освещение; при распознавании отпечатков пальцев - поворот пальца и влажность кожи. Во многих случаях различия между изменениями основных биометрических характеристик и эффекты представления могут быть неявными (например, выражение лица при распознавании лиц или изменение высоты звука в системах верификации диктора).

4.2.8 эффекты канала передачи (channel effects): Изменения передаваемого сигнала в процессе преобразования и передачи вследствие дискретизации, помех и особенностей амплитудно-частотных характеристик датчика и канала передачи.

4.3 Персонал, задействованный в испытании

4.3.1 пользователь (user): Человек, предоставляющий системе биометрический образец.

4.3.2 испытуемый субъект (test subject): Пользователь, биометрические данные которого будут регистрироваться или подвергаться сравнению при испытании.

4.3.3 группа (crew): Множество испытуемых субъектов, отобранных для испытания.

4.3.4 целевая выборка (target population): Группа пользователей системы, для которых происходит оценка эксплуатационных характеристик.

4.3.5 администратор (administrator): Человек, проводящий испытание или регистрацию.

4.3.6 оператор (operator): Человек, работающий с реальной системой.

Пример - Персонал, проводящий регистрацию или наблюдающий за процессом верификации или идентификации.

4.3.7 наблюдатель (observer): Штатный сотрудник, записывающий данные испытания или наблюдающий за группой.

4.3.8 экспериментатор (experimenter): Человек, несущий ответственность за описание, разработку и анализ испытания.

4.3.9 испытательная организация (test organization): Официальная организация, под руководством которой проводится испытание.

4.4 Виды испытаний

4.4.1 технологическое испытание (technology evaluation): Испытание одного или более алгоритмов распознавания одинаковых биометрических модальностей с использованием существовавшей ранее или специально собранной базы данных образцов в режиме отложенного задания.

4.4.2 сценарное испытание (scenario evaluation): Испытание, при проведении которого эксплуатационные характеристики системы определяются с помощью прототипа или имитирующего приложения.

4.4.3 оперативное испытание (operational evaluation): Испытание, в котором эксплуатационные характеристики биометрической системы определяются в специальных условиях эксплуатации по специальной целевой выборке.

4.4.4 режим реального времени (online): Режим испытания, при котором регистрация и сравнение выполняются в процессе представления изображения или сигнала.

Примечание - Преимущество испытания в режиме реального времени состоит в том, что биометрический образец может быть немедленно удален, что избавляет от необходимости хранения образца и работы системы в режиме, отличающемся от обычного. Несмотря на это, данные изображения и сигналы рекомендуется по возможности сохранять.

4.4.5 режим отложенного задания (offline): Режим испытания, при котором регистрация и сравнение выполняются отдельно от процесса представления изображения или сигнала.

Примечание 1 - Сбор данных изображений и сигналов для регистрации и вычисления степеней схожести в режиме отложенного задания позволяет лучше контролировать, какие попытки и шаблоны следует использовать в каждой транзакции.

Примечание 2 - Технологические испытания должны включать в себя запись данных для последующей обработки в режиме отложенного задания. При проведении сценарного и оперативного испытаний транзакции в режиме реального времени могут быть проще для испытателя, так как система работает в обычном режиме, а сохранение изображений и сигналов является рекомендуемым, а не обязательным требованием.

4.5 Биометрические приложения

4.5.1 верификация (verification): Процесс, при котором происходит сравнение представленного пользователем образца с шаблоном, зарегистрированным в базе данных, при этом признаки передаваемого пользователем образца сравниваются с зарегистрированным шаблоном и по результатам сравнения возвращается положительное или отрицательное решение о запрошенной идентичности.

Примечание - Запрос об идентичности может представлять собой имя, персональный идентификационный номер (ПИН), контактной карты или другого уникального идентификатора данного пользователя, предусмотренного биометрической системой.

4.5.2 идентификация (identification): Процесс, при котором осуществляется поиск ^* в регистрационной базе данных и предоставляется список кандидатов, содержащий от нуля до одного или более идентификаторов.

------------------------------

^*_{Под термином "поиск" в контексте настоящего стандарта подразумевается процесс последовательного сравнения признаков передаваемого пользователем образца с множеством шаблонов, зарегистрированных в базе данных.}

------------------------------

4.5.3 идентификация на замкнутом множестве (closed-set identification): Идентификация, при которой все пользователи зарегистрированы в системе.

4.5.4 идентификация на открытом множестве (open-set identification): Идентификация, при которой некоторые пользователи не зарегистрированы в системе.

4.6 Эксплуатационные характеристики

4.6.1 вероятность отказа регистрации; ВОР (failure-to-enrol rate; FTE): Доля выборки, для которой система не может завершить процесс регистрации.

Примечание - Экспериментальное значение ВОР определяют при регистрации испытуемой группы. Рассчитанное или ожидаемое значение ВОР применяют для всей целевой выборки.

4.6.2 вероятность отказа сбора данных; ВОСД (failure-to-acquire rate; FTA): Доля попыток верификации или идентификации, для которых система не может получить или отобрать изображение или сигнал удовлетворительного качества.

Примечание - Экспериментальное значение ВОСД отличается от рассчитанного или ожидаемого и может быть использовано для оценки рассчитанного или ожидаемого значения.

4.6.3 вероятность ложного несовпадения; ВЛНС (false non-match rate; FNMR): Доля образцов, полученных в результате попыток подлинного лица, которые ошибочно признаны несовпадающими с шаблоном той же биометрической характеристики данного пользователя, представившего образец.

Примечание - Экспериментальное значение ВЛНС отличается от рассчитанного и может быть использовано для оценки рассчитанного значения.

4.6.4 вероятность ложного совпадения; ВЛС (false match rate; FMR): Доля образцов, полученных в результате пассивных попыток "самозванца", которые ошибочно признаны совпадающими с шаблоном другого пользователя.

Примечание - Экспериментальное значение ВЛС отличается от рассчитанного и может быть использовано для оценки рассчитанного значения.

4.6.5 вероятность ложного недопуска; ВЛНД (false reject rate; FRR): Доля транзакций верификации подлинного лица, которые будут ошибочно отвергнуты.

4.6.6 вероятность ложного допуска; ВЛД (false accept rate; FAR): Доля транзакций верификации "самозванца", которые будут ошибочно приняты.

4.6.7 вероятность истинно положительной идентификации/вероятность идентификации ((true-positive) identification rate/identification rate): Доля транзакций идентификации зарегистрированных в системе пользователей, в результате которых среди возвращаемых идентификаторов присутствует правильный пользовательский идентификатор.

Примечание - Вероятность идентификации зависит от размера регистрационной базы данных, от порога принятия решения для степеней схожести и (или) числа возвращаемых соответствующих идентификаторов.

4.6.8 вероятность ложноотрицательной идентификации; ВЛОИ (false-negative identification-error rate; FNIR): Доля транзакций идентификации зарегистрированных в системе пользователей, в результате которых среди возвращаемых идентификаторов отсутствует правильный пользовательский идентификатор.

Примечание - Значение ВЛОИ равно единице минус значение вероятности истинно положительной идентификации.

4.6.9 вероятность ложноположительной идентификации; ВЛПИ (false-positive identification-error rate; FPIR): Доля транзакций идентификации незарегистрированных в системе пользователей, в результате которых возвращается идентификатор.

Примечание 1 - ВЛПИ зависит от размера зарегистрированной базы данных, от порога принятия решения для степеней схожести и (или) числа возвращаемых идентификаторов.

Примечание 2 - Для идентификации на замкнутом множестве невозможно определить ВЛПИ, так как все пользователи зарегистрированы.

4.6.10 алгоритм предварительного отбора (pre-selection algorithm): Алгоритм, позволяющий уменьшить число шаблонов, необходимых для сравнения при идентификационном поиске по регистрационной базе данных.

4.6.11 ошибка предварительного отбора (pre-selection error): Ошибка алгоритма предварительного отбора, заключающаяся в отсутствии шаблона пользователя, представившего образец соответствующей биометрической характеристики для идентификации, в отобранной подгруппе кандидатов.

Примечание - В предварительном отборе с использованием исключительной классификации ошибка предварительного отбора возникает в том случае, если зарегистрированный шаблон и образец того же пользователя той же биометрической характеристики находятся в разных подгруппах.

4.6.12 вероятность проникновения (penetration rate): Характеристика алгоритма предварительного отбора, являющаяся долей числа предварительно отобранных шаблонов от общего числа шаблонов.

4.6.13 ранг идентификации (identification rank): Наименьшее значение k, для которого правильный идентификатор пользователя находится в первых k идентификаторах, возвращенных идентификационной системой.

Примечание - Ранг идентификации зависит от размера регистрационной базы данных и должен приводиться как "ранг k из n".

4.7 Графическое представление данных

4.7.1 кривая компромиссного определения ошибки; кривая КОО (detection error trade-off curve; DET curve): Модифицированная кривая рабочей характеристики, по осям которой отложены вероятности ошибки (ложноположительная - по оси X и ложноотрицательная - по оси У).

Примечание - Пример кривых КОО приведен на рисунке 3.

4.7.2 кривая рабочей характеристики; кривая РХ (receiver operating characteristic curve; ROC curve): Кривая, представляющая собой параметрически заданную функцию порога принятия решений, на которой по оси X откладываются вероятности ложноположительных решений (т.е. учитываются попытки "самозванца"), а по оси Y - вероятности истинно положительных решений (т.е. учитываются попытки подлинного лица).

Примечание - Пример кривых РХ приведен на рисунке 4.

4.7.3 кривая характеристики совокупной схожести; кривая ХСС (cumulative match characteristic curve; CMC curve): Графическое представление результатов идентификационных испытаний, на которой по оси X откладываются значения ранга, а по оси Y - вероятность верной идентификации при данном или меньшем ранге.

Примечание - Пример кривых ХСС приведен на рисунке 5.

4.8 Статистические термины

4.8.1 дисперсия V (variance): Мера разброса данных статистического распределения.

Примечание 1 - Если Е [Х] является оператором математического ожидания случайной величины X, то

V (X) = E [(X - ) ²],

где  = Е [Х].

Примечание 2 - Дисперсия, если она известна, показывает, насколько оцениваемая величина соответствует своему истинному значению.

4.8.2 доверительный интервал (confidence interval): Интервал между нижней оценкой L и верхней оценкой U параметра х, в котором вероятность нахождения истинного значения величины х равна установленному значению (например, 95 %).

Пример - Если [L, U] является 95 %-ным доверительным интервалом для параметра х, то вероятность (х [L, U]) = 95 %.

Примечание - Чем меньше объем испытания, тем больше доверительный интервал.

5 Обобщенная биометрическая система

5.1 Принципиальная схема обобщенной биометрической системы

Различные биометрические системы имеют много общих элементов. Сбор биометрических образцов субъекта проводят с помощью датчика. С выхода датчика сигнал посылают на процессор, с помощью которого извлекают отличительные, повторяющиеся характеристики образца (признаки), отбрасывая все остальные элементы. Полученные в результате извлечения признаки хранят в базе данных в виде шаблона или сравнивают с конкретным шаблоном, множеством шаблонов или со всеми шаблонами базы данных для определения соответствия. Решение относительно запрошенной идентичности принимают на основании соответствия признаков образца и сравниваемого шаблона или шаблонов.

Информационные потоки внутри обобщенной биометрической системы, содержащей подсистемы сбора данных, обработки сигнала, хранения, сравнения и принятия решения, показаны на рисунке 1. Данный рисунок поясняет процесс регистрации и работу систем верификации и идентификации. Детальные описания подсистем приведены в следующих подразделах. Состав реальной биометрической системы может отличаться от состава обобщенной биометрической системы, например, контроль качества может проводиться перед сегментацией или выделением признаков.

Рисунок 1 - Компоненты обобщенной биометрической системы

5.2 Принципиальные компоненты обобщенной биометрической системы

5.2.1 Подсистема сбора данных

Подсистема сбора данных предназначена для получения изображения или сигнала биометрических характеристик субъекта, предоставившего их биометрическому датчику, и преобразования их в биометрический образец.

5.2.2 Подсистема передачи  ^*

------------------------------

^*_{В оригинале ИСО/МЭК 19795-1 указано, что подсистема передачи не представлена на рисунке 1.}

------------------------------

Подсистема передачи, которая не всегда (или неявно) входит в состав биометрической системы, осуществляет передачу образцов, признаков и (или) шаблонов между различными подсистемами. Образцы, признаки и (или) шаблоны могут передаваться с помощью стандартных форматов обмена биометрическими данными. Биометрический образец может быть сжат и (или) зашифрован перед передачей и распакован и (или) расшифрован перед использованием. Биометрический образец может быть изменен во время передачи из-за наличия помех в канале передачи, а также может быть искажен в процессе сжатия или распаковки. Для защиты подлинности, целостности и конфиденциальности хранимых и передаваемых биометрических данных следует использовать методы шифрования.

5.2.3 Подсистема обработки данных

Подсистема обработки данных предназначена для извлечения характерных признаков из биометрических образцов. Данная подсистема обеспечивает обнаружение характерных признаков субъекта в полученном образце (процесс называется сегментацией), выделение признаков и контроль качества для обеспечения различимости и воспроизводимости выделяемых признаков. Если подсистема контроля качества отклоняет полученный образец или образцы, то в подсистему сбора данных поступает управляющая команда для сбора дополнительных образцов.

В случае регистрации подсистема обработки данных создает шаблон из выделенных биометрических признаков. Часто процесс регистрации требует наличия признаков нескольких представлений биометрических характеристик субъекта. Иногда шаблон содержит только признаки.

5.2.4 Подсистема хранения данных

Шаблоны, хранимые в базе данных зарегистрированных пользователей, содержатся в подсистеме хранения данных. Каждый шаблон связан с информацией о зарегистрированном субъекте. Шаблоны перед сохранением в базе данных зарегистрированных пользователей могут быть преобразованы в соответствии с форматом обмена биометрическими данными. Шаблоны могут быть сохранены в устройстве сбора биометрических данных на портативном носителе, таком как смарт-карта, или локально, то есть на персональном компьютере в локальной сети или в центральной базе данных.

5.2.5 Подсистема сравнения

В подсистеме сравнения происходит сравнение признаков субъекта с признаками одного или более шаблонов и передача значений степеней схожести в подсистему принятия решения. Степени схожести показывают степень соответствия между сравниваемыми шаблонами. В некоторых случаях признаки представляются в виде шаблонов, хранимых в базе данных. При верификации имеется единственный запрос регистрации субъекта, поэтому подсистема сравнения возвращает единственное значение степени схожести. При идентификации происходит сравнение признаков субъекта с признаками нескольких или всех шаблонов и возвращается значение степени схожести для каждого сравнения.

5.2.6 Подсистема принятия решения

Подсистема принятия решения использует значения степеней схожести, полученные после одной или нескольких попыток, для предоставления результата транзакции верификации или идентификации.

При проведении верификации считают, что шаблон схож со сравниваемым шаблоном, если степень схожести превышает установленный порог принятия решений. Запрос о регистрации субъекта может быть выполнен в соответствии с политикой принятия решения, которая может регламентировать несколько попыток.

При проведении идентификации считают, что поступающий идентификатор является потенциальным кандидатом для субъекта в том случае, если степень схожести превышает установленный порог принятия решений и (или) если значение степени схожести находится среди первых значений, число которых равно установленному значению k. Политика принятия решения может разрешить или потребовать сделать несколько попыток, прежде чем выдать результат идентификации.

Примечание - Мультимодальные биометрические системы могут использоваться аналогично унимодальным биометрическим системам путем обработки общих биометрических образцов, шаблонов или степеней схожести, как если бы они были отдельным образцом, шаблоном или степенью схожести и позволяли подсистеме принятия решений проводить операцию объединения степеней схожести и решений.

5.2.7 Подсистема управления ^*

------------------------------

^*_{В оригинале ИСО/МЭК 19795-1 указано, что подсистема передачи не представлена на рисунке 1.}

------------------------------

Подсистема управления регулирует общую политику, внедрение и эксплуатацию биометрической системы в соответствии с правовыми, юридическими и социальными требованиями и ограничениями, например, такими как:

- обеспечение обратной связи с субъектом во время и (или) после сбора данных;

- запрос дополнительной информации от субъекта;

- хранение и форматирование биометрических шаблонов и (или) биометрических данных;

- обеспечение окончательной экспертизы результата на основании принятых решений и (или) оценок;

- установка пороговых значений;

- установка настроек биометрической системы;

- проверка условий эксплуатации и хранение небиометрических данных;

- обеспечение необходимых мер безопасности для конфиденциальности конечного пользователя;

- взаимодействие с приложением, которое использует биометрическая система.

5.2.8 Интерфейс ^*

------------------------------

^*_{В оригинале ИСО/МЭК 19795-1 указано, что подсистема передачи не представлена на рисунке 1.}

------------------------------

Биометрическая система может взаимодействовать с внешним приложением через прикладной программный интерфейс, интерфейс аппаратного обеспечения или интерфейс протокола.

5.3 Функции обобщенной биометрической системы

5.3.1 Регистрация

При регистрации транзакция субъекта обрабатывается системой для создания и сохранения регистрационного шаблона данного субъекта.

Процесс регистрации состоит из следующих этапов:

- получение образца;

- сегментация и выделение признаков;

- проверка качества (в результате которой образец или признаки, непригодные для создания шаблона, могут быть отклонены, и будет сформирован запрос на получение дополнительных образцов);

- создание шаблона (может потребовать признаки нескольких образцов) с возможным преобразованием его в формат обмена биометрическими данными и хранения;

- попытки верификации или идентификации, чтобы гарантировать пригодность регистрации;

- попытки повторной регистрации, которые могут быть предоставлены, если первоначальная регистрация оказалась неудовлетворительной.

5.3.2 Верификация

При верификации транзакция субъекта обрабатывается системой для проверки конкретного запроса о регистрации субъекта (например, "Я зарегистрирован как субъект X"). Верификация примет или отклонит запрос. Результат верификации считается ложным, если принимается ошибочный запрос (ложный допуск) или отклоняется правильный запрос (ложный недопуск). Необходимо отметить, что некоторые биометрические системы позволяют одному конечному пользователю регистрировать более одного экземпляра биометрических характеристик (например, система регистрации радужной оболочки глаза может позволить конечному пользователю зарегистрировать изображения радужной оболочки двух глаз, а система регистрации отпечатков пальцев может зарегистрировать два или более пальцев конечного пользователя в качестве резервных на случай, если один из пальцев будет поврежден).

Процесс верификации состоит из следующих этапов:

- получение образца;

- сегментация и выделение признаков;

- проверка качества (в результате которой образец или признаки, непригодные для создания шаблона, могут быть отклонены, и будет сформирован запрос на получение дополнительных образцов);

- сравнение признаков образца с признаками, извлеченными из шаблона, для определения степени схожести;

- формирование решения о соответствии признаков образца признакам, извлеченным из шаблона, которое принимают, если степень схожести образца превышает порог принятия решений;

- возвращение результата верификации, основанного на результате сравнения одной или более попыток в соответствии с политикой принятия решений.

Пример - В системе верификации, позволяющей сделать до трех попыток сравнения с зарегистрированным шаблоном, ложный недопуск возникает при любой комбинации с отказом сбора данных и ложного несоответствия по трем попыткам. Ложный допуск возникает в том случае, если образец получен и ложно совпал с зарегистрированным шаблоном для запрошенной идентичности в любой из трех попыток.

5.3.3 Идентификация

При идентификации транзакция субъекта обрабатывается системой для нахождения идентификатора зарегистрированного субъекта. Результат идентификации предоставляет собой список идентификаторов кандидатов, который может быть пустым или содержать один и более идентификатор. Идентификация считается правильной в том случае, если субъект зарегистрирован и его идентификатор находится в списке идентификаторов кандидатов. Идентификация считается ошибочной, если зарегистрированный идентификатор субъекта не находится в итоговом списке идентификаторов кандидатов (ложноотрицательная идентификация) или транзакция незарегистрированного пользователя выдает непустой список идентификаторов кандидатов (ложноположительная идентификация).

Процесс идентификации состоит из следующих этапов:

- получение образца;

- сегментация и выделение признаков;

- проверка качества (которая может отклонить образец или признаки, непригодные для сравнения и потребовать получения дополнительных образцов);

- сравнение с некоторыми или со всеми шаблонами базы данных, определяющее степень схожести для каждого сравнения;

- формирование решения об идентичности шаблонов, которое принимается, если степень схожести превышает порог принятия решений и (или) находится среди первых значений к степеней схожести;

- возвращение результата идентификации одной или более попыток в соответствии с политикой принятия решений.

Примечание 1 - В полностью автоматизированных биометрических системах идентификатор может соответствовать шаблону с наивысшей степенью схожести (в случае превышения установленного порога принятия решений). При наличии оператора система предоставляет список кандидатов первых r соответствий оператору для принятия окончательного решения. Основные показатели эксплуатационных характеристик биометрических систем, в которых проверку возможных соответствий проводит оператор, не рассматриваются в настоящем стандарте.

Примечание 2 - Ложноположительная идентификация невозможна, если известно, что все использующие систему идентификации субъекты зарегистрированы в системе. В данном случае, известном как идентификация на замкнутом множестве, оценка интересующих эксплуатационных характеристик зависит от того, каким образом вероятность правильной идентификации связана с размером возвращаемого списка кандидатов.

5.4 Транзакции регистрации, верификации и идентификации

Каждая из вышеперечисленных биометрических функций зависит от транзакции пользователя. Транзакция состоит из одной или нескольких попыток, разрешенных или требуемых в соответствии с политикой принятия решений. Например, если политика принятия решений для верификации допускает три попытки, то транзакция может состоять из одной попытки или из двух попыток в случае отклонения первой попытки и, наконец, из трех попыток в случае отклонения двух первых попыток.

Каждая попытка может состоять из одного или нескольких представлений образцов, зависящих от работы датчика, политики оценки качества образца и других настроек, ограничивающих число представлений или время, установленное для проведения попытки. Например при попытке регистрации может потребоваться предъявить биометрический образец более одного раза. Часто в биометрических системах верификации последовательность образцов обрабатывается в одной попытке, например:

a) сбор образцов за определенный период времени для поиска наиболее подходящего образца;

b) сбор образцов до момента достижения соответствия или момента истечения системного времени;

c) сбор образцов до момента удовлетворения одному из критериев качества или момента истечения системного времени.

Рисунок 2 - Представления, попытки и транзакции

5.5 Эксплуатационные характеристики

5.5.1 Вероятности появления ошибок

Ошибки результатов верификации и идентификации возникают вследствие ошибок соответствия (т.е. ошибок ложного соответствия и ложного несоответствия) или ошибок получения образцов (т.е. отказов регистрации и отказов сбора данных). Влияние сочетания данных базовых ошибок на появление ошибок принятия решения зависит от числа требуемых сравнений, от того, является ли истинным или ложным запрос идентичности, а также от политики принятия решения, т.е. допускает ли биометрическая система проведение нескольких попыток.

Примечание - Несмотря на то что описание эксплуатационных характеристик в биометрии традиционно проводилось в терминах вероятностей допуска, т.е. вероятностей ложного допуска и ложного недопуска, в литературе неявно возникают определения, противоречащие друг другу: в описании идентификационных биометрических систем встречается понятие "ложное отклонение", возникающее вследствие неправильного соответствия представленного образца шаблону, зарегистрированному другим пользователем. В литературе по управлению доступом встречается понятие "ложное принятие", возникающее вследствие неправильного соответствия представленного образца шаблону, зарегистрированному другим пользователем. ВЛС и ВЛНС в общем случае не являются синонимами ВЛД и ВЛНД. ВЛС и ВЛНС вычисляют относительно сравнений, а ВЛД и ВЛНД - относительно транзакций и относят к принятию или отклонению утверждаемых гипотез, положительных или отрицательных. ВЛД и ВЛНД также включают в себя отказы сбора данных.

5.5.2 Показатели пропускной способности

Показатели пропускной способности устанавливают число пользователей, подвергаемых анализу в единицу времени, зависящее от скорости вычислений и взаимодействия человека с биометрической системой. В общем случае данные показатели применяются во всех биометрических системах и устройствах. Достижение достаточного значения пропускной способности является важным показателем работы биометрической системы. Показатели пропускной способности для системы верификации, например для системы управления доступом, обычно связаны со скоростью взаимодействия пользователя с системой в процессе получения высококачественного биометрического образца. Показатели пропускной способности для системы идентификации, например для системы регистрации в программе социального обеспечения, могут быть сильно занижены из-за потерь во времени, необходимых для сравнения зарегистрированного образца с образцами базы данных. Таким образом, в зависимости от типа системы целесообразно определить время взаимодействия пользователя с системой, а также время режима работы вычислительных аппаратных и программных средств. Фактические экспериментальные измерения быстродействия вычислительной системы приведены в таких руководствах, как [12], и не рассматриваются в настоящем стандарте. Для определения скорости взаимодействия человека с системой необходимо точно установить признаки начала и окончания этого взаимодействия, которое следует провести перед началом испытаний и указать его в протоколе испытаний. В протокол испытаний следует также включить краткий список действий, выполненный пользователем в процессе работы с биометрической системой.

5.5.3 Виды эксплуатационных испытаний

Испытание биометрической системы предусматривает сбор входных данных, таких как изображения и сигналы, которые используются для создания шаблонов при регистрации и для вычисления степеней схожести при попытках верификации и идентификации. Собранные изображения и сигналы можно использовать в режиме реального времени или в режиме отложенного задания при регистрации, верификации или идентификации.

a) В процессе технологического испытания проводят испытание всех алгоритмов с использованием стандартизированной базы данных, собранной "универсальным" датчиком сбора данных (т.е. датчиком, собирающим образцы, подходящие для всех испытуемых алгоритмов). Тем не менее, эксплуатационные характеристики по отношению к этой базе данных будут зависеть как от внешних условий, так и от выборки. Несмотря на то что для разработки и настройки биометрической системы перед испытанием могут использоваться экспериментальные данные, необходимо, чтобы фактическое испытание проводилось на данных, заведомо неизвестных разработчикам алгоритмов. Испытание проводят путем обработки данных в режиме отложенного задания. Вследствие неизменяемости базы данных результаты технологических испытаний являются воспроизводимыми.

b) В процессе сценарного испытания проводят испытание всей биометрической системы в условиях, моделирующих определенную ситуацию, максимально приближенную к действительности. Каждая испытуемая биометрическая система имеет свой собственный датчик сбора данных, в результате чего могут быть небольшие различия в получаемых начальных данных. Поэтому при сравнении многоэлементных биометрических систем необходимо уделить внимание тому, чтобы сбор данных для всех испытуемых систем проходил в одних и тех же условиях окружающей среды и с использованием одной и той же выборки. В зависимости от объема памяти каждого устройства, в процессе испытания допускается сочетание сравнения в режимах реального времени и отложенного задания. Воспроизводимость результатов испытания обеспечивается тщательным контролем выполнения сценария.

с) В процессе оперативного испытания, которое зависит от объема памяти рабочей системы, использование режима отложенного задания иногда бывает невозможным. В общем случае, из-за недокументированных различий в условиях эксплуатации добиться воспроизводимости результатов эксплутационных испытаний невозможно. Более того, трудно установить "истинную информацию" (т.е. найти истинный источник "достоверных" биометрических параметров), особенно в условиях проведения оперативного испытания при отсутствии администратора, оператора или наблюдателя.

Эксплуатационные характеристики для различных видов испытаний приведены в приложении А.

6 Планирование испытания

6.1 Общие положения

На первом этапе испытания экспериментатор должен определить:

a) тип испытуемых систем, их применение и условия испытания;

b) эксплуатационные характеристики биометрических систем;

c) данные, необходимые для оценки эксплуатационных характеристик (т.е. определить вид испытания: технологическое, сценарное или оперативное).

Вышеуказанные данные являются основой для разработки соответствующего протокола испытания, определяя необходимые средства контроля условий испытаний, выборку испытуемых субъектов и объем испытаний.

Примечание - Вид испытания может быть определен заранее, например, при наличии базы данных испытуемых образцов для технологического испытания или установленной системы для оперативного испытания. Возможны также условия, при которых все виды испытаний могут быть проведены последовательно, с постепенным сужением модальности вариантов и методов, рассматриваемых для окончательного ввода в действие системы биометрической идентификации.

6.2 Использование других методов испытаний

Для различных биометрических систем и условий их применения испытания могут проводиться разными методами, например, по причине:

a) различных условий испытаний;

b) различий в выборке пользователей (например, различий в привыкании пользователей);

c) различных биометрических модальностей (например, модальностей, находящихся под влиянием различных условий, а также различий между испытаниями преимущественно поведенческой и преимущественно физиологической биометрии);

d) различных эксплуатационных характеристик (например, измерение общих эксплуатационных характеристик для верификации, идентификации на открытом множестве и идентификации на замкнутом множестве проводят разными методами);

e) различий в имеющихся данных (например, системы биометрической идентификации, использующие предварительный отбор, не будут предоставлять степени схожести всех признаков образца в сравнении с шаблоном, но недостающие данные не могут считаться неизвестными: образец обычно имеет худшую степень схожести по сравнению с любым шаблоном без предварительного отбора);

f) дополнительных проблем в установлении истинной информации для систем идентификации (в которой пользователи не представляют требуемую идентичность).

Настоящий стандарт регламентирует основные принципы проведения оценки эксплуатационных характеристик и оформления протокола испытаний. Более точные методы и требования к конкретным видам испытаний, биометрическим модальностям, целевым применениям или оценкам результатов испытаний в настоящем стандарте не рассматриваются.

6.3 Определение информации о системе

При планировании процедур сбора данных экспериментатор должен дать ответы на следующие вопросы о биометрической системе, которая будет подвергнута испытанию:

а) регистрирует ли система информацию о транзакциях? Если нет, то данная информация должна быть записана самим испытуемым субъектом, оператором или наблюдателем за испытанием;

b) сохраняет ли система изображения или признаки образцов для каждой транзакции? Это необходимо, если степень схожести определяется в режиме отложенного задания;

c) выдает ли система информацию о степени схожести или только решения о допуске или недопуске? В последнем случае данные могут быть собраны с различными параметрами настройки безопасности для создания кривой КОО (см. 7.2.3). Если доступна информация о степени схожести, то о каких параметрах;

d) предоставил ли изготовитель комплект программного обеспечения (КРПО)? Создание степеней схожести для подлинных лиц и "самозванцев" в режиме отложенного задания потребует использования программных модулей КРПО для:

1) создания зарегистрированных шаблонов от зарегистрированных образцов;

2) извлечения признаков образца из испытуемых образцов;

3) определения степеней схожести между признаками образца и шаблонов.

Степени схожести, определяемые программами в режиме отложенного задания, должны быть такими же, которые созданы активной системой. Для этого может потребоваться регулирование параметров;

e) требует ли система проведения модификаций для испытания? Требуемые модификации будут изменять эксплуатационные характеристики системы;

f) создает ли система независимые шаблоны? Если шаблоны зависимы, процедуры для сбора или создания транзакций "самозванцев" будут различными (см. 7.6.2.6 и 7.6.3.2);

g) использует ли система алгоритмы, которые адаптируют шаблон после успешной верификации? В этом случае необходимо исходить из количества адаптации шаблона, которые должны произойти до измерения эксплуатационных характеристик, и возможности неблагоприятного влияния испытания "самозванца" на шаблоны (см. 7.4.4 и 7.6.1.4);

h) каковы рекомендуемое качество изображения и пороги принятия решений для целевого применения? Данные параметры настройки влияют на качество представленных образцов и вероятности ошибок;

i) известны ли ожидаемые вероятности ошибок? Данную информацию используют при проверке достаточности объема испытания (см. приложение В.1);

j) какие факторы будут влиять на эксплуатационные характеристики для этого типа системы? Они должны быть контролируемыми (см. 6.4);

k) зависят ли эксплуатационные характеристики от размера регистрационной базы данных? Данная зависимость существует у большинства систем идентификации и у некоторых систем верификации, которые выполняют регистрацию группы или осуществляют поиск "один ко многим" во время процесса верификации.

Примечание - При проведении сценарного и оперативного испытаний любые изменения условий окружающей среды и настроек устройств (включая пороги оценки качества и принятия решения) для получения оптимальных эксплуатационных характеристик следует выполнять до начала сбора данных. Строгий контроль качества может привести к уменьшению числа ложных соответствий и ложных несоответствий, но к увеличению ВОСД. Если результаты сравнения предоставляют пользователю, то порог принятия решения также должен быть установлен соответствующим образом, так как положительная или отрицательная обратная связь влияет на поведение пользователя. Оптимальные условия и компромиссные параметры настройки могут быть рекомендованы изготовителем.

6.4 Контроль факторов, влияющих на эксплуатационные характеристики

6.4.1 Показатели эксплуатационных характеристик биометрической системы могут значительно зависеть от способов ее применения, условий окружающей среды и выборки. Список особенностей пользователя, факторов применения, внешних и системных факторов, которые влияют на эксплуатационные характеристики биометрической системы, приведен в приложении В. До начала сбора данных должно быть определено, каким образом будет осуществляться контроль данных факторов.

6.4.2 Факторы, влияющие на измеряемые эксплуатационные характеристики, должны быть явно или неявно отнесены к одному из следующих четырех классов:

a) контролируемые управляемые факторы, включенные в методику испытания (как независимые переменные);

b) контролируемые неуправляемые факторы (постоянные в течение испытаний), являющиеся частью условий испытания;

c) неконтролируемые факторы - случайные и независимые от испытания факторы;

d) незначительные факторы, эффект от которых не будет учитываться. Без данной категории факторов испытание будет очень сложным.

Для определения того, какие факторы наиболее существенны, а какие могут быть отнесены к незначительным, может понадобиться провести предварительное испытание биометрических систем. При определении контролируемых факторов может возникнуть противоречие между необходимостью внутренней достоверности (то есть различия в эксплуатационных характеристиках вызваны только независимыми переменными, зарегистрированными при испытании) и внешней достоверности (то есть результаты действительно представляют эксплуатационные характеристики при целевом применении).

Пример - При сравнении эксплуатационных характеристик двух биометрических систем необходимо определить, влияет ли квалификация или личность оператора регистрации на эксплуатационные характеристики. Контролировать этот фактор можно следующим образом:

a) спланировать эксперимент так, чтобы измерять эксплуатационные характеристики между наблюдателями дифференциально, как и между системами;

b) использовать только одного оператора или регламентировать взаимодействие оператора или субъекта для соблюдения единообразия в течение испытания;

c) случайно распределить попытки регистрации между всеми операторами, тем самым исключая любую систематическую ошибку;

d) если есть данные о том, что различия между операторами регистрации являются небольшими по сравнению с различиями между системами, то данный фактор можно не учитывать.

6.4.3 При технологическом испытании могут быть учтены особенности применения и выборки, гарантирующие, что испытания будут не слишком трудными и не слишком простыми для испытуемых систем.

6.4.4 Для того чтобы биометрическая система могла быть испытана на репрезентативной выборке в реальных условиях, при сценарном испытании должны быть определены и смоделированы условия реального применения и выборка.

6.4.5 При оперативном испытании условия окружающей среды и выборка определяются в реальных условиях под контролем экспериментатора.

6.4.6 Очень важным условием при планировании испытания является определение временного интервала между регистрацией и сбором данных верификации или идентификации. Продолжительные временные интервалы, как правило, затрудняют сравнение образцов и шаблонов из-за явления, известного как "старение шаблона". Это сопряжено с увеличением вероятностей ошибок, вызванных изменениями датчика и биометрических характеристик субъекта, связанными со временем представления образца. Поэтому сбор данных транзакции подлинного лица должен быть отделен во времени от регистрации интервалом, соразмерным с целевым применением. Если данный интервал неизвестен, то разделение во времени должно быть настолько продолжительным, насколько это возможно. Эмпирическое правило заключается в отделении образцов по времени, по крайней мере, обычным временем восстановления структуры (заживления) испытуемой части тела.

Пример - Для заживления раны на пальце должно быть достаточно двух - трех недель. Структуры радужной оболочки глаза могут восстанавливаться быстрее, что позволяет отделять изображения по времени только несколькими днями. Стрижку можно рассматривать как изменение структуры лица, поэтому изображения лица могут быть отделены по времени одним или двумя месяцами.

Примечание - Специальное испытание, разработанное для исследования адаптации пользователя (улучшающаяся степень схожести) или старения шаблона (ухудшающаяся степень схожести), требует получения множества образцов в течение длительного времени. Невозможно разделить эффекты старения шаблона и адаптации пользователя.

6.5 Отбор испытуемых субъектов

6.5.1 Транзакции требуют входных сигналов или изображений биометрических характеристик. Сначала образцы должны поступать от испытуемой выборки или группы. При необходимости использования искусственных образцов или признаков (включая созданных путем изменения реальных данных) их применение должно быть обосновано и указано в протоколе испытания, в котором также должен быть описан метод получения образцов и условия его применимости. Результаты испытания искусственных и неискусственных образцов должны быть указаны в протоколе отдельно, а результаты испытания смешанных искусственных и неискусственных образцов - содержать подробности смешения.

Примечание - Использование искусственно синтезированных изображений биометрических характеристик повысило бы внутреннюю достоверность технологических испытаний, поскольку контролируются все независимые переменные, влияющие на эксплуатационные характеристики. Внешняя достоверность при этом, вероятно, будет снижена. В базу данных также, вероятно, будет внесена систематическая ошибка относительно моделирующих биометрические изображения систем.

6.5.2 Испытуемая группа не должна включать в себя людей, биометрические характеристики которых предварительно использовались для разработки или настройки испытуемой биометрической системы.

6.5.3 Испытуемая группа должна быть демографически подобна группе целевого применения, для которой по результатам испытания будут определены эксплуатационные характеристики. В данном случае испытуемые субъекты должны быть выбраны случайным образом из возможных пользователей для целевого применения. В других случаях необходимо использовать добровольцев.

6.5.4 Увеличение числа людей в испытуемой группе за счет добровольцев может оказать влияние на испытания. Люди с редкими признаками, например, инвалиды, могут быть недостаточно представлены в выборке. Если они против использования биометрической технологии, то они не станут добровольцами при испытании биометрической системы. Может возникнуть необходимость неравномерного набора добровольцев, чтобы испытуемая группа была максимально репрезентативной. Современное понимание демографических факторов, влияющих на эксплуатационные характеристики биометрической системы, недостаточно, поэтому целевое приближение остается являться главной проблемой, снижающей достоверность испытания.

6.5.5 Сбор биометрических данных и проведение испытания обычно состоят из нескольких этапов, которые в зависимости от целевого применения биометрических систем отделены друг от друга днями, неделями, месяцами или годами. Не всегда можно собрать испытуемую группу с постоянным составом на данный период, и следует ожидать, что некоторые испытуемые субъекты могут выбыть из группы в период между сбором данных и испытанием.

6.5.6 Для открытых целевых применений испытуемая группа должна быть соответственно проинструктирована и мотивирована так, чтобы ее поведение соответствовало целевому применению. Следует избегать ситуаций, когда испытуемым субъектам надоедают обычные испытания, и они начинают экспериментировать или становятся менее аккуратными.

6.5.7 Для скрытых целевых применений испытуемые субъекты должны вести себя так, будто они не подозревают о получении образца в данный момент. Это может быть достигнуто путем пассивного захвата данных на протяжении длительного периода и путем использования радиометок, чтобы установить правильный идентификатор испытуемых субъектов без их участия.

6.5.8 По возможности испытуемые субъекты должны быть полностью проинформированы о необходимой процедуре сбора данных и осведомлены об условиях использования и распространения необработанных данных. Также следует сообщить о числе и продолжительности этапов испытания. Независимо от характера использования личных данных, они не подлежат разглашению. Должна быть подписана форма соглашения, подтверждающая, что каждый испытуемый субъект принимает соглашение, и информация о нем будет храниться в тайне.

Примечание - Для некоторых видов испытаний, например для оперативного испытания скрытой системы идентификации, информирование испытуемых субъектов, возможно, будет нецелесообразным или может изменить их поведение, что приведет к непригодности собранных данных.

6.6 Объем испытания

6.6.1 Общие положения

Объем числа испытуемых субъектов и числа попыток (а также количества биометрических характеристик, используемых для каждого человека) влияет на точность измерения вероятностей ошибок. Чем больше проводят попыток, тем выше точность результатов. Для уменьшения числа попыток, необходимых для конкретного уровня точности, применяют правило трех и правило тридцати (см. приложение В, раздел В.1). Данные правила являются очень оптимистичными, поскольку предполагают, что вероятности ошибок является следствием единственного источника вариации, что неверно в отношении биометрических систем. Десять испытуемых зарегистрированных пар образцов от каждого из 100 человек статистически не эквивалентны одной испытуемой зарегистрированной паре образцов от каждого из 1000 человек и не обеспечивают ту же доверительную вероятность результатов.

Примечание - По мере увеличения объема испытания дисперсия оценки уменьшается, но масштабный коэффициент зависит от источника дисперсии. Например, пользователи могут иметь отличающиеся вероятности ошибки [16], дающие компоненту дисперсии, которую вычисляют как единицу, разделенную на число испытуемых субъектов, вместо единицы, разделенной на число попыток. Подробное описание данного эффекта приведено в приложении В.

6.6.2 Сбор нескольких транзакций пользователя

6.6.2.1 В процессе испытания может использоваться несколько транзакций от каждого испытуемого субъекта. Испытания, при которых от каждого пользователя необходимо получить несколько транзакций, включают в себя:

a) испытание эффектов старения, адаптации и других систематических изменений;

b) испытание биометрических систем, использующих обновление шаблона;

c) определение диапазонов вероятностей ошибок, индивидуальных для каждого пользователя;

d) испытание, при котором транзакция не полностью определена до испытания, например при определении влияния числа попыток в транзакции на эксплуатационные характеристики.

Примечание - Если стоимость и усилия по организации и регистрации группы субъектов не являются важным условием, то для обеспечения независимости транзакций используют большое число испытуемых субъектов, каждый из которых создает отдельную транзакцию. Значительно легче использовать ранее зарегистрированных субъектов, чем найти и зарегистрировать новых. Кроме того, каждый раз при совершении попытки в это же время могут быть проведены несколько дополнительных попыток. Между несколькими транзакциями существует некоторая корреляция; но часто при использовании нескольких транзакций от меньшего числа испытуемых субъектов возникает меньшая неопределенность результатов испытания, чем при испытании аналогичной стоимости, использующем одну транзакцию от большего числа испытуемых субъектов.

6.6.2.2 Число и частота применения испытательных транзакций, полученных от каждого испытуемого субъекта, должны соответствовать их целевому применению. Транзакции могут быть изменены в плане испытания при условии, что измененная структура транзакции незначительно влияет на вероятности ошибок.

Примечание - Поведение пользователя может изменяться при проведении каждой следующей попытки из-за увеличения его осведомленности об устройстве или обратной связи, то есть о результате идентификации. Например первая попытка, которую совершает пользователь, будет иметь более высокую вероятность отказа, чем следующие попытки. В результате наблюдаемая ВЛНС будет зависеть от структуры попыток пользователя, как определено в соответствии с протоколом испытания. Вероятности ошибок оценивают в среднем не только по целевой выборке, но также по попыткам, которые пользователь может выполнить корректно. В этом случае применяют усреднение по нескольким попыткам. Изменение числа и структуры попыток пользователя может повлиять на поведение пользователя и на значение вероятности ошибок.

Пример - Использование нескольких транзакций непригодно для испытаний, в которых пользователь должен быть незнаком с устройством или биометрическим приложением.

6.6.3 Рекомендации по объему испытания

При определении точности результатов испытания число испытуемых субъектов имеет большее значение, чем число проводимых попыток.

a) Группа должна быть настолько большой, насколько это практически осуществимо. Мерой целесообразности могут быть затраты на набор и испытание группы.

b) От каждого испытуемого субъекта должно быть получено достаточное число образцов, чтобы общее число попыток превысило значение, требуемое по правилу 3 или правилу 30 соответственно. Если есть возможность собрать несколько образцов в разные дни или разных пальцев, глаз или рук (при условии сохранения репрезентативности ^*), то можно уменьшить зависимости между образцами одного и того же человека.

------------------------------

^*_{Например использование мизинца может быть нерепрезентативным для нормального использования биометрической системы отпечатка пальца, и значения вероятности ошибок будут различными [17]. Точно также использование перевернутой левой руки не будет репрезентативным в биометрической системе, предназначенной для регистрации правой руки.}

------------------------------

c) После того как данные будут собраны и проанализированы, должна быть проведена оценка неопределенности измерений рабочих характеристик, а также было ли проведено испытание в достаточном объеме.

Примечание - В этом случае применяют закон убывающей отдачи, т.е. цель достигнута, если число ошибок, возникающих из-за изменений условий использования или выборки испытуемых субъектов, превышает число ошибок, возникающих вследствие объема группы и числа опытов.

6.7 Многократные испытания

6.7.1 Если процедура сбора данных не может быть использована из-за ее стоимости, то допускается провести несколько испытаний с одним набором данных. Данный метод используют при проведении технологического испытания. Для биометрических систем, работающих с биометрическими характеристиками, требования к которым установлены в [18] - [21] (отпечаток пальца, лицо, радужная оболочка глаза и голос), может быть собрана одна база данных для испытания алгоритмов сравнения образца от множества изготовителей в режиме отложенного задания. Таким образом, обеспечивается разделение подсистемы сбора данных и обработки данных. Поскольку данные подсистемы обычно не являются абсолютно независимыми, то могут возникнуть проблемы. Например модуль проверки качества, требующий от подсистемы сбора данных повторного получения изображения, является частью подсистемы обработки сигнала. Кроме того, даже если стандарты на биометрические характеристики существуют, на качество изображения влияют различные виды пользовательских интерфейсов, которые управляют процессом сбора данных. Следовательно, при использовании стандартизированной базы данных технологическое испытание алгоритмов в режиме отложенного задания может дать недостоверные показатели общих эксплуатационных характеристик биометрической системы или сместить результаты в пользу одних систем по отношению к другим.

6.7.2 Сценарные испытания нескольких биометрических систем могут проводиться одновременно при наличии испытуемой группы с использованием нескольких различных устройств или методов на каждом этапе. Данный подход требует осторожности. Одна из возможных проблем заключается в том, что испытуемые субъекты адаптируются, перемещаясь от системы к системе. Чтобы уравнять данный эффект по всем устройствам, порядок их предъявления каждому испытуемому субъекту должен быть случайным. Другая проблема заключается в том, что определение идеального поведения одного устройства находится в противоречии с поведением для другого. Например некоторые устройства работают лучше с изображением в движении, в то время как для других необходимо неподвижное изображение. Такие конфликты могут привести к более низкокачественным изображениям одного или более испытуемых устройств.

7 Сбор данных

7.1 Исключение отказа сбора данных

7.1.1 Полученные биометрические образцы заносят в базу данных. Информация о биометрических характеристиках и пользователях является метаданными. База данных и метаданные могут быть повреждены, если человек допустит ошибку в процессе сбора данных. Вероятности ошибок в процессе сбора данных могут превышать вероятности ошибок биометрического устройства. Поэтому сбору данных следует уделять повышенное внимание, чтобы избежать ошибок в базе данных (неправильно полученное изображение) и в метаданных (неправильно маркированное изображение).

7.1.2 Типичными ошибками в базе данных являются:

a) данные испытуемых субъектов, использующих систему, неправильны (вне рамок инструкции по эксперименту), например из-за неправильного использования сканера отпечатка пальца;

b) данные пустого или испорченного изображения субъекта, если пользователь ввел персональный идентификационный номер (ПИН), но не представил качественного биометрического образца.

7.1.3 Возможными причинами ошибок в метаданных являются:

a) испытуемый субъект с неверным ПИН;

b) неверный ввод ПИН;

c) использование нерегламентированной для субъекта биометрической характеристики, например субъект использует средний палец, когда требуется указательный.

7.1.4 При сборе данных следует использовать программное обеспечение, которое минимизирует число данных, требующих ввода с клавиатуры, собирает персональные данные для проверки введенных данных и имеет встроенное резервирование данных. Операторы должны знать правила работы с биометрической системой и предотвращать возможные ошибки. Во избежание различной интерпретации понятия "неправильно полученный образец" должны быть заранее установлены объективные критерии. Любая внештатная ситуация, возникающая при попытке сбора данных и затрагивающая транзакцию, должна быть задокументирована персоналом, выполняющим сбор данных.

7.1.5 Ошибки, допущенные при сборе данных, снижают достоверность результатов испытания. Исправление ошибок в базе данных или метаданных должно выполняться с помощью встроенного в систему устройства резервирования сбора данных и не должно быть полностью основано на результатах проверенного биометрического алгоритма. В этом отношении биометрические системы, которые могут сохранять изображения образцов и (или) протоколы транзакций, предоставляют больше возможностей для исправления ошибок, чем системы, в которых все особенности испытания должны быть записаны вручную.

7.1.6 Персонал, выполняющий сбор данных, не должен вручную отбраковывать или использовать автоматизированный механизм отбраковки полученных образцов, кроме случаев, когда образцы не соответствуют некоторому формальному предопределенному задокументированному и представленному критерию исключения. Число исключенных таким образом образцов должно быть отражено в протоколе.

Пример - Исключается образец отпечатка пальца, если покрытая чернилами область пальца меньше 0,25 см ².

7.2 Собранные данные и особенности испытания

7.2.1 Данные, которые могут быть собраны автоматически, зависят от используемой биометрической системы. В идеальном случае система должна автоматически записывать все попытки регистрации, верификации или идентификации, включая параметры требуемой идентичности, степени схожести и качества, и, по возможности, сохранять биометрические образцы, что дает следующие преимущества:

a) если изготовитель предоставил КРПО, полученные шаблоны и степени схожести могут быть рассчитаны в режиме отложенного задания, что обеспечивает полное перекрестное сравнение образца с шаблонами для получения большего количества степеней схожести для "самозванцев";

b) собранные биометрические образцы могут использоваться в нескольких случаях: для проверки модифицированного алгоритма или (если образцы имеют соответствующий формат) для проверки других алгоритмов при технологическом испытании;

c) потенциальные ошибки в базе данных или метаданных могут быть проконтролированы визуально или при проверке записей транзакций;

d) минимизируется число фиксируемых вручную данных и вероятность ошибок при модификации.

7.2.2 Многие биометрические системы в нормальном режиме работы не обеспечивают вышеуказанные функциональные возможности. При взаимодействии с изготовителем следует указать, что система должна обеспечивать выполнение функциональных возможностей, но при этом необходимо, чтобы эксплуатационные характеристики системы не были изменены. Например запись изображений может замедлить работу биометрической системы и повлиять на поведение пользователя. Если биометрические образцы не могут быть сохранены, то регистрация и транзакции подлинного лица или "самозванца" должны быть проведены в режиме реального времени и результаты, при необходимости, должны быть зарегистрированы оператором. Для получения достоверных результатов необходимо обеспечить контроль за персоналом, регистрирующим результаты работы биометрической системы.

7.2.3 Некоторые биометрические системы предоставляют выводы о соответствии или несоответствии шаблонов при данных настройках безопасности, но не предоставляют степени схожести. В таких случаях для построения кривой КОО данные попыток подлинных лиц и "самозванцев" должны быть собраны при разных параметрах настройки безопасности. Изготовитель может сообщить соответствующий диапазон параметров настройки безопасности. Выбранные значения для установки безопасности (которая может быть низкой, средней и высокой) будут характеризовать кривую КОО вместо порога принятия решения. При испытаниях в режиме реального времени для правильной оценки вероятностей ошибок каждый пользователь должен совершить транзакцию при каждой выбранной установке безопасности.

Примечание - Протоколы испытаний могут быть оформлены таким образом, что попытки подлинного лица будут отражены в порядке повышения толерантности биометрической системы, останавливаясь при получении сходства; а попытки "самозванца" - в порядке снижения толерантности системы, останавливаясь при получении несходства. Такое оформление протоколов не соответствует требованиям настоящего стандарта, поскольку результаты нескольких попыток могут быть ошибочно приняты за результаты изменения порога принятия решения.

7.2.4 Для снижения вероятности ошибок и повышения быстродействия в план сбора данных следует включить метод удаления образцов и биографической информации о субъекте по его запросу.

7.3 Регистрация

7.3.1 Транзакции регистрации

7.3.1.1 Каждый испытуемый субъект должен зарегистрироваться только один раз, но в результате регистрации может быть получено более одного шаблона (например, шаблон для каждого отпечатка пальца или различных положений лица). В процессе регистрации допускается проведение нескольких попыток. Необходимо избегать случайных регистрации.

7.3.1.2 Во время регистрации могут быть проведены тренировочные испытания, чтобы удостовериться, что зарегистрированные образцы имеют достаточно высокое качество для дальнейшего сравнения, и ознакомить испытуемых субъектов с биометрической системой. Количественные результаты тренировочных испытаний не должны регистрироваться как часть сравнительной записи подлинного лица (если эксплуатационные характеристики биометрических систем будут изменены сразу же).

7.3.1.3 Если возможно, зарегистрированные образцы должны быть сохранены.

7.3.2 Условия регистрации

7.3.2.1 Условия регистрации должны соответствовать эксплуатационным условиям целевого применения биометрической системы. Таксономия [22] внешних условий регистрации определяет применимость результатов испытания. Следует руководствоваться рекомендациями изготовителя биометрических систем и обращать внимание на условия окружающей среды. Необходимо также учитывать влияние помех. Помехи могут быть акустическими в случае верификации диктора или оптическими при использовании системы, формирующей изображения глаза, лица, пальца или руки. Оптические помехи влияют на все системы, работающие в оптическом диапазоне. Условия освещения должны как можно более соответствовать условиям окружающей среды. Результаты испытания в одних условиях помех не распространяются на испытания в других условиях.

7.3.2.2 Регистрация биометрических образцов должна выполняться в одних и тех же условиях. Большое число попыток сбора данных может быть испорчено из-за изменений в протоколах или оборудовании в процессе сбора данных ^*. Поэтому необходимо обеспечить такое управление представлением и эффектами канала передачи, чтобы данные эффекты были постоянными или изменялись случайным образом у всех испытуемых субъектов.

------------------------------

^*_{Пример - "Большое разделение" в базе данных речи KING [23]. Примерно на середине сбора данных оборудование регистрации по неизвестной причине было временно демонтировано. Позже оно было снова установлено в соответствии монтажной схемой; тем не менее амплитудно-частотные характеристики были немного изменены, что привело к разделению данных и усложнению анализа алгоритмов.}

------------------------------

7.3.2.3 В процессе испытания оператор, выполняющий регистрацию, может получить дополнительные сведения о системе, которые могут повлиять на последующие регистрации. Для предотвращения такой ситуации процесс регистрации и критерии вмешательства оператора должны быть определены заранее, кроме того, должно быть предусмотрено соответствующее обучение оператора.

7.3.3 Отказы регистрации и ошибки представления

7.3.3.1 Биометрическая система может не принимать некоторые попытки регистрации. Модули контроля качества некоторых систем, требующих много биометрических образцов для регистрации, будут отклонять образцы, которые значительно изменяются между представлениями; другие модули контроля качества отклоняют отдельные низкокачественные изображения. Если данные модули позволяют настроить критерий принятия решения, то необходимо следовать рекомендациям изготовителя. Некоторые попытки регистрации могут быть выполнены с установленным максимальным числом попыток или максимальным истекшим временем. Необходимо обеспечить сохранение всех уровней качества и зарегистрированных образцов. Рекомендации или корректирующее действие в отношении пользователей, совершивших неудачную попытку регистрации, должны быть определены заранее и указаны в плане.

7.3.3.2 Число испытуемых субъектов, которые не смогли зарегистрироваться при выбранном критерии, должно быть зафиксировано и указано в протоколе. По возможности, должны быть зафиксированы и указаны в протоколе причины отказа в регистрации (например, попытки, которые были произведены без представления биометрических характеристик, а также случаи, когда образец не был получен, отказы или исключения алгоритма регистрации, когда система не может успешно выполнить верификацию).

7.3.3.3 Проверка качества не должна быть полностью автоматической. Вмешательство оператора требуется в случае несоответствия представленных зарегистрированных моделей некоторым установленным критериям. Например регистрируемые пользователи могут представить не тот палец, руку или глаз, зачитать неправильную регистрационную фразу или подписаться другим именем. Эти данные должны быть удалены, но должен быть обеспечен учет таких случаев.

7.3.3.4 Редактирование данных с целью удаления несоответствующих биометрических представлений может быть основано на исключении выбросов. Влияние таких изменений на эксплуатационные характеристики должно быть зафиксировано. Регистрационные данные не должны удаляться, если зарегистрированный шаблон является выбросом.

7.4 Транзакции подлинных лиц

7.4.1 Транзакции подлинных лиц должны проводится в условиях как можно более точно соответствующих условиям целевого применения биометрических систем, включая условия окружающей среды. В течение процесса сбора данных эти условия не должны изменяться. Мотивация испытуемых субъектов и уровень их обучения и осведомленности о биометрической системе должны соответствовать целевому применению конкретной биометрической системы.

Примечание - Проведение технологического испытания, соответствующего условиям целевого применения системы, относится к предусмотренному применению, не являющемуся слишком сложным или слишком простым для возможностей испытуемых алгоритмов.

7.4.2 В процессе сбора данных необходимо обеспечить, чтобы эффекты представления и канала передачи были постоянными или изменялись случайно во всей выборке испытуемых субъектов. Если данные эффекты остаются постоянными во всей выборке, то те же эффекты представления и канала передачи при регистрации должны быть обеспечены также для сбора данных. Систематический разброс эффектов представления и канала передачи между данными регистрации и данными испытаний приводит к искажению результатов. Если эффекты представления и канала передачи будут изменяться в выборке испытуемых субъектов случайно, то между сеансами регистрации и испытаний всей выборки не должно происходить корреляции.

7.4.3 В идеальном случае между регистрацией и сбором данных в процессе испытаний испытуемые субъекты должны использовать биометрическую систему с той же частотой, как и при целевом применении. Такое использование испытуемой группы может быть нерентабельным. Следует отказаться от любого предварительного использования биометрической системы и предоставить возможность повторного ознакомления с ней непосредственно перед сбором данных в процессе испытания.

7.4.4 Биометрические системы, обеспечивающие модификацию шаблона, следует испытывать до начала регистрации, сбора попыток и транзакций подлинных лиц. Объем испытания должен быть определен до начала сбора данных и указан в протоколе испытаний.

7.4.5 План сбора образцов должен гарантировать, что в собранных данных не преобладают данные небольшой группы часто встречающихся нехарактерных пользователей.

7.4.6 Для предотвращения ошибок при вводе данных и для документирования любых внештатных ситуаций во время сбора данных необходимо обеспечить контроль сбора данных. Ввод путем нажатия клавиш должен быть минимизирован как со стороны испытуемых субъектов, так и со стороны администраторов испытания. Данные могут быть повреждены "самозванцами" или подлинными пользователями, которые намеренно неправильно используют систему. Для предотвращения данных действий персонал, проводящий испытания, должен предпринять соответствующие меры; но данные не следует удалять из базы данных до тех пор, пока не будет получено дополнительное подтверждение неправильного использования системы.

7.4.7 В ряде случаев пользователи не могут предоставить системе пригодный образец, что определяет администратор испытания или модуль контроля качества. Проводящий испытания персонал должен зарегистрировать данные о попытках, закончившихся отказом сбора данных. ВОСД определяется числом таких попыток и зависит от минимального уровня значения качества. Как и при регистрации, пороги качества должны быть установлены в соответствии с рекомендациями изготовителя.

Примечание - Параметры настройки порога качества (и порога принятия решения) могут влиять на действия пользователей - более высокие пороги способствуют более осторожному представлению биометрического образца, более низкие пороги допускают большую свободу действий. Поэтому база данных может быть не столь независима от порога, как предполагается.

7.4.8 Данные испытания должны быть добавлены в базу данных независимо от того, действительно ли они соответствуют зарегистрированному шаблону. Программное обеспечение некоторых изготовителей не обеспечивает запись характеристики зарегистрированного пользователя, если она не соответствует зарегистрированному шаблону. В этом случае при сборе данных происходит смещение в направлении недооценивания ВЛНС. Поэтому ошибки несоответствия должны быть записаны вручную. Данные должны быть исключены только по заранее установленным причинам, не зависимым от степеней сравнения.

7.4.9 Все попытки, включая отказы сбора данных, должны быть зафиксированы. В дополнение к записи необработанных биометрических данных рекомендуется записывать также значения качества для каждого образца, если они доступны, а при проведении в режиме реального времени - степень (степени) схожести.

7.5 Транзакции идентификации пользователей, зарегистрированных в системе

7.5.1 Транзакции идентификации пользователей, зарегистрированных в системе, должны быть собраны и записаны тем же методом, что и транзакции верификации подлинных лиц. Записанный результат должен содержать список идентификаторов кандидатов. Если биометрическая система определяет степень схожести или значение качества образцов, то они также должны быть зафиксированы.

7.5.2 Транзакции идентификации могут быть выполнены в режиме отложенного задания, в том числе путем моделирования процесса идентификации как ряда транзакций верификации с каждым шаблоном в базе данных. В общем случае при идентификации может быть использован предварительный отбор для ограничения числа шаблонов, сравниваемых с помощью соответствующего алгоритма.

Примечание - Для определения производительности алгоритма предварительного отбора необходимо записать число предварительно отобранных шаблонов для каждой попытки идентификации (приложение D).

7.6 Транзакции "самозванца"

7.6.1 Общие положения

7.6.1.1 Транзакции "самозванца" должны быть выполнены в режиме реального времени или отложенного задания:

a) транзакции "самозванца" в режиме реального времени включают в себя испытуемых субъектов, образцы которых сравниваются с зарегистрированными шаблонами других людей;

b) транзакции "самозванца" в режиме отложенного задания проводят путем сравнения с зарегистрированными шаблонами, признаками, извлеченными из образцов, собранных при транзакциях подлинных лиц или при отдельном наборе транзакций незарегистрированных испытуемых субъектов. Режим отложенного задания дает возможность применить метод полного перекрестного сравнения, при котором признаки образца сравниваются с каждым другим шаблоном.

7.6.1.2 Вид испытания часто определяет, будут ли транзакции "самозванца" использоваться в режиме реального времени или отложенного задания.

а) при технологическом испытании транзакции "самозванца" должны быть проанализированы в режиме отложенного задания. Если существует база данных попыток "самозванца", ее используют вместо или в дополнение к множеству перекрестных сравнений транзакций "самозванца";

б) при сценарном испытании выбор метода зависит от того, обеспечивает ли биометрическая система сохранение образцов транзакций "самозванца". При наличии такой возможности при перекрестном сравнении получают больше попыток посторонних лиц, чем может быть достигнуто путем использования испытуемых субъектов в режиме реального времени;

в) при оперативном испытании определение степеней схожести "самозванца" может быть затруднено. Если биометрическая система сохраняет изображения образцов или извлеченные признаки, степень схожести "самозванца" может быть определена в режиме отложенного задания. Если эти данные не сохраняются, степень схожести "самозванца" может быть определена путем испытания в режиме реального времени. Из-за нестационарного статистического характера данных пользователей рекомендуется использовать больше посторонних испытуемых субъектов, каждый из которых испытывает несколько случайно выбранных несобственных шаблонов, вместо того, чтобы использовать несколько испытуемых субъектов, испытывающих множество несобственных шаблонов. В некоторых случаях может быть целесообразным использование межшаблонных сравнений для транзакций "самозванца".

7.6.1.3 Транзакции "самозванца" не должны быть основаны на внутрииндивидуальных сравнениях. С некоторыми биометрическими модальностями пользователь может быть способен представить различные биометрические характеристики, например любой из десяти пальцев, левый или правый глаз и т.д. Чтобы улучшить независимость различных образцов одного испытуемого субъекта, биометрическая система может регистрировать более одного пальца, обе руки или оба глаза. Но внутрииндивидуальные сравнения не эквивалентны межиндивидуальным сравнениям и не должны включаться в набор транзакций "самозванца".

Пример - Отпечатки разных пальцев конкретного субъекта будут иметь похожий гребневой счет и будут соответствовать с большей вероятностью, чем отпечатки пальцев других субъектов.

7.6.1.4 Для биометрических систем, способных модифицировать шаблон после успешной верификации, в течение транзакций "самозванца" данная возможность должна быть отключена. Если это невозможно, сбор транзакций "самозванца" должен быть отложен до тех пор, пока не будут собраны все транзакции подлинных лиц.

7.6.2 Сбор транзакций "самозванца" в режиме реального времени

7.6.2.1 Сбор транзакций "самозванца" в режиме реального времени осуществляется при совершении каждым испытуемым субъектом пассивных попыток "самозванца" с каждым из ранее определенного числа шаблонов, отобранных случайным образом из всех предыдущих регистрации (иногда из всех предыдущих регистрации в пределах той же демографической группы). Результаты случайного выбора шаблонов пользователей должны быть независимыми.

Примечание - Не рекомендуется использовать дополнительные базы данных биометрических образцов или шаблонов, собранных при различных (как правило неизвестных) условиях окружающей среды для различных выборок.

7.6.2.2 Полученная степень схожести "самозванца" должна быть записана вместе с истинной идентичностью "самозванца" и того лица, чей шаблон он имитировал. Поскольку часто транзакции "самозванца" проводят одновременно с транзакциями подлинных лиц, необходимо соблюдать осторожность, чтобы результаты соответствовали правильному набору степеней схожести.

7.6.2.3 Попытки "самозванца" должны проводиться в тех же условиях, что и попытки подлинных лиц.

7.6.2.4 Если испытуемый субъект осведомлен, что проводится сравнение с "самозванцем", то изменение манеры представления может привести к нерепрезентативным результатам, особенно если используется биометрическая система, основанная преимущественно на поведенческих особенностях. Поэтому, чтобы избежать даже подсознательных изменений в представлении, рекомендуется не сообщать испытуемому субъекту о том, что проводится сравнение транзакцией подлинного лица или "самозванца".

7.6.2.5 Транзакции "самозванца" могут быть собраны до того, как будут зарегистрированы все субъекты. Первые зарегистрированные шаблоны будут иметь более высокую вероятность сравнения "самозванца", но это не будет вносить систематическую ошибку при вычислении вероятности ошибки "самозванца", если испытуемые субъекты зарегистрированы в порядке, который не имеет никакого отношения к качеству их биометрических моделей.

7.6.2.6 Для использования биометрических систем, имеющих шаблоны, испытуемые субъекты во время совершения попытки не должны регистрироваться в базе данных (кроме проведения идентификации на закрытом множестве). В результате остается подгруппа испытуемых субъектов, которые не будут зарегистрированы в системе и поэтому могут использоваться как "самозванцы".

7.6.3 Создание транзакций "самозванца" в режиме отложенного задания

7.6.3.1 Общие положения

7.6.3.1.1 Сравнения образцов "самозванца" с шаблоном в режиме отложенного задания проводят тем же методом, что и сравнения в режиме реального времени, путем:

- случайного выбора с заменой образцов и шаблонов для несобственных сравнений или

- случайного выбора для каждого подлинного образца множества несобственных шаблонов из всех зарегистрированных шаблонов для сравнения с признаками образца (случайный выбор шаблонов, являющихся независимым для каждого образца), или

- проведения полного перекрестного сравнения, при котором каждый образец сравнивается с каждым несобственным шаблоном.

7.6.3.1.2 Определение степени схожести в режиме отложенного задания проводят с помощью программных модулей, предоставленных изготовителями КРПО. Один модуль создает шаблоны зарегистрированных образцов, второй выделяет признаки образцов для испытаний. Данные модули могут быть объединены. Третий модуль возвращает степень схожести. Если время обработки не существенно, то необходимо сравнить признаки всех подлинных образцов со всеми несобственными шаблонами. При наличии Т шаблонов и N признаков (от одной и той же испытуемой группы) может быть проведено N (Т - 1) сравнений с несобственными шаблонами. Данные сравнения "самозванца" не будут статистически независимыми, но результаты применения данного метода будут статистически объективными и представлять собой более эффективную технику оценки, чем использование случайно выбранных сравнений "самозванца" [24].

7.6.3.1.3 Многие биометрические системы собирают и обрабатывают последовательность образцов единственной попытки, например:

a) сбор образцов за установленный период времени и определение образца с наилучшим соответствием;

b) сбор образцов до тех пор, пока не будет получено соответствие или пока не истечет установленный период времени;

c) сбор образцов до тех пор, пока не будет получен один образец удовлетворительного качества или пока не истечет установленный период времени;

d) сбор второго образца, если степень схожести первого образца слишком близка к порогу принятия решения.

В таких случаях единственный образец попытки подлинного лица может не подходить как образец "самозванца". В случае, указанном в перечислении а), сохраненный образец будет более соответствовать подлинному шаблону. Попытка "самозванца" может быть основана на образце, который больше остальных соответствует имитирующему шаблону. Чтобы оценить целесообразность перекрестного сравнения при единственном подлинном образце, следует обратить внимание на следующие вопросы:

- зависит ли сохраненный образец от шаблона, с которым сравнивается?

- существенно ли этот способ влияет на получаемую степень схожести?

Если ответы на оба данных вопроса будут положительными, то должна быть сохранена и использована в анализе в режиме отложенного задания целая последовательность образцов или степени схожести "самозванца" должны быть получены в режиме реального времени.

7.6.3.2 Получение транзакций "самозванца" в режиме отложенного задания в случае зависимых шаблонов

7.6.3.2.1 Для биометрических систем с зависимыми шаблонами объективные оценки "самозванца" могут быть получены путем использования метода "вырезания" для создания зарегистрированных шаблонов. Метод "вырезания" заключается в регистрации всей группы испытуемых субъектов с единственным пропущенным субъектом, который позже будет использован в качестве неизвестного "самозванца", образцы которого будут сравниваться со всеми зарегистрированными шаблонами. Процесс регистрации повторяют для каждого члена группы и в результате формируется полное множество степени схожести "самозванца".

7.6.3.2.2 Допускается использовать более простой метод, при котором испытуемую группу случайным образом разделяют на "самозванцев" и регистрируемых субъектов. Регистрация в режиме отложенного задания игнорирует данные от испытуемых субъектов, являющихся "самозванцами", в то время как определение степени ложного соответствия в режиме отложенного задания игнорирует данные регистрируемых испытуемых субъектов. В этом случае данные используются менее эффективно, чем при применении метода "вырезания".

7.6.3.3 Получение транзакций "самозванца" в режиме отложенного задания с использованием межшаблонных сравнений

Для получения степени схожести "самозванца" можно использовать перекрестное сравнение зарегистрированных шаблонов. Данный метод применяют, например, при оперативных испытаниях, когда образцы или признаки транзакций не сохраняются. Каждый из N шаблонов для испытаний (или зарегистрированных шаблонов) сравнивают с оставшимися (N - 1) испытуемыми (или зарегистрированными) шаблонами. Перекрестное сравнение шаблонов не следует применять, если:

a) регистрация и верификация требуют одного и того же пользовательского ввода (например, оба требуют единственного представления);

b) регистрация и верификация используют одни и те же алгоритмы для извлечения и кодирования признаков образца;

c) проверка качества для регистрации такая же, как и для верификации.

При несоблюдении данного правила перекрестное сравнение шаблонов может привести к появлению систематической ошибки в оценке степени схожести "самозванца" [22]. Данное утверждение справедливо как для случая, когда зарегистрированный шаблон усреднен, так и для случая, когда шаблон выбран для лучшего зарегистрированного образца. Методов исправления данной систематической ошибки в настоящее время не существует.

7.7 Транзакции идентификации пользователей, не зарегистрированных в системе

7.7.1 Для определения ВЛПИ необходимо проводить транзакции идентификации не зарегистрированных в системе испытуемых субъектов, среди которых не должно быть таких, которые не смогли зарегистрироваться.

7.7.2 Все попытки идентификации должны быть записаны вместе с информацией о личности субъекта, со списками личностей кандидатов и, если они доступны, со степенями схожести. Транзакции идентификации зарегистрированных и незарегистрированных пользователей должны быть проведены в одних и тех же условиях.

7.7.3 Транзакции идентификации могут быть проведены при различных размерах базы данных, чтобы определить, как эксплуатационные характеристики идентификации зависят от размера базы данных.

7.7.4 Если регистрационные и идентификационные образцы зарегистрированных испытуемых субъектов сохранены, то транзакции идентификации незарегистрированных субъектов могут быть произведены в режиме отложенного задания методом "вырезания". Для этого должна быть зарегистрирована вся группа, кроме одного испытуемого субъекта, образцы которого биометрическая система будет сравнивать с образцами остальных членов испытуемой группы; данный процесс повторяют для каждого испытуемого субъекта. В этом случае также следует учитывать положения 7.6.3.1.3 для проверки адекватности сохраненных данных.

8 Анализ

8.1 Общие положения

8.1.1 Если испытуемая группа представляет собой целевую выборку, где каждый испытуемый субъект имеет один зарегистрированный шаблон и одинаковое число (и структуру) транзакций, то вероятности ошибок будут наилучшим образом соответствовать действительным вероятностям ошибок.

8.1.2 Если испытуемая группа не представляет собой целевую выборку (например, при избыточном представлении известных проблемных случаев) или транзакции отдельных испытуемых субъектов нетипичны для испытуемой группы в целом (например, испытуемый субъект делает больше или меньше транзакций в отличие от типичного субъекта), то скомпенсировать неустойчивость можно путем взвешивания результатов. Если вероятности ошибок оценивают с использованием весовых коэффициентов, то это должно быть зафиксировано в протоколе. При использовании взвешивания по классу пользователей вероятность ошибки класса также должна быть зафиксирована в протоколе.

Пример - Если испытуемые субъекты проводят разное число попыток верификации или идентификации, то ошибки каждого субъекта могут быть взвешены в обратной пропорции к числу совершаемых им попыток, поскольку простая пропорция может сместить ожидаемые вероятности ошибок к "тяжелым" пользователям системы или к тем субъектам, которым для допуска нужно выполнить несколько попыток.

8.1.3 Рекомендуется определять вероятности ошибок для каждого субъекта отдельной группы людей (например, отдельные вероятности ошибок для мужчин и женщин) или для отдельного вида биометрических характеристик (например, определение вероятности ошибок для каждого положения пальца).

a) Индивидуальная метрика каждого человека может представлять существенный интерес, указывая тип человека, для которого могут быть достигнуты наилучшие и наихудшие эксплуатационные характеристики.

b) Метрики отдельного человека или группы людей необходимы в том случае, когда взвешивание является наилучшей оценкой.

c) Определение индивидуальных вероятностей ошибок может помочь при оценке неопределенности при определении эксплуатационных характеристик биометрической системы.

8.1.4 Если ошибки возникают при регистрации, сборе образцов, верификации или идентификации, их можно классифицировать по причине или стадии процесса регистрации, сбора или определения соответствия, а также определить отдельные вероятности ошибок для различных случаев или для различных компонентов процесса.

8.2 Фундаментальные эксплуатационные характеристики

8.2.1 Вероятность отказа регистрации

8.2.1.1 ВОР - это доля выборки, для которой система не может закончить процесс регистрации. ВОР должна включать в себя субъектов, которые:

- неспособны предоставить необходимую биометрическую характеристику;

- при регистрации неспособны предоставить образец удовлетворительного качества;

- не могут получить подтверждение о схожести со своим заново созданным шаблоном в процессе регистрации.

Примечание 1 - ВОР рекомендуется определять для различных биометрических характеристик, например сообщать о разных значениях ВОР для больших, указательных пальцев и т.д.

Примечание 2 - При технологическом испытании анализ основан на предварительно зарегистрированной базе данных и получение изображения образца не вызывает проблем. Даже в этом случае может произойти сбой в регистрации, например когда изображение образца имеет столь низкое качество, что извлечь из него необходимые признаки невозможно.

8.2.1.2 ВОР для целевой выборки следует определять как долю (или весовую долю) людей в испытуемой группе, которые не смогли зарегистрироваться в процессе регистрации.

8.2.1.3 ВОР зависит от политики регистрации, которая определяет уровень качества образца для регистрации, порог принятия решения для подтверждения применимости регистрации, а также число попыток или время, отведенное на регистрацию при транзакции регистрации. Политика регистрации должна быть описана наряду с наблюдаемой ВОР.

Примечание - Более строгие требования к качеству регистрации увеличивают ВОР, но улучшают эксплуатационные характеристики схожести.

8.2.1.4 Попытки регистрации пользователей, не способных зарегистрироваться в биометрической системе, не должны вносить вклад в ВОСД или вероятности ошибок соответствия.

8.2.2 Вероятность отказа сбора данных

8.2.2.1 ВОСД - это доля попыток верификации или идентификации, для которых биометрическая система не может получить или отобрать образец удовлетворительного качества. ВОСД должна включать в себя:

- попытки, при которых биометрическая характеристика не может быть представлена (например, из-за временной болезни или раны) или получена;

- попытки, при которых не удается произвести сегментацию или извлечение необходимых признаков;

- попытки, при которых извлеченные признаки не подходят по порогу проверки качества.

Примечание 1 - ВОСД можно определить для каждой транзакции, например, путем определения числа транзакций, в процессе которых ни при одной из попыток регистрации не был получен образец удовлетворительного качества для сравнения.

Примечание 2 - При технологическом испытании анализ основан на предварительно собранной базе данных. В этом случае не должно происходить отказов получения образца. ВОСД для базы данных должен быть известен. Дополнительные проблемы, возникающие в процессе сбора данных, например когда образец имеет слишком низкое качество для извлечения признака, увеличивают ВОСД.

8.2.2.2 ВОСД следует определять как долю (или весовую долю) записанных попыток подлинного лица (и, по возможности, любых пассивных попыток "самозванца" в режиме реального времени), которые не могут быть закончены из-за отказов в представлении (изображение не получено), сегментации, извлечении признаков или контроля качества.

8.2.2.3 ВОСД зависит от порога качества образца, а также от времени, установленного на получение образца, или допускаемого числа представлений. Данные параметры настройки должны быть указаны в протоколе испытаний вместе с числом ВОСД.

Примечание - Более строгий уровень качества для получения образцов увеличивает ВОСД, но улучшает эксплуатационные характеристики схожести.

8.2.2.4 Попытки, при которых исходный образец не был получен или не имеет удовлетворительного качества, не обрабатываются алгоритмом сравнения, а степень схожести не определяется. Такие отказы сбора данных должны быть исключены при вычислении ВЛС и ВЛНС, но должны быть включены в вычисление ВЛД и ВЛНД. ВОСД, ВЛС и ВЛНС должны быть вычислены при одних и тех же значениях уровня качества.

8.2.3 Вероятность ложного несовпадения

8.2.3.1 ВЛНС - это доля образцов, полученных в результате попыток подлинного лица, которые ошибочно признаны несовпадающими с шаблоном той же биометрической характеристики данного пользователя, представившего образец.

8.2.3.2 ВЛНС следует определять как долю (или весовую долю) зафиксированных попыток подлинного лица, которые были переданы подсистеме сравнения и для которых степень схожести была ниже соответствующего порога принятия решения о схожести.

8.2.3.3 ВЛНС зависит от порога принятия решения о схожести и должна быть указана вместе с наблюдаемой ВЛС при том же пороге (или построена в зависимости от ВЛС при том же пороге на кривых КОО и РХ).

8.2.3.4 При испытаниях, в которых испытуемые субъекты совершили несколько попыток, следует указать, как ВЛНС изменяется в пределах испытуемой группы, путем вычисления вероятности ошибки для попыток каждого испытуемого субъекта и построения гистограммы, показывающей вероятность ошибки для каждого испытуемого субъекта, упорядочивая испытуемых субъектов по возрастанию значений вероятностей ошибок.

8.2.4 Вероятность ложного совпадения

8.2.4.1 ВЛС - это доля образцов, полученных в результате пассивных попыток "самозванца", которые ошибочно признаны совпадающими с шаблоном другого пользователя.

Примечание - При пассивных попытках "самозванца" пользователи предоставляют свою собственную биометрическую характеристику, как будто они совершают попытку успешной верификации с собственным шаблоном. Например, в случае динамической верификации подписи "самозванец" при пассивной попытке поставил бы свою собственную подпись. Если "самозванец" может легко воспроизвести свойства требуемой биометрической характеристики, может быть необходимо провести вторую проверку "самозванца", основанную на его активных попытках. Методы или уровень навыка, которые используются при активных попытках "самозванца", в настоящем стандарте не рассматриваются.

8.2.4.2 ВЛС следует определять как долю (или весовую долю) зафиксированных пассивных попыток "самозванца", которые были переданы подсистеме сравнения и для которых степень схожести не ниже соответствующего порога принятия решения о схожести.

8.2.4.3 ВЛС зависит от порога принятия решения о схожести и должна быть указана наряду с наблюдаемой ВЛНС при том же пороге (или построена в зависимости от ВЛНС при том же пороге на кривых КОО или РХ).

8.2.4.4 Если испытуемый субъект зарегистрирован и его шаблон оказывает влияние на шаблоны других субъектов, зарегистрированных в системе, или, если алгоритм сравнения изменяется, используя данный (и другие) шаблоны, то попытки "самозванца", использующего данный шаблон, будут вносить систематическую ошибку и не должны использоваться для оценки ВЛС (см. 7.6.2.6 и 7.6.3.2).

Пример - Зависимые шаблоны применяются в биометрических системах, использующих все зарегистрированные изображения для создания базовых изображений, и системах распознавания диктора на основе группы людей.

8.2.4.5 Сравнение наследственно идентичных биометрических характеристик (например, между указательным и средним пальцами или у идентичных близнецов) приводит к другому распределению степени схожести, чем сравнение различных по происхождению характеристик по [25] - [27]. Следовательно, такие сравнения не должны рассматриваться при получении ВЛС.

8.2.4.6 При испытаниях, в которых проводят несколько транзакций "самозванца" на каждый субъект или шаблон, должно быть указано, как ВЛС изменяется в пределах числа испытуемых субъектов и сохраненных шаблонов. Для этого необходимо определить вероятность индивидуальной ошибки ложного соответствия для попыток "самозванца" каждого субъекта и относительно каждого шаблона. Чтобы показать вероятность ошибки для каждого испытуемого субъекта, следует построить гистограммы, упорядочивая испытуемых субъектов по возрастанию значений вероятностей ошибок.

Пример - Биометрическая система распознавания лица может пропустить ряд "золотых" лиц, для которых главным образом происходят соответствия. Данную уязвимость системы можно определить по гистограмме, показывающей изменение вероятностей ошибок по субъектам.

8.3 Эксплуатационные характеристики системы верификации

8.3.1 Общие положения

Определение ВЛД и ВЛНД для транзакций с несколькими попытками может быть проведено с помощью кривой КОО. При таком определении не учитывается корреляция между последовательными попытками и сравнениями в отношении одного пользователя и, следовательно, оно может быть неточным. Поэтому данные эксплуатационные характеристики должны быть получены путем транзакций с несколькими попытками в соответствии с политикой принятия решения.

8.3.2 Вероятность ложного недопуска

8.3.2.1 ВЛНД - это доля транзакций верификации подлинного лица, которые были ошибочно отвергнуты. В зависимости от политики принятия решения транзакция может состоять из одной или более попыток подлинного лица.

8.3.2.2 ВЛНД следует определять как долю (или весовую долю) записанных транзакций подлинного лица, которые были ошибочно отвергнуты. Сюда также входят транзакции, отвергнутые из-за отказа сбора данных и ошибок соответствия.

Пример - Если транзакция верификации состоит из единственной попытки, то отказ сбора данных или ложное несоответствие вызовут ложный недопуск, и ВЛНД будет равна:

ВЛНД = ВОСД + ВЛНС (1 - ВОСД).

8.3.2.3 ВЛНД зависит от политики принятия решения, порога принятия решения о схожести и качества образца. ВЛНД должна быть указана в протоколе вместе с данными параметрами с оценкой ВЛД для тех же параметров (или построена зависимость ВЛНД от ВЛД при тех же порогах путем построения кривых КОО и РХ).

8.3.3 Вероятность ложного допуска

8.3.3.1 ВЛД - это доля транзакций верификации "самозванца", которые могут быть ошибочно приняты. Транзакция в зависимости от политики принятия решения может состоять из одной или более попыток "самозванца".

8.3.3.2 ВЛД следует определять как долю (или весовую долю) записанных пассивных транзакций "самозванца", которые были ошибочно приняты.

Пример - Если транзакция верификации состоит из единственной попытки, то для ложного допуска необходимо, чтобы представленный образец не был отклонен при проверке качества (то есть не должно происходить отказа сбора данных) и произошла ошибка соответствия. ВЛД будет равна:

ВЛД = ВЛС (1 - ВОСД).

8.3.3.3 ВЛД зависит от политики принятия решения, порога принятия решения о схожести и порога качества образца. ВЛД должна быть указана в протоколе вместе с данными параметрами с оценкой ВЛНД для тех же параметров (или должна быть построена зависимость ВЛД от ВЛНД при тех же порогах путем построения кривых КОО и РХ).

8.3.4 Обобщенные вероятности ложного допуска и недопуска

Для сравнения биометрических систем, имеющих различные ВОР, следует использовать обобщенные ВЛД и ВЛНД, которые включают в себя ошибки, возникающие при регистрации, сборе образцов и определении соответствия. Метод обобщения должен соответствовать испытанию. Как правило, обобщение должно включать в себя отказы регистрации, как если бы регистрация закончилась, но все последующие верификационные попытки или попытки транзакций идентификации с данным регистрируемым субъектом или с его шаблонами буду неудачными. Метод обобщения должен быть указан в протоколе.

Примеры

1 Проводят такое сценарное испытание, при котором незарегистрированные субъекты не участвуют в испытании и транзакция верификации состоит из единственной попытки. В этом случае обобщенный ложный допуск происходит, если и совершающий попытку "самозванца" субъект, и субъект, за которого выдает себя "самозванец", зарегистрированы и предложенный образец не отклонен при проверке качества (т.е. нет отказа в сборе данных) и происходит ложное соответствие. Обобщенный ложный недопуск происходит, если субъект не зарегистрирован или предложенный образец не может быть получен, или происходит ложное несоответствие. Обобщенная вероятность ложного допуска (ОВЛД) и обобщенная вероятность ложного недопуска (ОВЛНД) равны:

ОВЛД = ВЛС (1 - ВОСД) (1 - ВОР) ²;

ОВЛНД = ВОР + (1 - ВОР) ВОСД + (1 - ВОР) (1 - ВОСД) ВЛНС.

2 При технологическом испытании шаблоны регистрации создают из всех изображений галереи, которые не вызывают отказа регистрации, и признаки создают из всех испытуемых изображений, которые не вызывают отказа при сборе данных. В этом случае обобщенные вероятности ложного допуска и недопуска равны:

ОВЛД = ВЛС (1 - ВОСД) (1 - ВОР);

ОВЛНД = ВОР + (1 - ВОР) ВОСД + (1 - ВОР) (1 - ВОСД) ВЛНС.

8.4 Эксплуатационные характеристики системы идентификации (на открытом множестве)

8.4.1 Общие положения

Определение вероятности (истинно положительной) идентификации для биометрических систем на замкнутом множестве и вероятности ложноположительной и ложноотрицательной идентификации для систем на открытом множестве в первом приближении могут быть получены из ошибки соответствия кривой КОО. Подобные определения не учитывают корреляцию в сравнениях, касающихся одного пользователя, и, следовательно, являются неточными. Поэтому для получения данных эксплуатационных характеристик, по крайней мере для небольших баз данных, должны быть получены транзакции идентификации. Определение эксплуатационных характеристик крупномасштабных биометрических систем идентификации (помимо объема испытаний) можно экстраполировать одновременно, используя оценки в первом приближении и эксплуатационные характеристики идентификации меньшей базы данных. В этом случае в протоколе испытаний должна быть указана модель, которую следует использовать для экстраполяции эксплуатационных характеристик.

Пример - Эксплуатационные характеристики биометрической системы идентификации, использующей единственный биометрический образец, в зависимости от размера базы данных N могут быть аппроксимированы с помощью следующих формул, которые были проверены по наблюдаемым вероятностям ошибок идентификации:

ВЛОИ = ВОСД + (1 - ВОСД) ВЛНС;

ВЛПИ = (1 - ВОСД) (1 - (1 - ВЛС) ^N),

где N - число шаблонов в базе данных.

Примечание - При испытании биометрических систем идентификации, в которых проводится предварительный отбор образцов, вышеупомянутая модель эксплуатационной характеристики может быть расширена с помощью эксплуатационных характеристик для алгоритма предварительного отбора (см. приложение D).

8.4.2 Вероятность идентификации

Вероятность (истинно положительной) идентификации ранга r - это число транзакций идентификации пользователей, зарегистрированных в биометрической системе, для которых правильный идентификатор пользователя включен в возвращенный список кандидатов. При упоминании о единичном ранге идентификации следует ссылаться непосредственно на размер базы данных.

Пример - Вероятность идентификации ранга 1 на базе данных, состоящей из 250 записей, равна 95 %.

8.4.3 Вероятности ложноотрицательной и ложноположительной идентификации

8.4.3.1 ВЛОИ - это доля транзакций идентификации пользователей, зарегистрированных в биометрической системе, для которых правильный идентификатор пользователя не включен в возвращенный список кандидатов.

8.4.3.2 ВЛПИ - это доля транзакций идентификации пользователей, не зарегистрированных в системе, для которых возвращен непустой список кандидатов.

Примечание - ВЛПИ возрастает с увеличением числа пользователей, зарегистрированных в системе.

8.4.3.3 Эксплуатационные характеристики биометрической системы идентификации на открытом множестве могут быть также изображены в виде кривых КОО (вероятность истинно положительной идентификации в зависимости от ВЛПИ) или кривых РХ (ВЛОИ в зависимости от ВЛПИ) для определенного размера базы данных и определенного числа возвращенных идентификаторов.

Примечание - Для базы данных, содержащей одну запись, кривые отображают (с отношением 1:1) эксплуатационные характеристики верификации.

8.4.3.4 Суммарные эксплуатационные характеристики систем идентификации на открытом множестве с увеличением базы зарегистрированных пользователей следует изображать в виде графика зависимости вероятности идентификации (ранга 1) от размера пользовательской базы данных для постоянного значения ВЛПИ (с ростом размера базы данных потребуется изменение пороговых значений). Для разных размеров базы данных может быть построено множество кривых КОО, отображающих зависимость вероятности ложноположительной и ложноотрицательной идентификации (см. приложение Е, раздел Е.1).

8.5 Идентификация на замкнутом множестве

8.5.1 Вероятность идентификации ранга r - это вероятность того, что транзакция зарегистрированного в системе пользователя включает в себя истинный идентификатор этого пользователя в r первых возвращаемых соответствиях. При упоминании о единичном ранге идентификации следует ссылаться непосредственно на размер базы данных.

Пример - Вероятность идентификации ранга 1 на базе данных, состоящей из 250 записей, равна 95 %.

8.5.2 Определение эксплуатационных характеристик идентификации на замкнутом множестве следует изображать в виде кривой ХСС, для которой вероятность (истинно положительной) идентификации ранга r представляет собой функцию от r.

Примечание - Рекомендуемый алгоритм эффективного получения данных для кривой ХСС приведен в приложении Е.

8.5.3 Одним из недостатков кривой ХСС является ее зависимость от числа зарегистрированных в биометрической системе людей. Поэтому к результатам должен прилагаться график, изображающий вероятность идентификации ранга 1 как функцию числа регистрации.

8.6 Кривая компромиссного определения ошибки и кривая рабочей характеристики

8.6.1 Измерения КОО должны быть проведены с использованием степеней схожести подлинного лица и "самозванца", полученных при сравнении одного образца одной попытки с одним зарегистрированным шаблоном. По результату каждой попытки определяют степень схожести. Степени схожести, определенные по попыткам подлинного лица, должны быть упорядочены. Аналогично определяют степени схожести "самозванца". Выбросы должны быть изучены для определения ошибок, возникающих при маркировке. Изъятие любых степеней схожести из результатов испытания должно быть задокументировано и обеспечивать проведение внешней оценки испытания.

Примечание - Гистограммы степеней схожести подлинного лица и "самозванца" при построении кривой КОО не используют, поэтому рекомендации по созданию гистограмм по данным транзакций отсутствуют. Гистограммы используют для оценки параметров распределений подлинных лиц и "самозванцев". Модели не должны заменять гистограмму при определении параметров распределения.

8.6.2 В основе построения кривых КОО (или РХ) лежит накопление упорядоченных степеней схожести подлинного лица и "самозванца". Поскольку степени схожести могут иметь любые значения, кривые КОО (или РХ) строят параметрически: каждая точка (х, y) соответствует ВЛС и ВЛНС, а степень схожести является варьируемым параметром. ВЛС - это число степеней схожести "самозванца", больше или равных текущему значению параметра степени схожести, а ВЛНС - это число степеней схожести подлинного лица меньше текущего значения параметра степени схожести. Кривые строят, отображая ВЛС по абсциссе (ось Х) и ВЛНС - по ординате (ось Y). Оси могут иметь логарифмические масштабы.

Примечание - Рекомендуемый алгоритм эффективного получения данных для кривых КОО/РХ приведен в приложении Е.

8.6.3 Кривые КОО (или РХ) могут также использоваться для построения зависимости ВЛД от ВЛНД. ВЛД и ВЛНД зависят от ВЛС, ВЛНС, ВОСД и от политики принятия решения. Транзакции нескольких попыток могут потребовать создания новой транзакционной степени схожести, основанной на степенях схожести части попыток (например, максимальное значение степени схожести для лучшей из трех попыток, определенных политикой принятия решения). Подобным образом кривые КОО (или РХ) могут также использоваться для отображения отношений между вероятностями ошибок идентификации.

8.7 Неопределенность оценок

8.7.1 На определении эксплуатационных характеристик влияют систематические и случайные ошибки. Случайные ошибки являются следствием естественных изменений испытуемых субъектов и представленных образцов. Систематические ошибки возникают из-за смещений в процедуре испытания, например когда определенные типы личностей недостаточно представлены в испытуемой группе. Систематические ошибки не являются полностью контролируемыми, поэтому в результатах оперативного испытания будет присутствовать неопределенность. Несмотря на это, неопределенность измеренных эксплуатационных характеристик должна быть определена. Методы определения неопределенности эксплуатационных характеристик приведены в приложении В.

8.7.2 Неопределенность, являющаяся результатом случайных факторов, уменьшается при увеличении объема испытания, и может быть определена с помощью полученных данных. Также можно определить неопределенность, возникшую из-за некоторых систематических ошибок. Например проверив, согласуются ли вероятность ошибок для недостаточно представленной категории людей с полными вероятностями ошибок, следует показать, изменятся ли вероятность ошибок при испытании должным образом сбалансированной группы. Часть эксплуатационных испытаний может быть проведена повторно в других условиях окружающей среды для проверки чувствительности измеренных вероятностей ошибок к изменениям условий окружающей среды.

9 Хранение записей

9.1 Запись и хранение результатов испытаний должно соответствовать требованиям ИСО/МЭК 17025. Записи должны включать в себя:

a) оригинальные изображения образцов (если они собраны), если позволяет объем данных;

b) если изображения образцов не собраны, должны быть сохранены шаблоны каждой регистрации (если они доступны) и данные признаков каждой верификационной или идентификационной попытки;

c) степени схожести и выдаваемые биометрической системой решения, если они доступны;

d) методы, используемые для определения эксплуатационных характеристик и неопределенности результатов;

f) персонал, ответственный за проведение регистрации и контроль получения данных транзакций;

g) необходимую информацию для создания контрольного журнала.

9.2 Необходимая информация для создания контрольного журнала должна обеспечивать:

a) возможность повторного проведения испытаний в условиях, максимально приближенных к первоначальным;

b) поддержку при выяснении факторов, влияющих на неопределенность результатов.

9.3 Для предотвращения потерь или изменений первоначальных данных испытания записи (рукописные или электронные) должны быть защищены. При необходимости внесения изменений должна быть сохранена копия оригинала с указанием всех изменений, внесенных в оригинал.

9.4 При наличии ошибок (в процедурах сбора данных и т.д.) в записях должны быть указаны как ошибочные данные, так и правильные значения.

10 Протоколы эксплуатационных испытаний

10.1 Фундаментальные показатели

Следующие показатели эксплуатационных испытаний применимы ко всем биометрическим системам и в случае необходимости должны быть указаны в протоколе:

a) ВОР;

b) ВОСД;

c) ВЛС и ВЛНС (на всем диапазоне пороговых значений);

d) гистограммы, изображающие индивидуальные различия вероятностей ошибок между субъектами.

10.2 Показатели биометрической системы верификации

В протоколе эксплуатационных испытаний биометрической системы верификации должны быть указаны следующие показатели:

a) ВОР (при необходимости) или указание, что ВОР неизвестна;

b) ВОСД (при необходимости) или указание, что ВОСД неизвестна;

c) ВЛД и соответствующая ВЛНД (по всему диапазону пороговых значений);

d) ОВЛД и соответствующая ОВЛ НД (по всему диапазону пороговых значений) с описанием метода обобщения (при необходимости);

f) гистограммы вероятностей ошибок, демонстрирующие индивидуальные различия между субъектами (при необходимости).

10.3 Показатели биометрической системы идентификации

В протоколе эксплуатационных испытаний биометрической системы идентификации на открытом множестве должны быть указаны следующие показатели:

a) ВОР (при необходимости) или указание, что ВОР неизвестна;

b) ВОСД (при необходимости) или указание, что ВОСД неизвестна;

c) ВЛПИ и соответствующая ВЛОИ (по всему диапазону пороговых значений);

d) размер базы данных;

e) кривые КОО или РХ, демонстрирующие различные размеры базы данных шаблонов и различные числа возвращаемых идентификаторов и т.д.;

f) гистограммы вероятностей ошибок, демонстрирующие индивидуальные различия между субъектами (при необходимости).

10.4 Показатели биометрической системы идентификации на замкнутом множестве

В протоколе эксплуатационных испытаний системы идентификации на замкнутом множестве должны быть указаны следующие показатели:

а) кривая ХСС;

б) размер базы данных.

10.5 Учет особенностей испытания

Показатели эксплуатационных характеристик, такие как кривая КОО, ВОР и сбора данных, вероятности ошибок, возникающие при предварительном отборе и проникновениях, зависят от вида испытания, особенностей применения биометрической системы и выборки. Для получения правильного представления о данных показателях необходимо знать:

a) подробную информацию об испытуемой системе (системах), которая должна содержать не только биометрическую информацию, так как на эксплуатационные характеристики также оказывают влияние такие факторы, как пользовательский интерфейс;

b) вид испытания:

- технологическое испытание: особенности используемой базы данных,

- сценарное испытание: особенности испытуемого сценария,

- оперативное испытание: особенности эксплуатационного применения;

c) объем испытания:

- число испытуемых субъектов,

- число пальцев, рук, глаз и т.д., зарегистрированных каждым испытуемым субъектом,

- число посещений каждого испытуемого субъекта,

- число транзакций каждого испытуемого субъекта (или пальца испытуемого субъекта и т.д.) при каждом посещении;

d) демографические данные испытуемой группы (возраст, пол и т.д.);

e) условия окружающей среды;

f) интервалы времени между регистрациями и испытательными транзакциями;

g) критерии качества и принятия решений во время сбора данных;

h) параметры контроля факторов, воздействующих на эксплуатационные характеристики (приложение С);

i) параметры процедуры испытания, т.е. правила определения ошибок регистрации;

j) данные об уровне подготовки, ознакомления и ориентирования испытуемой группы в вопросах использования биометрической системы;

k) данные о внештатных ситуациях и данные, не включенные в анализ;

l) данные о неконтролируемых факторах (и методы оценки данных факторов);

m) любые отклонения от требования настоящего стандарта должны быть обоснованы. Допускается пренебречь одним показателем в пользу другого. Например, установка случайного характера последовательности получения отпечатков пальцев на биометрической системе может запутать пользователя и привести к возникновению большого числа ошибок в маркировке.

10.6 Графическое представление результатов

10.6.1 Общие положения

10.6.1.1 Эксплуатационные характеристики сравнения и (или) принятия решения должны быть изображены в виде кривых РК или КОО по всему диапазону пороговых значений.

10.6.1.2 Масштабы осей (граничные значения и использование логарифмических масштабов) должны обеспечивать наглядное представление результатов и быть согласованы для различных графиков в одном протоколе испытаний. Для обеспечения наглядности при изменении масштаба на графиках должна быть пометка об изменении масштаба.

10.6.1.3 При сравнении эксплуатационных характеристик различных биометрических систем более информативными, чем графики, демонстрирующие вероятности ошибок, являются кривые КОО или РХ ошибок принятия решения (ВЛНД в зависимости от ВЛД), которые показывают общее влияние ошибок сравнения, получения изображений, хранения и регистрации.

10.6.2 Кривая КОО

10.6.2.1 Кривую КОО используют для построения графика вероятностей ошибок сравнения (ВЛНС в зависимости от ВЛС), вероятностей ошибок принятия решения (ВЛНД в зависимости от ВЛД) и вероятностей идентификации на открытом множестве (ВЛОИ в зависимости от ВЛПИ).

10.6.2.2 Для обеспечения наглядности графиков рекомендуется применять для осей логарифмический масштаб. При применении логарифмических масштабов наблюдаемая нулевая вероятность ошибки в N испытаниях может быть отмечена как значение 0,5/N или как минимум масштаба, если это значение больше.

Рисунок 3 - Пример построения кривых КОО

Примечание - Кривые КОО отображают те же данные, что и кривые РХ, изображенные на рисунке 4.

10.6.3 Кривые РХ

10.6.3.1 Построение кривых РХ - общепринятый метод подведения итогов эксплуатационных испытаний биометрических систем обнаружения и сравнения с образцом. Кривые РХ не зависят от порога, что позволяет проводить сравнение эксплуатационных характеристик различных биометрических систем, используемых в аналогичных условиях или одной биометрической системы, используемой в различных условиях окружающей среды. Кривые РХ используют для изображения эксплуатационных характеристик алгоритма сравнения (1 - ВЛНС в зависимости от ВЛС), эксплуатационных характеристик биометрических систем верификации (1 - ВЛНД в зависимости от ВЛД), а также эксплуатационных характеристик биометрических систем идентификации на открытом множестве (вероятность идентификации в зависимости от ВЛПИ).

10.6.3.2 Для наглядности рекомендуется применять для осей логарифмический масштаб. При применении логарифмических масштабов наблюдаемая нулевая вероятность ошибки в N испытаниях может быть отмечена как значение 0,5/N или как минимум масштаба, если это значение больше.

Рисунок 4 - Пример набора кривых РХ

Примечание - Кривые РХ отображают те же данные, что и кривые КОО, изображенные на рисунке 3.

10.6.4 Кривые ХСС

Для приложений идентификации на замкнутом множестве эксплуатационные характеристики изображают в виде кривой ХСС. Кривая является функцией числа транзакций, при которых идентификатор испытуемого субъекта присутствует среди k первых возвращенных идентификаторов, от значения параметра k.

Рисунок 5 - Примеры построения кривых ХСС

Примечание - Данный пример взят из [11]. График показывает вероятность идентификации для базы данных из 37437 шаблонов лиц.

Библиография

[1]	Fejfar, A. and Myers, J.W. The testing of three automatic identity verification techniques. Proceedings of the International Conference on Crime Countermeasures, Oxford, July 1977
[2]	Davies, D.W. and Price, W.L. Security for computer networks, Wiley, 1984. (Sections 7.10 & 7.11 review several performance evaluations)
[3]	Holmes, J.P., Wright, L.J., and Maxwell, R.L. A performance evaluation of biometric identification devices. Sandia report SAND91-0276, June 1991
[4]	Bouchier, F., Ahrens, J.S., and Wells, G. Laboratory evaluation of the iriscan prototype biometric identifier. Sandia report SAND96-1033, April 1996
[5]	Rauss, P., Phillips, P.J., Hamilton, M.K. and DePersia, A.T. FERET (face recognition technology) recognition algorithms. Proceedings of Automatic Target Recognizer System and Technology Conference, July 1996
[6]	Roethenbaugh, G. ICSA biometric certification. Biometric industry product buyer's guide, ICSA, 1998, 27-31
[7]	BIOIS: Comparative study of biometric identification systems: Public final report. Study by Fraunhofer-IGD for BSI (German Information Security Agency) and BKA (German Federal Police Agency), May 2000
[8]	Blackburn, D., Bone, M. and Phillips, J. Facial recognition vendor test 2000. February 2001
[9]	Mansfield, A.J., Kelly, G.P., Chandler, D.J. and Kane, J. Biometric product testing final report. Report for CESG and Biometrics Working Group, March 2001
[10]	Maio, D., Maltoni, D., Cappelli, R., Wayman, J.L. and Jain, A.K. FVC2000: Fingerprint verification competition. IEEE Trans. PAMI, 2002, 24(3), 402-412
[11]	Phillips, P.J., Grother, P., Michaels, R.J., Blackburn, D.M., Tabassi, E. and Bone, M. Face recognition vendor test 2002 Evaluation Report. NIST IR 6965, 2003
[12]	Mansfield, A.J. and Wayman, J.L. (2002) Best Practices in Testing and Reporting Performance of Biometric Devices, Version 2.01, NPL Report CMSC 14/02
[13]	Doddington, G.R., Przybocki, M.A., Martin, A.F. and Reynolds, D.A. The NIST speaker recognition evaluation: Overview methodology, systems, results, perspective. Speech Communication, 2000, 31(2-3), 225-254
[14]	Phillips, P.J., Martin, A., Wilson, C.L. and Przybocki, M. An introduction to evaluating biometric systems. Computer, (Feb 2000), 56-63
[15]	Hennessy, J.L. and Patterson, D.A. Computer Architecture: A Quantitative Approach, 2nd ed., Morgan Kaufman, San Francisco, 1996
[16]	Doddington, G., Liggett, W., Martin, A., Przybocki, M. and Reynolds, D. Sheep, goats, lambs and wolves: A statistical analysis of speaker performance in the NIST 1998 speaker recognition evaluation. ICSLP, November 1998
[17]	Wayman, J.L. Multi-finger penetration rate and ROC variability for automatic fingerprint identification systems. National Biometric Test Center, May 1999
[18]	ISO/IEC 19794-4, Information technology - Biometric data interchange formats - Part 4: Finger image data
[19]	ISO/IEC 19794-5, Information technology - Biometric data interchange formats - Part 5: Face image data
[20]	ISO/IEC 19794-6, Information technology - Biometric data interchange formats - Part 6: Iris image data
[21]	Cox, R. Three new speech coders from the ITU cover a range of applications. IEEE Communications Magazine, 1997, 35 (9 - special issue on standardisation and characterisation of G729), 40-47
[22]	Wayman, J.L. Technical testing and evaluation of biometric identification devices. Biometrics: Personal identification in networked society, edited by A.K. Jain, et al., Kluwer, 2000, 345-368
[23]	Godfrey, J., Graff, D. and Martin, A. Public databases for speaker recognition and verification. ESCA Workshop on Automatic Speaker Recognition, Identification and Verification, 1994
[24]	Wayman, J.L. Confidence interval and test size estimation for biometric data. Proceedings of the IEEE AutolD Conference, 1999
[25]	Newman, H.H., Freeman, F.N. and Holzinger, J.K. Twins, Chicago University Press, 1937. Results on fingerprint similarity between identical twins cited in [31, table 10.20.1]
[26]	Daugman, J. and Downing, C. Epigenetic randomness, complexity, and singularity of human iris patterns. Proceeding of the Royal Society Biological Sciences, 2001, 268, 1737-1740
[27]	Jain, A.K., Prabhakar, S. and Pankanti, S. On the similarity of identical twin fingerprints. Pattern Recognition, 2002, 35(11), 2653-2663
[28]	Louis, T.A. Confidence intervals for a binomial parameter after observing no successes. The American Statistician, 1981, 35(3), 154
[29]	Hanley, J.A. and Lippman-Hand, A. If nothing goes wrong, is everything all right? Interpreting zero numerators. Journal of the American Medical Association, 1983, 249(13), 1743-1745
[30]	Jovanovic, B.D. and Levy, P.S. A look at the rule of three. The American Statistician, 1997, 51(2), 137-139.
[31]	Snedecor, G.W. and Cochran, W.G. Statistical methods, Iowa State University Press, 1967 (Sixth edition)
[32]	Efron, B. and Tibshirani, R.J. An introduction to the bootstrap, Chapman and Hall, 1997
[33]	Diegert, K.V. Estimating performance characteristics of biometric identifiers. Proceedings of Biometrics Consortium Conference, San Jose, CA, June 1996
[34]	Bolle, R.M., Ratha, N.K. and Pankanti, S. Confidence interval measurement in performance analysis of biometric systems using the bootstrap. Proceedings of Workshop on Empirical Evaluation Methods in Computer Vision, Hawaii, December 2001
[35]	Maltoni, D. et al, Handbook of Fingerprint Recognition, Springer, 2003
[36]	Lumini, A, Maio, D. and Maltoni, D., Continuous versus exclusive classification for fingerprint retrieval, Pattern Recognition Letters, Vol.18, No.10, pp.1027-1034, 1997
[37]	Uchida, K., Kamei, Т., Mizoguchi, M. and Temma, Т., Fingerprint Card Classification with Statistical Feature Integration, Proceedings of the 14th International Conference on Pattern Recognition, Brisbane, Australia, pp.1833-1839, August 1998
[38]	Cappelli, R. and Maio, D., The State of the Art in Fingerprint Classification, in Ratha N. and Bolle R. (Eds.) Automatic Fingerprint Recognition, Chapter 9, pp.183-205
[39]	Kamei, T. Fingerprint Pre-selection Using Eigenfeatures for a Large-Size Database, in Ratha N. and Bolle, R. (Eds.), Automatic Fingerprint Recognition, Chapter 13, pp. 263-282