Приложение В (справочное). Этапы основных видов технологического испытания и действия, выполняемые в ходе данного испытания

Приложение В
(справочное)

Этапы основных видов технологического испытания и действия, выполняемые в ходе данного испытания

В.1 Простое испытание биометрической верификации

Простое испытание биометрической верификации является основным средством оценки производительности алгоритмов биометрической системы при работе с базой данных. Данный вид испытания может проводиться многократно, например при разработке компонентов или при сравнительном испытании биометрических систем. Кроме того, данное испытание позволяет определить сложные для обработки элементы данных.

Простое испытание биометрической верификации позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Пример - Данное испытание может быть репрезентативным для биометрических систем с одним зарегистрированным субъектом, например таких как КПК.

Порядок проведения испытания приведен в таблице В.1.

Таблица В.1

Этап	Номер	Действие
Извлечение данных	1	Создание двух разделов: 1 Е - содержит первый биометрический образец каждого отдельного испытуемого субъекта, представляющий собой регистрационный биометрический образец. 2 U - содержит второй биометрический образец каждого субъекта из раздела Е, представляющий собой биометрический образец субъекта
Проведение испытания	2	Создание биометрических контрольных шаблонов: 1 Запуск процесса формирования биометрических контрольных шаблонов для всех биометрических образцов раздела Е. 2 Измерение времени каждой операции и сохранение результатов. 3 Вычисление доли биометрических образцов, для которых биометрическая регистрация невозможна, и определение числа отказов биометрической регистрации. 4 Сохранение биометрических контрольных шаблонов, пригодных для биометрической регистрации
	3	Извлечение биометрических признаков образцов: 1 Перестановка биометрических образцов в разделе U с сохранением информации о перестановке (то есть так, чтобы сохранить связь с соответствующими биометрическими образцами в разделе Е). 2 Запуск процесса извлечения биометрических признаков из всех биометрических образцов раздела U. 3 Измерение времени проведения каждой операции и сохранение результатов. 4 Вычисление доли биометрических образцов, использование которых невозможно, и определение числа отказов получения биометрических данных. 5 Сохранение биометрических признаков образцов, пригодных для использования
	4	Создание списков транзакций: 1 Формирование списка А, состоящего из N пар биометрических контрольных шаблонов и признаков совпадающих друг с другом биометрических образцов из разделов Е и U. 2 Формирование списка В, состоящего из пар биометрических контрольных шаблонов и признаков не совпадающих друг с другом биометрических образцов из разделов Е и U. 3 Объединение списков А и В в список С и его перетасовка (случайным образом) с сохранением атрибутов совпадения и несовпадения
	5	Выполнение полного перекрестного сравнения: 1 Запуск процедуры биометрической верификации для каждой пары элементов из списка С. 2 Измерение времени проведения каждой операции, раздельное сохранение результатов для пар совпадающих и не совпадающих друг с другом биометрических образцов. 3 Формирование раздельных списков совпадения и несовпадения и добавление каждого результата сравнения в эти списки
Протоколирование результатов испытания	6	Вычисление данных для кривой КОО: 1 Формирование списка S уникальных результатов сравнения. 2 Для каждого значения s из списка S: a) вычисление доли меньших чем значение s результатов сравнения подлинных лиц (то есть ВЛНС); b) вычисление из ВЛНС ВЛНД; c) вычисление доли больших, чем значение s, результатов сравнения "самозванцев" (то есть ВЛС); d) вычисление из ВЛС ВЛД. 3 Построение кривой КОО по точкам с координатами (ВЛД, ВЛНД) для всех значений s
	7	Вычисление статистических показателей пропускной способности: 1 Успешные и неуспешные попытки формирования биометрических контрольных шаблонов (отдельно друг от друга). 2 Успешные и неуспешные попытки извлечения биометрических признаков из биометрических образцов подлинных лиц и "самозванцев". 3 Попытки сравнения для пар совпадающих и несовпадающих друг с другом биометрических образцов (отдельно друг от друга)
	8	Подведение итогов испытания и подготовка протокола согласно установленным правилам
Примечания 1 Если число биометрических образцов в разделах Е и U не одинаково, то наборы исходных биометрических образцов из разделов Е и U могут быть переставлены местами, после чего необходимо провести повторное испытание. Однако это не всегда возможно для целевого применения биометрической системы. 2 Если есть основания предполагать, что результат попытки "самозванца" зависит от того, использовался ли другой биометрический образец "самозванца" ранее (в качестве регистрационного биометрического образца в разделе Е или биометрического образца пользователя в разделе U), то может понадобиться проведение испытания истинного "самозванца", что предполагает использование третьего раздела I, содержащего биометрические образцы истинных "самозванцев", которые должны сопоставляться с биометрическими образцами из раздела Е таким образом, что биометрический образец из раздела I никогда не должен использоваться в качестве регистрационного биометрического образца

В.2 Испытание биометрической верификации с участием нескольких зарегистрированных пользователей

Испытание биометрической верификации с участием нескольких зарегистрированных пользователей аналогично простому испытанию биометрической верификации; отличием является испытание устройства сбора биометрических данных, способного работать с несколькими пользователями. Данный тип испытания может применяться для оценки возможностей усовершенствованной биометрической верификации с использованием других зарегистрированных биометрических контрольных шаблонов, например путем общей нормализации. Испытание биометрической верификации с участием нескольких зарегистрированных пользователей влечет за собой большее число запросов на идентичность в линейной зарегистрированной выборке. Испытуемый алгоритм может использовать данные других зарегистрированных пользователей для того, чтобы сформировать зависимости между биометрическими контрольными шаблонами или провести нормализацию.

Испытание биометрической верификации с участием нескольких зарегистрированных пользователей позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Пример - Биометрическая верификация в системе контроля доступа при входе в здание.

Порядок проведения испытания приведен в таблице В.2.

Таблица В.2

Этап	Номер	Действие
Извлечение данных	1	Создание двух разделов: 1 Е - содержит первый биометрический образец каждого отдельного испытуемого субъекта, представляющий собой регистрационный биометрический образец. 2 U - содержит второй биометрический образец каждого субъекта из раздела Е, представляющий собой биометрический образец пользователя
Проведение испытания	2	Биометрическая регистрация: 1 Инициализация структуры данных зарегистрированных пользователей (СДЗП), определенной разработчиком. 2 Формирование биометрического контрольного шаблона для каждого из N биометрических образцов раздела Е: a) измерение времени каждой операции, сохранение результатов; b) если биометрическая регистрация прошла успешно, то сохранение биометрических контрольных шаблонов в СДЗП; c) подсчет доли биометрических образцов, признанных непригодными для биометрической регистрации, и вычисление ВОБР. 3 Завершение формирования СДЗП. Измерение времени данной операции и сохранение результатов
	3	Извлечение признаков образцов: 1 Перестановка N биометрических образцов в разделе U с сохранением информации о перестановке (то есть так, чтобы сохранить связь с соответствующими биометрическими образцами в разделе Е). 2 Запуск процесса извлечения биометрических признаков из всех биометрических образцов раздела U. 3 Измерение времени проведения каждой операции и сохранение результатов. 4 Вычисление доли биометрических образцов, использование которых невозможно, и подсчет ВОПБД. 5 Сохранение биометрических признаков образцов, пригодных для использования
	4	Создание списков транзакций: 1 Создание пустого списка А. 2 Для каждого набора биометрических признаков образцов субъектов из раздела U постановка ему в соответствие индекса элемента СДЗП, чей биометрический образец совпадает с данным биометрическим образцом, и добавление его в список А. 3 Создание пустого списка В. 4 Для каждого биометрического признака образцов М субъектов из раздела U постановка ему в соответствие индексов всех N-1 элементов СДЗП, не совпадающих с данным биометрическим образцом, и последующее добавление их в список В. 5 Объединение списков А и В в список С и его перетасовка (случайным образом) с сохранением атрибутов совпадения и несовпадения
	5	Выполнение полного перекрестного сравнения: 1 Запуск процедуры биометрической верификации для каждой пары "индекс - набор" биометрических признаков из списка С. 2 Измерение времени проведения каждой операции, раздельное сохранение результатов для пар совпадающих и не совпадающих друг с другом биометрических образцов. 3 Формирование раздельных списков совпадения и несовпадения и добавление каждого результата сравнения в эти списки
Протоколирование результатов испытания	6	Вычисление данных для кривой КОО: 1 Формирование списка S уникальных результатов сравнения. 2 Для каждого значения s из списка S: a) вычисление доли меньших, чем значение s, результатов сравнения подлинных лиц (то есть ВЛНС); b) вычисление из ВЛНС ВЛНД; c) вычисление доли больших, чем значение s, результатов сравнения "самозванцев" (то есть ВЛС); d) вычисление из ВЛС ВЛД. 3 Построение кривой КОО по точкам с координатами (ВЛД, ВЛНД) для всех значений s
	7	Вычисление статистических показателей пропускной способности: 1 Успешные и неуспешные попытки формирования биометрических контрольных шаблонов (отдельно друг от друга). 2 Успешные и неуспешные попытки извлечения биометрических признаков из биометрических образцов подлинных лиц и "самозванцев". 3 Попытки сравнения для пар совпадающих и несовпадающих друг с другом биометрических образцов (отдельно друг от друга)
	8	Подведение итогов испытания и подготовка протокола согласно установленным правилам

В.3 Испытание биометрической верификации с участием нескольких зарегистрированных пользователей и истинных "самозванцев"

Испытание биометрической верификации с участием нескольких зарегистрированных пользователей и истинных "самозванцев" добавляет в испытания параметр зависимости биометрических контрольных шаблонов путем включения незарегистрированных пользователей в качестве "самозванцев".

Испытание биометрической верификации с участием нескольких зарегистрированных пользователей и истинных "самозванцев" позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Порядок проведения испытания приведен в таблице В.3.

Таблица В.3

Этап	Номер	Действие
Извлечение данных	1	Создание трех разделов: 1 Е - содержит первый биометрический образец каждого отдельного испытуемого субъекта, представляющий собой регистрационный биометрический образец. 2 U - содержит второй биометрический образец каждого субъекта из раздела Е, представляющий собой биометрический образец пользователя. 3 I - содержит биометрические образцы каждого субъекта, не представленного в разделе Е
Проведение испытания	2	Биометрическая регистрация: 1 Инициализация СДЗП, определенной разработчиком. 2 Формирование биометрического контрольного шаблона для каждого биометрического образца из раздела Е: a) измерение времени проведения каждой операции, сохранение результатов; b) если биометрическая регистрация прошла успешно, то биометрические контрольные шаблоны сохраняются в СДЗП; c) определение доли биометрических образцов, которые были признаны непригодными для биометрической регистрации, и вычисление ВОБР. 3 Завершение формирования СДЗП. Измерение времени данной операции и сохранение результатов
	3	Извлечение биометрических признаков образцов: 1 Перестановка N биометрических образцов в разделе U с сохранением информации о перестановке (то есть так, чтобы сохранить связь с соответствующими биометрическими образцами в разделе Е). 2 Запуск процесса извлечения биометрических признаков из всех М биометрических образцов разделов U и I. 3 Измерение времени проведения каждой операции и сохранение результатов. 4 Вычисление доли биометрических образцов, использование которых невозможно, и подсчет ВОПБД. 5 Сохранение признаков биометрических образцов, пригодных для использования
	4	Создание списков транзакций: 1 Создание пустого списка А. 2 Для каждого биометрического признака образцов субъектов из раздела U постановка ему в соответствие индекса элемента СДЗП, совпадающего с данным биометрическим образцом, и добавление его в список А. 3 Создание пустого списка В. 4 Для каждого биометрического признака образцов субъектов из раздела I постановка ему в соответствие индексов всех N-1 элементов СДЗП, не совпадающих с данным биометрическим образцом, и последующее добавление их в список В. 5 Объединение списков А и В в список С и его перетасовка (случайным образом) с сохранением атрибутов совпадения и несовпадения
	5	Выполнение полного перекрестного сравнения: 1 Запуск процедуры биометрической верификации для каждой пары "индекс - набор" биометрических признаков из списка С. 2 Измерение времени каждой операции, раздельное сохранение результатов для пар совпадающих и не совпадающих друг с другом биометрических образцов. 3 Формирование раздельных списков совпадения и несовпадения и добавление каждого результата сравнения в эти списки
Протоколирование результатов испытания	6	Вычисление данных для кривой КОО: 1 Формирование списка S уникальных результатов сравнения. 2 Для каждого значения s из списка S: a) вычисление доли меньших, чем значение s, результатов сравнения подлинных лиц (то есть ВЛНС); b) вычисление из ВЛНС ВЛНД; c) вычисление доли больших, чем значение s, результатов сравнения "самозванцев" (то есть ВЛС); d) вычисление из ВЛС ВЛД. 3 Построение кривой КОО по точкам с координатами (ВЛД, ВЛНД) для всех значений s
	7	Вычисление статистических показателей пропускной способности: 1 Успешные и неуспешные попытки формирования биометрических контрольных шаблонов (отдельно друг от друга). 2 Успешные и неуспешные попытки извлечения биометрических признаков из биометрических образцов подлинных лиц и "самозванцев". 3 Попытки сравнения для совпадающих и несовпадающих друг с другом пар (отдельно друг от друга)
	8	Подведение итогов испытания и подготовка протокола согласно установленным правилам

В.4 Испытание биометрической верификации с выдачей решения "да/нет"

Испытание биометрической верификации с выдачей решения "да/нет" представляет собой испытание алгоритма, который выдает только окончательные решения. Данный тип испытания применим при отсутствии возможности изменения программного обеспечения с целью получения результатов сравнения. Испытание проводят путем наблюдения результатов биометрической верификации, осуществляемого в "пакетном" режиме.

Испытание биометрической верификации биометрической системы с выдачей решения "да/нет" позволяет определить пару значений (ВЛНС/ВЛС) в одной рабочей точке.

ВЛС определяют как число транзакций "самозванцев" с выданным решение о допуске, разделенное на общее число транзакций "самозванцев".

ВЛНС определяют как число транзакций подлинных лиц с выданным решением о недопуске, разделенное на общее число транзакций подлинных лиц.

В.5 Простое испытание биометрической идентификации на замкнутом множестве

Простое испытание биометрической идентификации на замкнутом множестве проводят с целью определения эксплуатационных характеристик биометрической системы в случаях, когда заранее известно, что каждый пользователь имеет совпадающий зарегистрированный биометрический образец. Данное испытание не позволяет определить ВЛС. Испытание проводят путем выполнения полного числа сравнений "один ко многим".

Простое испытание биометрической идентификации на замкнутом множестве позволяет вычислить ХСС.

Пример - Круизный лайнер, на борту которого установлена система распознавания по лицу. Регистрация пользователей происходит при посадке, а сбор биометрических данных (возможно, скрытый) осуществляется позднее.

Порядок проведения испытания приведен в таблице В.4.

Таблица В.4

Этап	Номер	Действие
Извлечение данных	1	Создание двух разделов: 1 Е - содержит первый биометрический образец каждого отдельного испытуемого субъекта, представляющий собой регистрационный биометрический образец. 2 U - содержит второй биометрический образец каждого субъекта из раздела Е, представляющий собой биометрический образец пользователя
Проведение испытания	2	Биометрическая регистрация: 1 Инициализация СДЗП, определенной разработчиком. 2 Для каждого биометрического образца из раздела Е: a) запуск процесса формирования биометрических контрольных шаблонов, добавление этих данных в СДЗП; b) измерение времени проведения каждой операции, сохранение результатов. 3 Завершение формирования СДЗП. Измерение времени данной операции и сохранение результатов
	3	Извлечение биометрических признаков образцов: 1 Перестановка N биометрических образцов в разделе U с сохранением информации о перестановке (то есть так, чтобы сохранить связь с соответствующими биометрическими образцами в разделе Е). 2 Создание пустого списка А. 3 Запуск процесса извлечения биометрических признаков каждого исходного биометрического образца из раздела U: a) в случае отказа получения биометрических данных этот факт должен быть записан; b) если отказа получения биометрических данных нет, то добавление биометрического признака образца в список А. 4 Измерение времени каждой операции, раздельное сохранение результатов для случаев отказа получения биометрических данных и случаев успешного извлечения биометрических признаков
	4	Выполнение биометрической идентификации: 1 Для каждого биометрического признака образца из списка А запуск процесса биометрической идентификации с целью его сравнения с биометрическими признаками, имеющимися в СДЗП. 2 Сохранение полученного списка кандидатов. 3 Измерение времени проведения каждой операции и сохранение результатов
Протоколирование результатов испытания	5	Вычисление данных для кривой ХСС: 1 Для каждого списка кандидатов для биометрических признаков образца из А определить ранг совпадающих элементов. 2 Для каждого элемента раздела U, не включенного в А (из-за возникновения отказов получения биометрических данных), установить ранг N (то есть наихудшее возможное значение). 3 Для каждого ранга r от 1 до N вычислить ХСС в зависимости от r как долю биометрических образцов пользователей с рангами не более r
	6	Вычисление статистических показателей пропускной способности: 1 Успешные попытки формирования биометрических контрольных шаблонов. 2 Успешные и неуспешные попытки извлечения биометрических признаков из биометрических образцов подлинных лиц и "самозванцев". 3 Попытки сравнения (полное сравнение "один ко многим")
	7	Подведение итогов испытания и подготовка протокола согласно установленным правилам

В.6 Простое испытание биометрической идентификации на открытом множестве

Простое испытание биометрической идентификации на открытом множестве проводят с целью определения эксплуатационных характеристик биометрической системы в случаях, когда субъекты могут являться "самозванцами" (то есть не иметь совпадающих зарегистрированных биометрических образцов). Данный тип испытания подразумевает проведение сравнений "один ко многим" с дальнейшей оценкой ВЛНС по всем субъектам, а также вычислением ВЛС с привлечением истинных "самозванцев". Результаты сравнения "один к одному" в данном случае не используют.

Простое испытание биометрической идентификации на открытом множестве позволяет получить ХСС и построить эмпирические кривые КОО для сравнения "один ко многим". Порядок проведения испытания приведен в таблице В.5.

Таблица В.5

Этап	Номер	Действие
Извлечение данных	1	Создание трех разделов: 1 Е - содержит первый биометрический образец каждого отдельного испытуемого субъекта, представляющий собой регистрационный биометрический образец. 2 U - содержит второй биометрический образец субъектов, представленных в разделе Е. 3 I - содержит биометрические образцы субъектов, не зарегистрированных в Е
Проведение испытания	2	Биометрическая регистрация: 1 Инициализация СДЗП, определенной разработчиком. 2 Для каждого биометрического образца из раздела Е: a) запуск процесса формирования биометрических контрольных шаблонов и добавление этих данных в СДЗП; b) измерение времени проведения каждой операции и сохранение результатов. 3 Завершение формирования СДЗП. Измерение времени проведения данной операции и сохранение результатов
	3	Формирование биометрических контрольных шаблонов: 1 Объединение разделов U и I в раздел Р и его перетасовка (случайным образом) с сохранением атрибутов принадлежности исходным разделам. 2 Создание пустого списка А. 3 Запуск процесса извлечения биометрических признаков из всех исходных биометрических образцов раздела Р. 4 В случае отказа получения биометрических данных этот факт должен быть записан. 5 Если отказа получения биометрических данных нет, то добавление биометрических признаков образца в список А. 6 Измерение времени каждой операции и сохранение результатов
	4	Выполнение биометрической идентификации: 1 Для каждого биометрического признака образца из списка А запуск процесса биометрической идентификации с целью сравнения с биометрическими признаками, имеющимися в СДЗП. 2 Измерение времени проведения каждой операции и сохранение результатов отдельно для совпадений и несовпадений (то есть результатов для биометрических образцов из разделов U и I). 3 Сохранение списка кандидатов
Протоколирование результатов испытания	5	Вычисление данных для кривой КОО: 1 Создание нового пустого списка результатов сравнения S. 2 Для каждого списка кандидатов из А: a) если кандидат является результатом идентификации элемента из раздела U (то есть имеющего совпадающий зарегистрированный биометрический образец), то нахождение совпадающей записи и добавление результата сравнения в список S; b) сортировка списка S и удаление повторяющихся элементов; c) вычисление ВЛНС для каждого порога s из списка S. 3 Для каждого списка кандидатов из списка А, который создан для биометрического образца из U (то есть имеющего совпадающий зарегистрированный биометрический образец): a) определение результата сравнения совпавшей записи; b) если результат сравнения больше значения s, то увеличение числа успешных сравнений K; c) увеличение числа попыток сравнения L; d) вычисление ВЛНС в зависимости от s путем деления значения K на значение L; e) установка ранга равным значению N (то есть наихудшему возможному значению); f) вычисление ВЛС для каждого порога s из списка S. 4 Для каждого списка кандидатов из списка А, который создан для биометрического образца из списка I (то есть не имеющего совпадающего зарегистрированного биометрического образца): a) если какой-либо результат сравнения больше s, то увеличение числа ложных допусков F на единицу; b) увеличение числа "самозванцев" М на единицу; c) вычисление ВЛС в зависимости от s путем деления значения F на значение М
	6	Вычисление статистических показателей пропускной способности: 1 Успешные попытки формирования биометрических контрольных шаблонов. 2 Успешные и неуспешные попытки извлечения биометрических признаков из биометрических образцов подлинных лиц и "самозванцев". 3 Попытки сравнения для пар совпадающих и несовпадающих друг с другом биометрических образцов (отдельно друг от друга)
	7	Подведение итогов испытания и подготовка протокола согласно установленным правилам