В.3.1 Общие положения
В данном подразделе приведены формулы и методы оценки дисперсии эксплуатационных характеристик. Дисперсия - статистическая мера погрешности, которая может использоваться при оценке доверительных интервалов и др. Применение данных формул зависит от следующих предположений относительно распределения ошибок сравнения:
- испытуемая группа является репрезентативной по отношению к целевой выборке. Это справедливо в том случае, если, например, испытуемые субъекты выбраны случайно из целевой выборки;
- попытки различных субъектов являются независимыми. Это не всегда выполнимо. Поведение пользователей зависит от того, что они видят, что делают другие. Корреляции между субъектами испытания будут незначительными по сравнению с корреляциями в пределах ряда попыток одним испытуемым субъектом;
- попытки не зависят от порогового значения. В ином случае определения вероятности ошибок могут быть смещены, исключение составляет пороговое значение, используемое для сбора данных;
- вероятности ошибок варьируются внутри выборки. Различные субъекты могут иметь различные индивидуальные вероятности ошибки ложного несоответствия, и различные пары субъектов могут иметь различные индивидуальные вероятности ошибки ложного соответствия;
- число наблюдаемых ошибок является достаточно большим. При отсутствии наблюдаемых ошибок при вычислении по формулам получают нулевую дисперсию, и в этом случае применяют правило трех.
В.3.2 Дисперсия наблюдаемой вероятности ложного несоответствия
В.3.2.1 Вероятность ложного несоответствия - единственная попытка испытуемых субъектов
Если каждый испытуемый субъект совершает единственную попытку, используют следующие формулы:
,
(В.1)
,
(В.2)
где n - число зарегистрированных испытуемых субъектов;
а i - число ложных несоответствий для i-го испытуемого субъекта;
- наблюдаемая ВЛНС;
(
) - оценка дисперсии наблюдаемой ВЛНС.
Примечание 1 - Правила выведения формулы (В.2) описаны в научной литературе по статистике (например, [31]).
Примечание 2 - Данные формулы иногда неправильно используют в случаях, когда субъекты совершают несколько попыток. В общем случае не допускается заменять число испытуемых субъектов на n число попыток.
Примечание 3 - Данные формулы применяют для определения оценок дисперсий отказа сбора данных и отказа регистрации в случае одной попытки испытуемых субъектов.
В.3.2.2 Вероятность ложного несоответствия - несколько попыток испытуемых субъектов
Если каждый испытуемый субъект совершает одинаковое число попыток, соответствующие оценки рассчитывают по следующим формулам [31]:
,
(В.3)
,
(В.4)
где n - число зарегистрированных испытуемых субъектов;
m - число попыток, совершенных каждым испытуемым субъектом;
а i - число ложных несоответствий для i-го испытуемого субъекта;
- наблюдаемая ВЛНС;
(
) - оценка дисперсии наблюдаемой ВЛНС.
Примечание 1 - Если m = 1, для оценки применяют формулы В.1 и В.2.
Примечание 2 - Данные формулы применяют для определения оценок дисперсий отказа сбора данных в случае нескольких попыток испытуемых субъектов.
В.3.2.3 Вероятность ложного несоответствия - неравночисленные попытки испытуемых субъектов
Число попыток испытуемого субъекта может варьироваться. Некоторые субъекты могут не выполнить требуемое число попыток. Отказы регистрации также могут стать причиной того, что попытки не будут учтены при вычислении ВЛНС. Если нет корреляции между числом сделанных попыток и числом удачных попыток, то:
,
(В.5)
,
(В.6)
где n - число зарегистрированных испытуемых субъектов;
m i - число попыток, совершенных i-м испытуемым субъектом;
а i - число ложных несоответствий для i-го испытуемого субъекта;
- наблюдаемая ВЛНС;
(
) - оценка дисперсии наблюдаемой ВЛНС.
Примечание 1 - Данная оценка дисперсии по [31] - приближение, представленное в удобной для применения форме.
Примечание 2 - При равном числе попыток m i вычисление оценок проводят по формулам (В.3) и (В.4).
Примечание 3 - Если частота использования испытуемых субъектов коррелирует с числом удачных попыток (например, отсеянные испытуемые субъекты могут совершить дополнительные попытки для распознавания или, пользуясь системой более часто, могут привести к завышенным оценкам эксплуатационных характеристик в связи с эффектом привыкания), формулы (В.5) и (В.6) не применяют, т.к. результат испытаний будет зависеть от маленькой группы часто встречающихся, но нетипичных пользователей.
В.3.3 Дисперсия наблюдаемой вероятности ложного соответствия
Если проведен полный набор взаимных сравнений, то наблюдаемую вероятность ошибки ложного соответствия и оценку дисперсии рассчитывают по следующим формулам:
,
(B.7)
,
(B.8)
где n - число испытуемых субъектов (и зарегистрированных шаблонов);
m - число образцов каждого испытуемого субъекта;
b ij - число проб i-го испытуемого субъекта, ложно соответствующих шаблону j-го испытуемого субъекта (b ii = 0);
c i - число ложных соответствий с шаблоном i-го испытуемого субъекта (
);
d i - число ложных соответствий с i-м испытуемым субъектом (
);
- наблюдаемая вероятность ошибки ложного соответствия;
(
) - оценка дисперсии наблюдаемой вероятности ошибки ложного соответствия.
Примечание - Формула (В.8) для m = 1 получена Бикелом [22] и экспериментально верифицирована [24].