Приложение А (обязательное). Вычисление неопределенностей, необходимых размеров выборок и объема испытаний

Приложение А
(обязательное)

Вычисление неопределенностей, необходимых размеров выборок и объема испытаний

А.1 Приведем некоторые известные факты из теории вероятностей, которые будут использованы далее для оценок.

Пусть ... - независимые ограниченные случайные величины:

,

и - их математические ожидания.

Тогда вероятность отклонения среднего арифметического

от его математического ожидания

на величину более может быть оценена с использованием неравенства Хефдинга [1]

.

При этом такая оценка не зависит от распределений .... Частным случаем описанного выше неравенства является оценка отклонения частоты (А)  [0, 1] некоторого события А в серии N независимых испытаний от его вероятности Р(А) = E(A)

.

(А.1)

Формула (А.1) позволяет для точности и числа испытаний N получить оценку доверительной вероятности Р, и наоборот, для заданной доверительной вероятности и точности - оценку числа испытаний N. Числа испытаний для различных значений Р и представлены в таблице А.1.

С использованием таблицы А.1 и формулы (А.1) можно вычислить неопределенности и оценить размеры тестовых выборок для показателей качества, установленных в стандарте. Точность оценки задается прежде всего требованиями к исследованию, она должна быть не менее

,

где - подтверждаемая вероятность.

Таблица А.1 - Таблица минимального количества испытаний в зависимости от доверительной вероятности и точности

Доверительная вероятность	Точность
	= 0,1	= 0,05	= 0,02	= 0,01	= 0,005	= 0,001	= 0,0001
Р = 0,75	104	416	2600	10.398	41.589	1.039.721	1,04Е + 08
Р = 0,9	150	600	3745	14.979	59.915	1.497.866	1,5Е + 08
Р = 0,91	156	621	3877	15.506	62.022	1.550.546	1,55Е + 08
Р = 0,92	161	644	4024	16.095	64.378	1.609.438	1,61Е + 08
Р = 0,93	168	671	4191	16.763	67.049	1.676.204	1,68Е + 08
Р = 0,94	176	702	4384	17.533	70.132	1.753.279	1,75Е + 08
Р = 0,95	185	738	4612	18.445	73.778	1.844.440	1,84Е + 08
Р = 0,96	196	783	4891	19.561	78.241	1.956.012	1,96Е + 08
Р = 0,97	210	840	5250	20.999	83.995	2.099.853	2,1Е + 08
Р = 0,98	231	922	5751	23.026	92.104	2.302.585	2,3Е + 08
Р = 0,99	265	1060	6623	26.492	105.967	2.649.159	2,65Е + 08
Р = 0,999	381	1521	9502	38.005	152.018	3.800.451	3,8Е + 08
Р = 0,9999	496	1981	12.380	49.518	198.070	4.951.744	4,95Е + 08

Доверительная вероятность также выбирается в зависимости от требований к исследованиям. Однако оценки, полученные с доверительными вероятностями менее 0,9, обладают недостаточной достоверностью для практического применения.

А.2 Вычисление размеров тестовой выборки либо числа тестов при тестировании качества распознавания опасных предметов

При тестировании алгоритмов распознавания опасных предметов вычисляют следующие показатели:

- вероятность правильного формирования сигнала тревоги (ВПФСТ) - отношение числа опасных сумок, верно идентифицированных алгоритмом/прототипом к общему числу опасных сумок;

- вероятность формирования сигнала ложной тревоги (ВФСЛТ) - отношение числа безопасных сумок, идентифицированных алгоритмом/прототипом как опасные, к общему числу безопасных сумок;

- вероятность правильного распознавания опасного предмета (ВПРОП) - отношение числа верно распознанных опасных предметов к общему числу опасных предметов в выборке;

- вероятность ложного распознавания опасного предмета (ВЛРОП) - отношение числа неверно распознанных опасных предметов к общему числу распознанных алгоритмом опасных предметов в выборке.

Рассмотрим пример расчета размеров тестовой выборки для параметров  = 0,02 и Р = 0,9, предъявляемых к ВПФСТ/ВФСЛТ, и  = 0,01 и Р = 0,92 - для ВПРОП.

ВПФСТ для рассматриваемых параметров по таблице А.1 N = 3745. Это означает, что количество изображений опасных сумок должно быть не менее 3745.

ВФСЛТ для рассматриваемых параметров по таблице А.1 N = 3745. Это означает, что количество изображений безопасных сумок должно быть не менее 3745.

ВПРОП для рассматриваемых параметров, таблице А.1 N = 16.095. Это означает, что число опасных вложений в сумки должно быть не менее 16.095. При этом если такие требования предъявляются к ВПРОП по каждому классу опасных предметов, то необходимо по N опасных предметов каждого класса.

Таким образом, тестовая выборка должна содержать не менее 3745 опасных сумок и не менее 3745 безоп