Приложение А (обязательное). Статистические таблицы

Приложение А
(обязательное)

Статистические таблицы

А.1 Определение заметного различия или подобия на основе таблиц А.1 - А.3

Таблица А.1 - Минимальное число правильных ответов, необходимое для заключения о существовании заметного различия между образцами на основании результатов теста парного сравнения, односторонний критерий 1), 2)

n	Минимальное число правильных ответов при уровне -риска					n	Минимальное число правильных ответов при
							уровне -риска
	0,20	0,10	0,05	0,01	0,001		0,20	0,10	0,05	0,01	0,001
10	7	8	9	10	10	36	22	23	24	26	28
11	8	9	9	10	11	37	22	23	24	27	29
12	8	9	10	11	12	38	23	24	25	27	29
13	9	10	10	12	13	39	23	24	26	28	30
14	10	10	11	12	13	40	24	25	26	28	31
15	10	11	12	13	14
16	11	12	12	14	15	44	26	27	28	31	33
17	11	12	13	14	16	48	28	29	31	33	36
18	12	13	13	15	16	52	30	32	33	35	38
19	12	13	14	15	17	56	32	34	35	38	40
20	13	14	15	16	18	60	34	36	37	40	43
21	13	14	15	17	18	64	36	38	40	42	45
22	14	15	16	17	19	68	38	40	42	45	48
						72	41	42	44	47	50
23	15	16	16	18	20	76	43	45	46	49	52
24	15	16	17	19	20	80	45	47	48	51	55
25	16	17	18	19	21
26	16	17	18	20	22	84	47	49	51	54	57
27	17	18	19	20	22	88	49	51	53	56	59
28	17	18	19	21	23	92	51	53	55	58	62
29	18	19	20	22	24	96	53	55	57	60	64
30	18	20	20	22	24	100	55	57	59	63	66
31	19	20	21	23	25	104	57	60	61	65	69
32	19	21	22	24	26	108	59	62	64	67	71
33	20	21	22	24	26	112	61	64	66	69	73
34	20	22	23	25	27	116	64	66	68	71	76
35	21	22	23	25	27	120	66	68	70	74	78
Примечания 1 Числа, указанные в таблице, определены по формуле биномиального распределения и являются точными. Для значений n, не включенных в таблицу, могут быть вычислены приближенные значения для опущенных входов в таблицу, что делается следующим образом: минимальное число ответов х равняется ближайшему целому числу, большему, чем , где z - функция уровня значимости: z= 0,84 для = 0,20; z = 1,28 для = 0,10; z = 1,64 для = 0,05: z = 2,33 для = 0,01; z = 3,09 для = 0,001. 2 Значения n < 18 обычно не рекомендуется использовать при испытаниях на различие, проводимых по методу парного сравнения.

_____

1) Значения, приведенные в таблице, рассчитаны по точной формуле биномиального распределения для параметра P = 0,5 и для n повторностей благодаря сведениям SAS, развитым в [6].

2) Приведенные в таблице значения соответствуют минимальному числу правильных ответов, необходимому для обеспечения статистической значимости при заданном уровне -риска (см. соответствующую графу) и заданном числе испытателей n (см. соответствующую строку). Утверждение "нет различия" отвергается, если число правильных ответов больше или равно числу, указанному в таблице.

Таблица А.2 - Минимальное число согласующихся ответов, необходимое для заключения о существовании заметного различия между образцами на основании результатов теста парного сравнения, двусторонний критерий 1), 2)

n	Минимальное число согласующихся ответов при уровне -риска						Минимальное число согласующихся ответов при уровне -риска
						n
	0,20	0,10	0,05	0,01	0,001		0,20	0,10	0,05	0,01	0,001
10	8	9	9	10		36	23	24	25	27	29
11	9	9	10	11	11	37	23	24	25	27	29
12	9	10	10	11	12	38	24	25	26	28	30
13	10	10	11	12	13	39	24	26	27	28	31
14	10	11	12	13	14	40	25	26	27	29	31
15	11	12	12	13	14
16	12	12	13	14	15	44	27	28	29	31	34
17	12	13	13	15	16	48	29	31	32	34	36
18	13	13	14	15	17	52	32	33	34	36	39
19	13	14	15	16	17	56	34	35	36	39	41
20	14	15	15	17	18	60	36	37	39	41	44
21	14	15	16	17	19	64	38	40	41	43	46
22	15	16	17	18	19	68	40	42	43	46	48
23	16	16	17	19	20	72	42	44	45	48	51
24	16	17	18	19	21	76	45	46	48	50	53
25	17	18	18	20	21	80	47	48	50	52	56
26	17	18	19	20	22	84	49	51	52	55	58
27	18	19	20	21	23	88	51	53	54	57	60
28	18	19	20	22	23	92	53	55	56	59	63
29	19	20	21	22	24	96	55	57	59	62	65
30	20	20	21	23	25	100	57	59	61	64	67
31	20	21	22	24	25	104	60	61	53	66	70
32	21	22	23	24	26	108	62	64	65	68	72
33	21	22	23	25	27	112	64	66	67	71	74
34	22	23	24	25	27	116	66	68	70	73	77
35	22	23	24	26	28	120	68	70	72	75	79
Примечания 1 Числа, указанные в таблице, определены по формулам биномиального распределения и являются точными. Для значений n, не включенных в таблицу, могут быть вычислены приближенные значения, что делается следующим образом: минимальное число правильных ответов х равняется ближайшему целому числу, большему, чем , где z - функция уровня значимости: z = 1,28 для = 0,20; z= 1,64 для = 0,10; z = 1,96 для = 0,05; z = 2,58 для = 0,01; z = 3,29 для = 0,001. 2 Значения n < 18 обычно не рекомендуется использовать при испытаниях на различие, проводимых по методу парного сравнения.

________

1) Значения, приведенные в таблице, рассчитаны по точной формуле биномиального распределения для параметра р = 0,5 и для n повторностей благодаря сведениям SAS, развитым в [6].

2) Приведенные в таблице значения соответствуют минимальному числу правильных ответов, необходимому для обеспечения статистической значимости при заданном уровне -риска (см. соответствующую графу) и заданном числе испытателей n (см. соответствующую строку). Утверждение "нет различия" отвергается, если число согласующихся ответов больше или равно числу, указанному в таблице.

Таблица А.3 - Максимальное число правильных или согласующихся ответов, необходимое для заключения о том, что сравниваемые образцы подобны друг другу, на основании результатов теста парного сравнения 1), 2)

n		Необходимое максимальное число правильных или согласующихся ответов при					n		Необходимое максимальное число правильных или согласующихся ответов при
		10%	20%	30%	40%	50%			10%	20%	30%	40%	50%
18	0,001	-	-	-	-	-	72	0,001	-	-		37	40
	0,01	-	-	-	-	-		0,01	-	-	36	40	44
	0,05	-	-	-	-	9		0,05	-	-	39	43	47
	0,10	-	-	-	9	10		0,10	-	39	41	44	48
	0,20	-	-	9	10	11		0,20	-	39	42	46	50
24	0,001	-	-	-	-	-	78	0,001	-	-	-	40	44
	0,01	-	-	-	-	12		0,01	-	-	40	44	48
	0,05	-	-	-	12	13		0,05	-	39	43	47	51
	0,10	-	-	12	13	14		0,10	-	40	44	48	53
	0,20	-	-	13	14	15		0,20	-	42	46	50	54
30	0,001	-	-	-	-	-	84	0,001	-	-	-	44	48
	0,01	-	-	-	-	16		0,01	-	-	43	48	53
	0,05	-	-	-	16	17		0,05	-	42	46	51	55
	0,10	-	-	15	17	18		0,10	-	44	48	52	57
	0,20	-	15	16	18	20		0,20	-	46	50	54	59
36	0,001	-	-	-	-	-	90	0,001	-	-	-	48	53
	0,01	-	-	-	18	20		0,01	-	-	47	52	57
	0,05	-	-	18	20	22		0,05	-	45	50	55	60
	0,10	-	-	19	21	23		0,10	-	47	52	56	61
	0,20	-	18	20	22	24		0,20	45	49	54	58	63
42	0,001	-	-	-	-	21	96	0,001	-	-	-	52	57
	0,01	-	-	-	21	24		0,01	-	-	50	56	61
	0,05	-	-	21	23	26		0,05	-	49	54	59	64
	0,10	-	-	22	25	27		0,10	-	50	55	60	66
	0,20	-	22	24	26	28		0,20	48	53	58	62	68
48	0,001	-	-	-	-	25	102	0,001	-	-	-	55	61
	0,01	-	-	-	25	28		0,01	-	-	54	59	65
	0,05	-	-	25	27	30		0,05	-	52	57	63	68
	0,10	-	-	26	28	31		0,10	-	54	59	64	70
	0,20	-	25	27	30	33		0,20	51	56	61	67	72
54	0,001	-	-	-	-	29	108	0,001	-	-	54	59	65
	0,01	-	-	-	29	32		0,01	-	-	57	63	69
	0,05	-	-	28	31	34		0,05	-	55	61	67	72
	0,10	-	27	30	32	35		0,10	-	57	63	68	74
	0,20	-	28	31	34	37		0,20	54	60	65	71	76
60	0,001	-	-		-	33	114	0,001	-	-	57	63	69
	0,01	-	-	-	33	36		0,01	-	-	61	67	73
	0,05	-	-	32	35	38		0,05	-	59	65	71	77
	0,10	-	30	33	36	40		0,10	-	61	67	72	79
	0,20	-	32	35	38	41		0,20	57	63	69	75	81
66	0,001	-	-	-	-	37	120	0,001	-	-.	61	67	73
	0,01	-	-	33	36	40		0,01	-	-	65	71	78
	0,05	-	-	35	39	43		0,05	-	62	68	75	81
	0,10	-	34	37	40	44		0,10	-	64	70	77	83
	0,20	-	35	39	42	46		0,20	60	67	73	79	85
126	0,001	-		64	70	77	132	0,001			67	74	81
	0,01	-	-	68	75	82		0,01		65	72	79	86
	0,05	-	66	72	79	85		0,05		69	76	83	90
	0,10	-	68	74	81	87		0,10		71	78	85	92
	0,20	64	70	76	83	89		0,20	67	73	80	87	94
Примечания 1 Числа, указанные в таблице, являются точными значениями, поскольку определены по формуле биномиального распределения. Для значений n, отсутствующих в таблице, верхний доверительный интервал для при уровне значимости 100 (1 - ) % может быть вычислен по формуле , где х - число правильных или согласующихся ответов; n - число испытателей; = 0,84 для = 0,20 ; =1,28 для = 0,10; =1,64 для = 0,05; = 2,33 для = 0,01; = 3,09 для = 0,001. Если расчетное значение меньше, чем выбранное граничное значение , то заявляют, что сравниваемые объекты подобны друг другу на уровне значимости . 2 Значения n < 30 обычно не рекомендуется использовать при испытаниях на подобие, проводимых по методу парного сравнения. 3 Значения, соответствующие числу правильных ответов, меньшему, чем n/2, не указаны в данной таблице, вместо них поставлен знак пропуска (тире).

______

1) Указанные в данной таблице значения получены благодаря использованию программы расчетов, основанной на вычислении доверительных интервалов по точной формуле биномиального распределения, см. [7].

2) Приведенные в таблице значения соответствуют максимальному числу правильных или согласующихся ответов, необходимому для заключения о "подобии" сравниваемых объектов при выбранных уровнях , и n. Утверждение "нет различия" принимается при уровне значимости 100 (1 - ) %, если число правильных или согласующихся ответов меньше или равно числу, указанному в таблице.

А.2 Статистический подход при определении числа испытателей на основе данных таблиц А.4 (односторонний критерий) и А.5 (двусторонний критерий)

Статистическая чувствительность теста зависит от трех величин: -риска, -риска и - максимально допустимой доли "испытателей, обнаруживающих различие" 1). Перед началом проведения испытаний выбирают значения , и , руководствуясь нижеследующими рекомендациями.

Как общее правило, статистически значимый результат при значении -риска, в пределах:

- от 10 % до 5 % (от 0,10 до 0,05) соответствует ситуации, когда имеются слабые основания надеяться на то, что разница между образцами продукта действительно ощутима;

- от 5 % до 1 % (от 0,05 до 0,01) соответствует ситуации, когда имеются умеренные основания надеяться на то, что разница между продуктами действительно ощутима;

- от 1 % до 0,1 % (от 0,01 до 0,001) соответствует ситуации, когда имеются веские основания надеяться на то, что разница между образцами действительно ощутима,

- менее 0,1 % (менее 0,001) соответствует ситуации, когда имеются весьма веские основания надеяться, что разница между образцами действительно ощутима.

В случае, связанном с -риском, весомость оснований заключить, что различие между образцами не выявлено, оценивается с помощью тех же критериев, что были оговорены выше (следует лишь заменить слова "действительно ощутима" на слова "не ощутима").

Максимально допустимая доля испытателей, которые способны ощутить различие между сравниваемыми продуктами, , может быть разделена на три диапазона:

- если меньше 25 %, то это небольшие значения,

- если больше 25 %, но меньше 35 %, то это средние значения,

- если больше 35 %, то это большие значения.

Необходимое число испытателей выбирают таким образом, чтобы получить уровень чувствительности теста, отвечающий задаче испытаний. В таблице А.4 находят строку, соответствующую выбранному значению , и графу, соответствующую выбранному значению . Минимально необходимое число испытателей находят в строке, соответствующей выбранному значению . Таблицу А.4 можно также использовать для нахождения таких величин , и , которые обеспечивают приемлемую чувствительность теста, если число испытателей приходится устанавливать исходя из реальных практических возможностей. Этот подход подробно описан в [5].

__________________________

1) В настоящем стандарте вероятность правильного ответа, , определяется формулой:

,

где - это доля всей совокупности испытателей, таких, которые способны выявить различие между двумя образцами.

Применительно к методу парного сравнения может быть также использована психометрическая модель процесса принятия решения испытателем, такая как, например, модель Тюрстоуна-Юра (см. [8]).

Таблица А.4 - Число испытателей, необходимых для проведения теста парного сравнения при использовании одностороннего критерия 1), 2)

	- %	Число испытателей, необходимых для проведения теста парного сравнения с использованием одностороннего критерия, для значений риска , равных
		0,50	0,20	0,10	0,05	0,01	0001
0,50 0,20 0,10 0,05 0,01 0,001	50	- - - 13 35 38	- 12 19 23 40 61	- 19 26 33 50 71	9 26 33 42 59 83	22 39 48 58 80 107	33 58 70 82 107 140
0,50 0,20 0,10 0,05 0,01 0,001	40	- - 14 18 35 61	- 19 28 37 64 95	9 30 39 53 80 117	20 39 53 67 96 135	33 60 79 93 130 176	55 94 113 132 174 228
0,50 0,20 0,10 0,05 0,01 0,001	30	- - 21 30 64 107	- 32 53 69 112 172	23 49 72 93 143 210	33 68 96 119 174 246	59 110 145 173 235 318	108 166 208 243 319 412
0,50 0,20 0,10 0,05 0,01 0,001	20	- 21 46 71 141 241	23 77 115 158 252 386	45 112 168 213 325 479	67 158 214 268 391 556	133 253 322 392 535 731	237 384 471 554 726 944
0,50 0,20 0,10 0,05 0,01 0,001	10	- 81 170 281 550 961	75 294 461 620 1007 1551	167 451 658 866 1301 1908	271 618 861 1092 1582 2248	539 1006 1310 1583 2170 2937	951 1555 1905 2237 2927 3812
Примечание - Прочерки соответствуют случаям, не представляющим практического интереса (высокие значения рисков и , принятые в расчет при выборе величины ).

1) Указанные в данной таблице значения заимствованы из [6] или рассчитаны по точной формуле биномиального распределения с параметром Р = 0,5, для n откликов, благодаря программе SAS.

2) Число испытателей, необходимое для реализации теста парного сравнения с установленным уровнем чувствительности, определяются величинами , и . В таблице А.4 находят выбранное значение и графу, соответствующую выбранному значению . Минимально необходимое число испытателей находят на пересечении этих показателей в строке указанной графы, соответствующей выбранному значению .

Таблица А.5 - Число испытателей, необходимых для проведения теста парного сравнения при использовании двустороннего критерия 1), 2)

	, %	Число испытателей, необходимых для проведения теста парного сравнения с использованием двустороннего критерия, для значений риска , равных
		0,50	0,20	0,10	0,05	0,01	0,001
0,50 0,20 0,10 0,05 0,01 0,001	50	- - - 17 26 42	- 19 23 30 44 66	- 26 33 42 57 78	23 33 42 49 66 90	33 48 58 67 87 117	52 70 82 92 117 149
0,50 0 20 0,10 0,05 0,01 0,001	40	- - 18 25 44 48	- 28 37 49 73 102	25 39 53 65 92 126	33 53 67 79 108 147	54 79 93 110 144 188	86 113 132 149 191 240
0,50 0,20 0,10 0,05 0,01 0,001	30	- 21 30 44 73 121	29 53 69 90 131 188	44 72 93 114 164 229	63 96 119 145 195 267	98 145 173 199 261 342	156 208 243 276 345 440
0,50 0.20 0,10 0,05 0,01 0.001	20	- 46 71 101 171 276	63 115 158 199 291 425	98 168 213 263 373 520	135 214 268 327 446 604	230 322 392 455 596 781	352 471 554 635 796 1010
0,50 0,20 0,10 0,05 0,01 0,001	10	- 170 281 390 670 1090	240 461 620 801 1167 1707	393 658 866 1055 1496 2094	543 861 1092 1302 1782 2440	910 1310 1583 1833 2408 3152	1423 1905 2237 2544 3203 4063
Примечание - Прочерки соответствуют случаям, не представляющим практического интереса (высокие значения рисков и при определении ).

1) Значения, соответствующие минимальному числу испытателей, необходимому для реализации теста парного сравнения с установленным уровнем чувствительности, определяются величинами , и . В таблице А.5 на ходят выбранное значение и графу, соответствующую выбранному значению . Минимально необходимое число испытателей определяют в строке, соответствующей выбранному значению .

2) Указанные в данной таблице значения рассчитаны по точной формуле биномиального распределения с параметром Р = 0,5 для n откликов, благодаря программе, приведенной в [6].