Приложение Е (справочное). Минимальный размер выборки для рейтинговых тестов

Приложение Е
(справочное)

Минимальный размер выборки для рейтинговых тестов

Е.1 Общие положения

Разумное требование к объему выборки в испытаниях с привлечением потребителей предусматривает получение не менее 60 оценок, а предпочтительно порядка 100 оценок, на продукт. В том случае, когда каждый испытатель испытывает только один продукт, потребуется испытателей, где р - количество продуктов в испытании. Если, однако, каждый испытатель испытает k продуктов, то грубо-эмпирическим методом можно подсчитать, что потребуется потребителей.

Однако это правило грубого приближения. Существуют более сложные методы. Если экспериментатор желает ими воспользоваться, ему нужно ответить на ряд вопросов.

- Какова цель испытания? Продемонстрировать, что существуют некоторые различия между одним продуктом и одним опорным значением или между двумя или более продуктами? Или показать, что существует подобие между одним испытуемым продуктом и контрольным продуктом или между двумя и более продуктами?

- Сколько продуктов предложено на испытание? Один? Два? Три и более?

- Сколько продуктов предполагается представить одному испытателю?

- Каков выбранный -риск?

- Какова желаемая мощность Р или -риск для испытания? [или: Каков приемлемый -риск? (Р = 1 - -риск)]

- Каково значение различия , которое предполагается выявить в тесте на проверку различия? Чему равно неприемлемое значение разности в тесте на проверку подобия?

- Каков разброс оценок в рамках испытания продукта (продуктов)?

- Является ли альтернативная гипотеза односторонней или двухсторонней?

- Какова взаимосвязь между рейтингами, присвоенными разным продуктам испытателями, когда испытатели оценивают несколько продуктов?

Данное приложение может не охватить все возможные случаи. Оно рассматривает только испытание на двух продуктах. Для других случаев, более простого (только один продукт) или более сложного (три или более продуктов), читатель (пользователь данного стандарта) должен проконсультироваться со специалистом по статистике или использовать соответствующую компьютерную программу. Читатель также может обратиться к документу [2].

Данное приложение рассматривает четыре случая: два случая проверки различия и два случая проверки подобия.

Е.2 Случай 1: Цель - продемонстрировать различие при оценке испытателями только продукта А или только продукта В

Количество испытателей на каждый продукт n задается формулой (Е.1):

,

(Е.1)

где - квантиль (1 - /2) нормального распределения для -риска и для двухсторонней альтернативной гипотезы; равен 1,960 для -риска = 5 %. Для односторонней альтернативной гипотезы, заменяют на ; для -риска = 5 %; он равен 1,645;

- квантиль (1 - ) нормального распределения для допустимого (желаемая мощность Р = 1 - );

- стандартное отклонение в рамках испытания продуктов; предполагается однородное стандартное отклонение для рассматриваемых двух продуктов;

- различие, выявляемое между двумя продуктами.

Примечание - и измеряются по одной шкале, например, категориальной шкале от 1 до 9. Категории от 1 до 9 категориальной шкалы дают оценки приблизительно согласующиеся с нормальным распределением.

Пример - Для следующих условий:

			(P = 1 - )
0,05	1,960	0,10	(0,90)	1,282	1,50	0,50

Формула (Е.1) дает n = 189,2, использование 190 испытателей на продукт и 380 испытателей на два продукта.

Примечание - Для односторонней гипотезы при А > В, (для  = 5 %) формула (Е.1) дает n = 154,2, а именно 155 испытателей.

Е.3 Случай 2: Цель: продемонстрировать различие при оценке испытателями обоих продуктов, продукта А и продукта В

Количество испытателей задается формулой (Е.2):

,

(Е.2)

где - квантиль (1 - /2) нормального распределения для -риска для двухсторонней альтернативной гипотезы; равен 1,960 для -риска = 5 %. Для односторонней альтернативной гипотезы, заменяют на , для -риска = 5 %, равен 1,645;

- квантиль (1 - ) нормального распределения для допустимого -риска (желаемая мощность, Р = 1 - );

- стандартное отклонение в рамках испытания продуктов; предполагается однородное стандартное отклонение для рассматриваемых двух продуктов;

- различие, выявляемое между двумя продуктами;

p - корреляция в совокупности между оценками, присвоенными двум рассматриваемым продуктам испытателями.

Примечание - и выражаются в единицах одной шкалы, например по категориальной шкале от 1 до 9 категории.

Поскольку - где является стандартным отклонением различий между рейтингами, присвоенными двум рассматриваемым продуктам каждым испытателем совокупности, формула (Е.2) принимает вид:

.

(Е.3)

Возможно формула (Е.3) является наиболее часто используемым выражением.

Пример - Для следующих условий

A			(P = 1 - )
0,05	1,960	0,10	(0,90)	1,282	1,70	0,50

Формула (Е.3) дает n = 121,5; используют 122 испытателя.

Примечание - Для односторонней гипотезы при А > В,  = 1,645 (для  = 5 %) формула (Е.3) дает n = 99,0.

Е.4 Случай 3: Цель: продемонстрировать, что продукт А не уступает продукту В (не хуже), причем каждый испытатель оценивает только продукт А или продукт В

Количество испытателей для каждого продукта задается формулой (Е.4):

,

(Е.4)

где - квантиль (1 - ) нормального распределения для -риска для односторонней альтернативной гипотезы (испытание типа "не хуже");

- квантиль (1 - ) нормального распределения для допустимого -риска (желаемая мощность Р =