Национальный стандарт РФ ГОСТ Р 53161-2008 (ИСО 5495:2005) "Органолептический анализ. Методология. Метод парного сравнения" (утв. приказом Федерального агентства по техническому регулированию и метрологии от 18 декабря 2008 г. N 599-ст)

Organoleptic analysis. Methodology. Paired comparison test

Дата введения - 1 января 2010 г.
Введен впервые

Предисловие

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. N 184-ФЗ "О техническом регулировании", а правила применения национальных стандартов Российской Федерации - ГОСТ Р 1.0-2004 "Стандартизация в Российской Федерации. Основные положения"

1 Область применения

Настоящий стандарт устанавливает метод, позволяющий определить, существует ли заметное органолептическое различие или подобие между образцами двух продуктов по интенсивности рассматриваемой характеристики. Данный метод также иногда называют тестом установления направленного различия или тестом 2-АПВ (тестом альтернативного принудительного выбора). Действительно, метод парного сравнения представляет собой обязательный выбор между двумя альтернативными вариантами.

Примечание - Метод парного сравнения - наиболее простой из существующих классификационных тестов, поскольку он предусматривает сопоставление только двух образцов продукта.

Метод применим независимо от того, существует ли различие между продуктами по одной или по нескольким характеристикам, и дает возможность сказать, действительно ли имеет место заметное различие по данной характеристике, и указать направление различия, но не позволяет ответить на вопрос о том, какова степень этого различия. Обнаружение отсутствия разницы между продуктами по изучаемой органолептической характеристике не означает, что не существует различия между продуктами по любой другой органолептической характеристике.

Метод применим только тогда, когда продукты сравнительно однородны.

Метод эффективен:

а) когда необходимо установить,

что имеется заметное различие между продуктами (метод парного сравнения при проверке различия) или

что не имеется заметного различия между продуктами (метод парного сравнения при проверке подобия) после изменения, например, ингредиентного состава или технологии производства продукта, или его упаковки, или условий хранения и обращения;

б) для целей отбора, обучения и проверки испытателей.

Прежде чем начать испытания, необходимо определить, является ли тест односторонним (руководителю испытаний априори известно направление различия, и альтернативная гипотеза состоит в том, что между образцами продукта существует различие в предполагаемом направлении) или двусторонним (руководитель испытаний не имеет какой-либо исходной информации относительно направления различия, и альтернативная гипотеза состоит в том, что между образцами существует различие в одном или в другом направлении).

Метод парного сравнения может быть также использован для того, чтобы сравнивать два продукта с точки зрения предпочтения одного другому. Рисунок 1 иллюстрирует различные случаи использования метода парных сравнений.

"Рисунок 1 - Различные возможные случаи использования метода парного сравнения"

Примечание - К настоящему стандарту относится только случай негедонических испытаний/

Пример 1 (Случай a) - Производство бисквита изменено с целью получения более хрустящего продукта. Необходимо проверить, действительно ли нововведение привело к увеличению привлекательности продукта. Следовательно, необходимо попытаться выявить разницу - удостовериться, действительно ли новый продукт ощущается как более хрустящий по сравнению с традиционным (контрольным) продуктом.

Пример 2 (Случай b) - Изготовителю известно, что продукт может содержать небольшие количества ингредиента, который придает ему посторонний флейвор. Поэтому он надеется определить то максимально допустимое количество этого ингредиента, когда разница в флейворе по сравнению с продуктом, не содержащим этого ингредиента, едва-едва заметна и, следовательно, не будет чревата нежелательными последствиями.

Пример 3 (Случай c) - Перед началом производства нового вида супа требуется сравнить два возможных ингредиента, добавляемых для придания продукту соленого вкуса. Исходя из экономических соображений, предпочтение было отдано одному из двух ингредиентов, который в одной и той же концентрации должен обеспечивать более соленый вкус. Следовательно, необходимо подтвердить, что различие в интенсивности вкуса при использовании разных ингредиентов действительно имеет место. Но априори неизвестно, какой из двух видов ингредиента будет обеспечивать более соленый вкус.

Пример 4 (Случай d) - Изготовитель пластмасс, используемых, в частности, в производстве автомашин для изготовления щитков, из экономических соображений хочет заменить обычный смазочный ингредиент новым. При этом он не имеет целью изменить в большую или меньшую сторону скользкость поверхности изделий по сравнению со скользкостью изделий из обычно применяемой пластмассы. Задача состоит в том, чтобы определить, действительно ли в одной и той же концентрации новый смазочный материал обеспечивает такую же скользкость поверхности, как ранее использовавшийся. Необходимо показать, что оба смазочных материала сходны с точки зрения обеспечения скользкости поверхности, но априори неизвестно, какой из них дает наилучший эффект.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р ИСО 5492-2005 Органолептический анализ. Словарь (ИСО 5492:1992, IDT)

ГОСТ Р ИСО 8589-2005 Органолептический анализ. Руководство по проектированию помещений для исследований (ИСО 8589:1988, IDT)

ГОСТ Р 53180-2008 Органолептический анализ. Общее руководство по отбору, обучению и контролю испытателей. Часть 1. Отобранные испытатели (ИСО 8586-1:1993, MOD)

ГОСТ Р 53181-2008 Органолептический анализ. Общее руководство по отбору, обучению и контролю испытателей. Часть 2. Испытатели (ИСО 8586-2:1994, MOD).

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодно издаваемому информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по соответствующим ежемесячно издаваемым информационным указателям, опубликованным в текущем году. Если ссылочный стандарт заменен (изменен), то при пользовании настоящим стандартом следует руководствоваться заменяющим (измененным) стандартом. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, применяется в части, не затрагивающей эту ссылку

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р ИСО 5492, а также следующие термины с соответствующими определениями:

3.1 (альфа) - риск: Вероятность сделать заключение о наличии заметного различия между образцами тогда, когда это различие не существует.

Примечание - В равной мере применимы термины: вероятность ошибки I рода, уровень значимости или частота получения ложноположительных заключений.

3.2 (бета) - риск: Вероятность сделать заключение об отсутствии сколь-нибудь заметного различия тогда, когда это различие существует.

Примечание - В равной мере применимы термины: вероятность ошибки II рода или частота получения ложноотрицательных заключений.

3.3 различие: Ситуация, при которой образцы продукта могут быть отличены друг от друга на основе их органолептических характеристик.

Примечание - Долю оценок, когда было отмечено заметное различие между двумя образцами продукта по изучаемой органолептической характеристике, обозначают символом .

3.4 текст с использованием одностороннего критерия: Тест, при проведении которого руководителю испытаний априори известно направление различия.

Примечание - Нулевая гипотеза : образцы продукта не имеют различия; доля зафиксированных правильных ответов р = 1/2. Альтернативная гипотеза .

3.5 тест с использованием двустороннего критерия: Тест, при проведении которого руководителю испытаний априори не известно направление различия.

Примечание - Нулевая гипотеза : образцы продукта не имеют различия; доля зафиксированных правильных ответов в отношении одного из образцов р = 1/2. Альтернативная гипотеза .

3.6 правильные ответы (предполагаемые ответы): В тесте с использованием одностороннего критерия: число испытателей, выбравших тот образец продукта, относительно которого руководитель испытаний надеется, что он обладает большей интенсивностью изучаемой органолептической характеристики.

3.7 согласующиеся ответы: В тесте с использованием двустороннего критерия: наибольшее из значений числа испытателей, указавших на образец А (или на образец В) как на продукт, обладающий большей интенсивностью исследуемой органолептической характеристики.

Примечание - Подсчеты делают так, как сказано выше, поскольку в данном случае ответы не могут расцениваться как правильные или как неправильные.

3.8 продукт: Оцениваемый материал.

3.9 образец: Единица продукции, подготовленная, предоставленная испытателям и оцениваемая ими в процессе проведения теста.

3.10 чувствительность: Обобщенный термин, используемый для того, чтобы суммарно обозначить условия проведения теста.

Примечание - С точки зрения математической статистики, чувствительность теста определяется величинами , и .

3.11 подобие: Ситуация, при которой любые возможные различия между образцами продукта настолько малы, что продукты можно рассматривать как взаимозаменяемые.

4 Принцип

Число испытателей выбирают, исходя из желаемой чувствительности теста (см. 6.2 и сноски к таблицам А.4 и А.5, приложение ).

Испытатели получают комплект из двух образцов продукта (т. е. образцы, представляющие собой пару). Задача испытателя - выбрать из них тот из образцов, который имеет более интенсивно выраженную органолептическую характеристику, подлежащую оценке, даже в том случае, если выбор будет основан только на догадках.

Примечание - Один из образцов может быть контрольным.

Затем подсчитывают суммарное количество голосов в пользу одного и другого образца всеми испытателями и определяют значимость результата испытаний со ссылкой на статистическую таблицу, выбранную исходя из того, было ли априори известно, какой из образцов должен быть признан обладающим более интенсивно выраженной органолептической характеристикой (односторонний критерий), или это не было известно (двусторонний критерий).

5 Общие условия проведения испытаний

5.1 Четко оговаривают цель испытаний и устанавливают, будет ли проводиться тест с использованием одностороннего или двустороннего критерия и идет ли речь о проверке различия между продуктами или о проверке подобия продуктов, а также определяют, какова желательная чувствительность теста.

5.2 Испытания проводят в условиях, которые исключают возможность обмена информацией между испытателями, пока все оценки не будут ими выполнены; для этого используют оборудование и помещения для испытаний, соответствующие требованиям ГОСТ Р ИСО 8589.

5.3 Образцы продукции для испытаний готовят в отсутствие испытателей одинаковым способом: применяют одинаковое оборудование, одинаковую посуду.

5.4 Испытатели не должны получать никакой информации об интенсивности контролируемой органолептической характеристики продукта, исходя из способа подготовки и предоставления им образцов продукта. Например, если исследуется только тактильная характеристика продукта, то следует избегать каких-либо различий во внешнем виде образцов. Следует замаскировывать цветовые различия образцов (поскольку не изучается именно эта характеристика), используя при освещении светофильтры или обеспечивая приглушенное освещение. Можно также, если образцы несколько отличны по внешнему виду, подавать их испытателю последовательно, а не одновременно.

5.5 Образцы или посуду, в которой их подают, кодируют одинаковым способом; предпочтительно использовать в качестве кодов трехзначные числа, в каждом тесте выбирая их случайным образом. Каждая пара состоит из двух образцов, и каждый образец имеет свой собственный код. Желательно, чтобы в течение всей серии испытаний для всех испытателей использовались разные коды образцов. Однако могут быть использованы и два одних и тех же кода образцов для всех испытателей, если при этом каждый код используется для данного испытателя лишь единожды в течение данной серии испытаний (например, когда в одной серии испытаний метод парного сравнения используется для нескольких различных продуктов).

5.6 Количество (объем) продукта, которое подают испытателю, должно быть одинаковым в обоих образцах в паре, как должно быть одинаковым и во всей серии испытаний данного вида продукта. Количество (объем) проб продукта, которое испытатель должен использовать при опробовании, можно установить заранее. Если это не сделано, то следует, тем не менее, указать испытателям, что они должны использовать одинаковые количества продукта при оценивании пробы каждого из сравниваемых образцов.

5.7 Температура образцов продукта в каждой паре должна быть одинакова; это касается также всех других образцов в серии испытаний данного вида продукта. Желательно предоставлять испытателям образцы продукта при той температуре, при которой данный продукт обычно потребляют.

5.8 Испытателей нужно уведомить, должны ли они следовать определенным правилам при оценивании продуктов (например, в тестах на сопоставление вкуса продуктов, должны ли они проглатывать пробу, или в тестах на сопоставление тактильных ощущений, должны ли делать какие-либо специфические движения), или могут поступать по своему усмотрению. В этом последнем случае испытатели должны быть предупреждены, что следует поступать одинаковым образом в отношении всех испытуемых образцов продукта.

5.9 В течение всей серии испытаний до того момента, пока все испытания не будут завершены, необходимо избегать возможности получения испытателями какой-либо информации, которая может помочь в идентификации пробы продукта, в определении возможных эффектов от той или иной его обработки, изготовления.

6 Испытатели

6.1 Квалификация

Все испытатели должны обладать одинаковым уровнем квалификации, и этот уровень должен быть выбран исходя из цели испытаний (см. ГОСТ Р 53180 и ГОСТ Р 53181). Практический опыт и предварительное знакомство с продуктом могут положительно сказаться на качестве работы испытателя и тем самым увеличить вероятность обнаружения значимых различий при сопоставлении образцов продукта. Проводимая время от времени проверка квалификации испытателей может быть полезна для повышения их чувствительности.

Все испытатели должны быть хорошо знакомы с сущностью метода парного сравнения (с формами протоколов, задачей испытаний, процедурой оценки). Кроме того, испытатели должны понимать, в чем состоит та органолептическая характеристика продукта, которую им предстоит оценивать. Эта характеристика должна быть определена вербально, посредством ссылок на известные вещества или путем предварительного предоставления испытателям нескольких образцов продукта, в которых интенсивность исследуемой характеристики имеет разные уровни.

6.2 Число испытателей

Число испытателей выбирают исходя из того, какую чувствительность теста желательно обеспечить (см. таблицу А.4, приложение А, - для случая одностороннего критерия и таблицу А.5, приложение А, - для случая двустороннего критерия). Использование большого числа испытателей является предпосылкой успеха в выявлении незначительных различий между двумя продуктами. Однако на практике выбор числа испытателей часто определяется обстоятельствами материального плана, такими как ограниченное время, отпущенное на проведение теста, имеющееся в наличии число подходящих испытателей, выделенное для теста количество продукта и пр. При проведении теста на различие число испытателей составляет примерно 24 - 30 человек. При проведении теста на подобие для обеспечения эквивалентной чувствительности теста число испытателей должно быть примерно удвоено (т. е. приблизительно должно составлять 60 человек). При проведении теста на подобие оценки не должны осуществляться повторно одними и теми же испытателями. При проведении теста на различие допускается повторное использование испытателя, но по возможности этого следует избегать. Однако если параллельные оценки все-таки предполагается использовать, чтобы обеспечить достаточное общее число оценок, то должны быть предприняты все возможные усилия к тому, чтобы все испытатели провели равное число параллельных оценок. Например, если имеются только 10 испытателей, то каждый из них должен сделать три параллельных оценки так, чтобы общее число оценок равнялось 30.

Примечание - Если проводят тест на подобие и используют данные таблицы А.3, приложение А, то рассмотрение полученных 10 испытателями в трех повторностях 30 оценок как независимых результатов не является правомочным. Однако если проводят тест на различие с применением данных таблиц А.1 и А.2, приложение А, то использование параллельных оценок допускается [1], [2]. В некоторых публикациях [3], [4] при использовании параллельных оценок при различительных испытаниях предлагаются альтернативные подходы к статистической обработке результатов теста.

7 Проведение испытаний

7.1 Перед проведением теста заготавливают необходимое число бланков рабочих листов и протоколов (см. рисунки В.1, В.2. и В.3, приложение В), исходя из того, что будет использовано равное число проб продуктов А и В - подаваемых в двух различных положениях.

7.2 Испытателю подают (последовательно или одновременно) по два образца продукта, составляющих пару (см. 5.4). Если два образца подают одновременно, то при подаче пространственно их упорядочивают так, чтобы парные пробы располагались перед каждым испытателем либо в ряд (слева направо), либо в столбик (снизу вверх). Испытатели должны опробовать два образца, составляющие пару, в том порядке, как это указано в рабочем листе, но обычно испытателям разрешают, если те пожелают, провести повторные опробования пары образцов (в том случае, конечно, когда природа продукта позволяет повторить опробование).

7.3 Рабочий лист оформляют для каждой отдельной парной пробы образцов. Если испытатель будет выполнять испытания более чем одной пары образцов в течение серии испытаний, то следует получить от него заполненный бланк рабочего листа и убрать со стола остатки продуктов, прежде чем предлагать ему следующую пару образцов. Испытатель никогда не должен возвращаться к предыдущей паре образцов и никогда не должен изменять свой вердикт относительно результата ранее проведенного испытания.

7.4 Не следует задавать испытателю какие-либо вопросы относительно предпочтительности, приемлемости или степени различия после того, как он сделал свой выбор образца, имеющего более выраженную исследуемую характеристику продукта. Выбор, который был им только что сделан, может оказать влияние на ответы на последующие дополнительные вопросы. Ответы на такие вопросы можно получить в отдельных испытаниях на предпочтение, приемлемость, степень различия и т. п. [5]. Для того чтобы испытатель мог пояснить, почему он сделал тот или иной выбор, в рабочий лист может быть введен раздел "Примечания".

7.5 Метод парного сравнения является тестом, в котором предусмотрена процедура принудительного выбора: испытателям не разрешается использовать такой вариант ответа, как "нет различия". Испытателя нужно проинформировать, что если он не сумеет обнаружить различия между образцами продукта, то должен просто выбрать наугад один из образцов и в разделе рабочего листа "Примечания" отметить, что сделанный выбор является не более чем догадкой.

8 Анализ и интерпретация результатов

8.1 Испытания на различие

8.1.1 Случай одностороннего критерия

Для анализа данных, полученных методом парного сравнения, используют таблицу А.1, приложение А. Если число правильных ответов больше или равно числу, указанному в таблице А.1, приложение А (для соответствующего числа испытателей и уровня -риска, выбранного при проведении теста), то делают вывод, что между образцами продукта существует заметное различие (см. раздел В.1, приложение В).

При желании можно вычислить доверительный интервал для доли испытателей, способных различить образцы продукта. Методика расчета приведена в разделе В.5, приложение В.

8.1.2 Случай двустороннего критерия

Для анализа данных, полученных методом парного сравнения, используют таблицу А.2, приложение А. Если число согласующихся ответов больше или равно числу, указанному в таблице А.2, приложение А (для соответствующего числа испытателей и уровня -риска, выбранного при проведении теста), то делают вывод, что между образцами продукта существует заметное различие (см. В.3, приложение В).

При желании можно вычислить доверительный интервал для доли тех, кто способен различить образцы продукта. Методика расчета приведена в разделе В.5, приложение В.

8.2 Испытания на подобие 1)

8.2.1 Случай одностороннего критерия

Для анализа данных, полученных методом парного сравнения, используют таблицу А.3, приложение А. Если число правильных ответов меньше или равно числу, указанному в таблице А.3, приложение А (для соответствующего числа испытателей, уровня -риска и величины , выбранных при проведении теста), то делают вывод, что между образцами продукта нет существенного различия (см. В.2, приложение В). Если результаты, получаемые в разных тестах, сопоставимы, то значение может быть вычислено по данным всех этих тестов.

При желании можно вычислить доверительный интервал для доли испытателей, способных различить образцы продукта. Методика расчета приведена в разделе В.5, приложение В.

Нельзя сделать какие-либо заключения, если максимальное число правильных ответов меньше, чем n/2.

8.2.2 Случай двустороннего критерия

Для анализа данных, полученных методом парного сравнения, используют таблицу А.3, приложение А. Если число согласующихся ответов меньше или равно числу, указанному в таблице А.3, приложение А (для соответствующего числа испытателей, уровня -риска и величины , выбранных при проведении теста), то делают вывод, что между образцами продукта нет существенного различия (см. В.4, приложение В). Если результаты, получаемые в разных тестах, сопоставимы, то значение может быть вычислено по данным всех этих тестов.

При желании можно вычислить доверительный интервал для доли испытателей, способных различить образцы продукта. Методика расчета приведена в разделе В.5, приложение В.

9 Отчет по испытаниям

В отчете по испытаниям сообщают цель испытаний, результаты испытаний и заключения. Рекомендуется внести в отчет следующую дополнительную информацию:

- задача испытаний и характер изучаемого способа обработки продукта;

- подробные сведения для идентификации испытуемых образцов продукта: их происхождение, способ подготовки, количество, форма, хранение перед испытаниями, количество продукта, предоставленного испытателям, температура продукта (эта информация, касающаяся образцов, должна свидетельствовать, что все проведенные операции их хранения, обработки и подготовки выполнены так, что можно утверждать, что различие между образцами, если оно обнаружено, может быть вызвано только теми изменениями в их характеристиках, которые связаны с изучаемой причиной);

- число испытателей, число правильных или согласующихся ответов и результаты статистической обработки (включая значения величин , и , которые использовались при испытаниях);

- сведения об испытателях (их практический опыт в проведении органолептических испытаний, знакомство с продуктом и с образцами продукта, подвергавшегося испытаниям), возраст и пол (ГОСТ Р 53180 и ГОСТ Р 53181);

- любые специальные сведения и рекомендации, предоставленные испытателям в связи с проводившимися испытаниями, особенно касающиеся точных вербальных определений и эталонных образцов продукта, с помощью которых разъяснялось, какое именно свойство продукта подлежит рассмотрению, и/или касающиеся доведения до сведения испытателей специальных правил проведения испытаний;

- условия при проведении испытаний: использовавшиеся средства испытаний, осуществлялась ли подача образцов испытателям одновременно или последовательно, была ли после проведения испытаний предоставлена информация, позволяющая идентифицировать образцы, и если была предоставлена, то каким образом;

- место и дату проведения испытаний, фамилию руководителя испытаний.

10 Прецизионность метода и смещение (систематическая погрешность)

Поскольку результаты органолептических различительных испытаний зависят от индивидуальной чувствительности испытателей, не представляется возможным сделать общее заключение относительно воспроизводимости результатов, которое было бы применимо по отношению к любой группе испытателей. Прецизионность метода, связанная с конкретной группой испытателей, возрастает по мере увеличения числа участников испытания и по мере возрастания их квалификации, а также зависит от подвергаемого испытаниям продукта.

Поскольку используется процедура принудительного выбора, получаемые данным методом результаты не содержат систематической погрешности (смещения), если полностью соблюдаются требования раздела 7.

_______

1) В настоящем стандарте "подобный" не означает "идентичный". Этот термин скорее означает, что два продукта достаточно схожи, чтобы можно было использовать один вместо другого. Невозможно доказать, что два продукта являются идентичными. Однако можно продемонстрировать, что любое различие, какое существует между продуктами, настолько невелико, что не имеет практического значения.

Библиография

[1] , J. and Meyners, M. On the triangle test with replications. Food Quality and Preference, 10, 1999

[2] , J. On repeated difference testing. Food Quality and Preference, 12, 2001, pp. 385 - 391

[3] Ennis, D.M. and Bi, J. The Beta-Binomial Model: Accounting for Inter-trial Variation in Replicated Difference and Preference Tests. Journal of Sensory Studies, 13, N 4, 1998, pp. 389 - 412

[4] Brockhoff, P.B. and Schlich, P. Handling replications in discrimination tests. Food Quality and Preference, 9, N 5,1998, pp. 303 - 312

[5] ISO 6658:2005 Sensory analysis - Methodology - General guidance

[6] Schlich, P. Risk Tables for Discrimination Tests. Food Quality and Preference, 4, 1993, pp. 141 - 151

[7] MacRae, A. Confidence intervals for triangle test. Food Quality and Preference, 6, 1995, pp. 61 - 67

[8] Frijters, J.E.R. Three-Stimulus Procedure in Olfactory Psycholophysics: An Experimental Comparison of Thurston-Ura and Three-Alternative Forced-Choice Models of Signal Detection Theory. Perception and Psychophysics, 28, N 5, 1980, pp. 390 - 397

[9] ISO 3534-1:2006 Statistics - Vocabulary and symbols - Part 1: General statistical terms and terms used in probability