ГОСТ ISO 13299-2015. Межгосударственный стандарт. Органолептический анализ. Методология. Общее руководство по составлению органолептического профиля

(введен в действие Приказом Росстандарта от 28.07.2016 № 894-ст)

Введен в действие Приказом Федерального агентства по техническому регулированию и метрологии

ОБЩЕЕ РУКОВОДСТВО ПО СОСТАВЛЕНИЮ ОРГАНОЛЕПТИЧЕСКОГО ПРОФИЛЯ

Organoleptic analysis. Methodology. General guidance for establishing an organoleptic profile

(ISO 13299:2003, Sensory analysis — Methodology — General guidance for establishing a sensory profile, IDT)

ГОСТ ISO 13299-2015

МКС 67.240

Дата введения 1 июля 2017 года

Предисловие

Краткое наименование страны по МК (ИСО 3166) 004-97	Код страны по МК (ИСО 3166) 004-97	Сокращенное наименование национального органа по стандартизации
Армения	AM	Минэкономики Республики Армения
Беларусь	BY	Госстандарт Республики Беларусь
Казахстан	KZ	Госстандарт Республики Казахстан
Киргизия	KG	Кыргызстандарт
Молдова	MD	Молдова-Стандарт
Россия	RU	Росстандарт
Таджикистан	TJ	Таджикстандарт
Украина	UA	Минэкономразвития Украины
Узбекистан	UZ	Узстандарт

• сопоставление характерных признаков продукции для целей соотнесения ее с такими факторами, как инструментальные, химические или физические свойства, и (или) с удовлетворением требований потребителя;
• установление характеристик типа и интенсивности посторонних запахов или привкусов образца воздуха или воды (например, в исследованиях загрязнения).

Примечание 1 — Органолептические профили также составляют для непищевой продукции или образцов, которые оценивают по виду, запаху, вкусу, на ощупь или на слух.

Примечание 2 — Некоторые международные стандарты, в которых установлены определенные аспекты, касающиеся составления органолептического профиля, приведены в разделах 2 и 4.

2. Нормативные ссылки

Для применения настоящего стандарта необходимы следующие ссылочные стандарты.

ISO 4121:2003 Sensory analysis — Guidelines for the use of quantitative response scales (Органолептический анализ. Руководство по применению количественных шкал оценки реакций)

ISO 5492:2008 Sensory analysis — Vocabulary (Сенсорный анализ. Словарь)

ISO 5496:2006 Sensory analysis — Methodology — Initiation and training of assessors in the detection and recognition of odours (Анализ сенсорный. Методология. Начальное обучение и тренировки дегустаторов по обнаружению и распознаванию запахов)

ISO 6564:1985 <1> Sensory analysis — Methodology — Flavour profile methods (Органолептический анализ. Методология. Методы профильного анализа флейвора)

---

<1> Отменен. Действует только для применения настоящего стандарта.

---

ISO 6658:2005 Sensory analysis — Methodology — General guidance (Органолептический анализ. Методология. Общее руководство)

ISO 8586:2012 <2> Sensory analysis — General guidelines for the selection, training and monitoring of selected assessors and expert sensory assessors (Органолептический анализ. Общие руководящие указания по отбору, обучению и контролю отобранных экспертов по оценке и экспертов по органолептической оценке)

---

<2> Действует взамен ISO 8586-1:1993 и ISO 8586-2:2008.

ISO 8589:2007 Sensory analysis — General guidance for the design of test rooms (Органолептический анализ. Общее руководство по проектированию помещений для испытаний)

ISO 11035:1994 Sensory analysis — Identification and selection of descriptors for establishing a sensory profile by a multidimensional approach (Органолептический анализ. Идентификация и выбор дескрипторов для установления сенсорного профиля посредством многомерного метода)

ISO 11036:1994 Sensory analysis — Methodology — Texture profile (Органолептический анализ. Методология. Профиль текстуры)

ISO 11056:1999 Sensory analysis — Methodology — Magnitude estimation method (Органолептический анализ. Методология. Метод оценки величины)

3. Термины и определения

3.2 частичный органолептический профиль (partial sensory profile): Профиль, включающий определенные избранные характеристики со значениями их интенсивности.

Пример — Профиль запаха, профиль флейвора и профиль текстуры.

3.3 условный органолептический профиль (conventional sensory profile): Профиль, полученный с помощью статистической обработки данных, выданных несколькими экспертами, использовавшими единый перечень характеристик.

3.4 согласованный органолептический профиль (consensus sensory profile): Профиль, полученный в результате достигнутого согласия после обсуждения группой экспертов, каждый из которых оценивал продукцию по собственным критериям до обсуждения.

3.5 произвольный органолептический профиль (free-choice sensory profile): Профиль, в котором каждый эксперт выбирает собственные характеристики для описания группы образцов, а область согласования выводится статистически, например, с помощью обобщенного прокрустова анализа.

3.6 органолептический профиль интенсивности во времени (time-intensity sensory profile): Профиль, описывающий интенсивность заданной характеристики по мере ее изменения в течение периода времени после однократного применения стимула.

4. Сущность метода

В таблице 1 представлены вопросы к рассмотрению при выборе методики.

Этапы работы при составлении органолептического профиля общие для всех методов органолептического профилирования; они изложены в таблице 2.

Таблица 1

Рекомендованная область применения различных методик профилирования

Методика	Принцип	Область применения	Преимущества	Недостатки	Примеры
Условное профилирование	Эксперты, сидя в кабинах, оценивают каждый образец по заранее выбранному ряду характеристик и шкал	Наиболее широко применяемая методика. Подходит для рутинного применения и для исследований, например, при разработке и контроле качества потребительских товаров. Существуют различные процедуры для выбора дескрипторов; см. таблицу 3	Как правило, наиболее надежная методика. Профили воспроизводимы в рамках экспертной группы и с течением времени. При наличии соответствующей подготовки и использовании достаточного количества эталонных образцов профили также воспроизводимы между различными экспертными группами	Относительно дорогая методика в силу необходимости достаточно больших экспертных групп и обширных площадей для кабин. Выбор экспертной группы и подготовка относительно трудоемкие	Стандартные учебники, например [1] - [5]
Согласованное профилирование	Посредством согласования экспертная группа, сидя за столом, разрабатывает собственную терминологию и шкалы, касается представленного ряда образцов	Подходит для рутинной органолептической оценки ряда разнообразной продукции, такой как предлагаемая в супермаркетах. Также полезна для однократных наборов из 3 — 10 аналогичных единиц	Может быть испытано большое количество образцов по низкой цене испытания и в короткие промежутки времени	Полученные профили уникальны для данной экспертной группы и ряда образцов. Качество данных сильно зависит от профессионализма руководителя экспертной группы	См. [1]
Произвольное профилирование	Эксперты, сидя в кабинах, могут свободно выбирать собственную терминологию и шкалы. Профиль выводится статистически, например посредством обобщенного прокрустова анализа	Может быть использовано опытными экспертами в предварительном этапе создания терминов, которые могут стать дескрипторами. Является альтернативной процедурой в потребительских испытаниях группы продукции, исключающей необходимость для неопытных экспертов разрабатывать ряд характеристик и шкал	Необходима минимальная подготовка. Нет необходимости тратить время на разработку эталонных образцов	Полученные профили уникальны для данной экспертной группы. Профили выражены как многомерные уравнения, требующие интерпретации руководителем экспертной группы. Подготовка и обработка данных трудоемкие для руководителя экспертной группы	Описание и обзор приведены в [6]
Профилирование интенсивности во времени	Эксперты, сидя в кабинах, фиксируют интенсивность характеристики с течением времени	Рекомендуется в исследованиях характеристик, изменяющихся со временем во рту, на коже и т.п. после проглатывания или нанесения	Единственная методика, доступная для описания характеристик, изменяющихся со временем, например длительных послевкусий	Можно исследовать только одну характеристику (максимум две). Необходима подготовка экспертов. Методика трудоемкая	Описание и обзор приведены в [7]

Этап	Действие	Соответствующий международный стандарт
1 Создание условий для проведения органолептического анализа	Создание зоны кабин, зоны подготовки и т.п.	ISO 8589 (проектирование помещений для исследований)
2 Выбор продукции с целью иллюстрации соответствующей характеристики	Один или два эксперта выбирают 6 — 10 образцов из имеющейся продукции	Привлечение экспертов, подготовленных по ISO 8586 (отобранные эксперты)
3 Выбор и подготовка экспертов для проекта	Руководитель экспертной группы набирает группу кандидатов и проводит их подготовку, используя образцы продукции, отобранные во втором этапе	ISO 8586 (отобранные эксперты) ISO 5496 (распознавание запахов)
4 Выбор дескрипторов (характеристик), подходящих для применения (можно сочетать с этапом 3)	Руководитель экспертной группы выбирает из существующих терминов, или эксперты оценивают образцы продукции, отобранные во втором этапе, и предлагают ряд дескрипторов. Выбор осуществляется посредством согласования или многомерного анализа. Выбираются соответствующие эталонные образцы, с которыми определяются дескрипторы	ISO 5492 (словарь) ISO 6564 (профили флейвора) ISO 11035 (идентификация дескрипторов) ISO 11036 (профиль текстуры)
5 Определение порядка восприятия характеристик в профиле (при необходимости)	Руководитель экспертной группы работает с экспертами на третьем и четвертом этапах
6 Выбор шкалы или шкал интенсивности, которые будут использоваться с дескрипторами	Руководитель экспертной группы выбирает наиболее соответствующую(ие) шкалу(ы)	ISO 4121 (оценка методом с использованием шкал) ISO 11056 (оценка значений)
7 Подготовка экспертов для использования выбранных дескрипторов и шкалы (шкал)	Руководитель экспертной группы работает с экспертами с целью совершенствования их чувствительности, индивидуальной сходимости и однородности оценок с мнением группы (последнее не относится к произвольному профилированию)	ISO 8586 (отобранные эксперты)
8 Проведение испытания(ий)	Эксперты оценивают образцы для анализа	ISO 6658 (общее руководство) ISO 6564 (профили флейвора)
9 Обобщение результатов	Данные анализируют статистически и представляют результаты в форме таблиц и диаграмм; оформляются выводы	См. 7.5 ISO 6564 (профили флейвора) ISO 11036 (профиль текстуры)

5. Общие условия испытаний

5.1 Помещение для испытаний

Проводят органолептическое профилирование в кабинах при условиях, описанных в ISO 8589. Для согласованного профилирования и для начальных этапов идентификации и отбора дескрипторов эксперты сидят вокруг центрального стола, на котором могут находиться эталонные вещества (см. ISO 8589).

5.2 Оборудование и отбор образцов

Выбирают ряд образцов и способ их представления таким образом, чтобы никак не повлиять на результаты (см. ISO 6658).

5.3 Предварительное обсуждение и испытания

См. ISO 6658:1985 (раздел 4). Необходимо убедиться, что эксперты хорошо знакомы с любой конкретной рассматриваемой характеристикой и с методикой испытания. При необходимости организуют предварительное общее обсуждение, касающееся задачи испытания и характера образцов. Представляют и обсуждают несколько образцов, типичных для анализируемых серий. Ограничивают их количество двумя или тремя. Если испытание направлено на определение посторонних привкусов, включают в предварительное испытание образец, свободный от каких-либо посторонних привкусов, и/или демонстрируют определенный посторонний привкус. Представляют типичные примеры и ведут обсуждение таким образом, чтобы не повлиять на будущие суждения.

5.4 Количество экспертов

В описательные экспертные группы, как правило, входит 8 — 12 экспертов, возможно, больше. Они могут включать всего 4 участника (например, при согласованном профилировании) либо 20 — 30 участников, если задача включает испытание на оттенки, к которым чувствительно меньшинство. Конкретные рекомендации, касающиеся количества экспертов в экспертной группе, нецелесообразны в силу множества факторов, которые необходимо учитывать. Большее количество участников в экспертной группе могут понадобиться в случае, если между участниками существуют значительные различия по вопросам их чувствительности и/или подготовки.

6. Отбор, подготовка и контроль экспертов

Описание отбора, подготовки и контроля экспертов приведено в ISO 8586. Кандидатов набирают посредством собеседований, рассылок или личных контактов. Дважды или трижды проводятся собеседование и скрининг необходимого количества экспертов. Важными характеристиками являются следующие:

• способность концентрироваться и точность в сообщении ощущений;
• быстрота;
• хорошее здоровье;
• способность различать специфические исследуемые характеристики;
• занятость на период проведения исследования.

Острота ощущений менее важна при условии, если члены экспертной группы уравновешивают сильные и слабые стороны друг друга, что часто имеет место в экспертных группах из 10 — 15 человек и более.

Включают в методики скрининга продукцию или образцы, с которыми будет работать экспертная группа. Далее проводят тренировку с использованием продукции и терминологии, выбранной согласно 7.1. Включают выбранные образцы, произведенные или модифицированные, чтобы учесть каждую характеристику, которая может встретиться в будущей работе экспертной группы. Следует отметить, что программу подготовки и выбор терминологии до некоторой степени можно сочетать. Экспертную группу можно обучать на нескольких типах продукции, но важно, чтобы для каждого такого типа экспертная группа хорошо понимала диапазон характеристик, которые могут ей встретиться.

Регулярно контролируют деятельность отобранных экспертов (например, выдавая им закодированные образцы с известными характеристиками или вводя повторы). В обязанности руководителя экспертной группы входит организация повторной подготовки любого эксперта, чья деятельность ухудшилась по сравнению с уровнем, когда он был включен в экспертную группу.

7. Методика

7.1 Выбор оптимальных характеристик (дескрипторов)

7.1.1 Общая информация

На усмотрение руководителя экспертной группы применяется один из трех подходов, изложенных в таблице 3, или любое их сочетание для данного важного этапа. Целью является идентификация и выбор ряда неперекрывающихся характеристик, которые, насколько это возможно, позволят провести полный описательный анализ исследуемых образцов.

7.1.2 Порядок восприятия

В дополнение к выявлению характеристик образца и измерению каждой характеристики экспертные группы часто могут выявить различия между образцами различной продукции по порядку восприятия характеристик и продолжительности ощущения. Что касается определенной продукции (например, напитков), порядок восприятия определенных характеристик настолько же характерен для профиля продукции, как и отдельные ноты флейвора и их соответствующая интенсивность. Что касается другой продукции, порядок восприятия может изменяться, например, в соответствии со свойствами текстуры или физическими свойствами или с изменениями в ходе оценки.

Пример — Тающий кусочек шоколада; увлажненная косметическая салфетка.

Порядок восприятия должен определять порядок, в котором оцениваются характеристики. Послевкусие и остаточное ощущение оцениваются в последнюю очередь; эти характеристики можно воспринимать и после употребления или использования образца. Послевкусие и остаточное ощущение не должны подразумевать дефект или отрицательную характеристику. Например, свежее послевкусие ополаскивателя для ротовой полости и пряное согревающее послевкусие карри представляют желательные ноты флейвора. Что касается текстуры, воспринимаемой ротовой полостью, а также ощущения на коже и качества ткани на ощупь, порядок восприятия можно предопределить тем, как используется продукция. Контролируя манипуляции (одно жевательное движение, одно сжатие рукой), руководитель экспертной группы определяет, какие характеристики будут восприняты в первую очередь.

7.1.3 Общая оценка

В рамках сессии профилирования, как правило, в конце, экспертов можно попросить дать одну или несколько общих оценок. Примерами являются:

Номер	Принцип	Метод	Преимущества	Недостатки	Примеры
1	Использовать существующую терминологию и эталонные образцы	Обращаться за справкой к специальной литературе и проконсультироваться с экспертами, чтобы сделать соответствующий выбор. Приобрести предписанные стандарты и использовать их, чтобы ознакомить экспертов с качеством каждого дескриптора и, при необходимости, шкалой интенсивности для данного дескриптора	Используется накопленный опыт экспертов. Другие группы могут интерпретировать профили и сопоставлять с другими исследованиями	Существующие терминология или эталонные образцы могут включать варианты выбора, неточные или нецелесообразные для определенного ряда образцов. Могут быть пропущены характеристики, которые могли бы быть выявлены в ходе создания новой терминологии	Существуют множество стандартов, в том числе в которых установлены термины (например, для воды ([8]), молочной продукции ([9]), рыбной продукции ([10]), пива ([11]), вина ([12]), шотландского виски ([13]), а также характеристик текстуры и качества ткани на ощупь ([14]))
2	Провести специальное заседание экспертной группы для выбора необходимой терминологии	С помощью экспертной группы создают терминологию в ходе обсуждения за круглым столом под руководством руководителя экспертной группы. Используются эталонные образцы, которые могут быть предоставлены руководителем экспертной группы, или заказчиком испытания, или экспертом в ходе заседания. Можно сочетать с методом 1	Процесс создания терминологии менее длительный, чем метод 3	Полученные профили уникальны для данной экспертной группы и ряда образцов. Другие группы не могут интерпретировать их без эталонных образцов	См. [1] (глава 1), [4] (глава 6)
3	Провести специальное заседание экспертной группы для создания необходимой терминологии	Обращаться за справкой к ISO 11035, описывающему рекомендованный метод идентификации и выбора отличительных терминов с помощью ряда подготовленных обучающих образцов; затем уменьшить число терминов пошаговым исключением с помощью статистических методик	Используется полностью объективный процесс отбора и исключения, таким образом, количество терминов, основанных на неправильных представлениях или предубеждениях, сводится к минимуму, а отобранные термины дают оптимальный охват качеств, которые эксперты воспринимают в образцах	Полученные профили уникальны для данной экспертной группы и ряда образцов. Другие группы не могут интерпретировать их без эталонных образцов. Процесс относительно длительный и требует определенного опыта при анализе данных	ISO 11035

7.2 Выбор соответствующей шкалы

Следующим после отбора отличительных характеристик этапом является выбор соответствующей шкалы восприятия, на которой будет отмечаться интенсивность каждой характеристики, присутствующей в данном образце.

Для целей статистического анализа полезно делать различие между двумя значениями термина «шкала»:

1-е значение: Шкала — это математическое отношение между силой органолептического ощущения и числами, зафиксированными экспертом.	Для ясности в настоящем стандарте именуется «измерительной шкалой». Примеры: шкала порядка, шкала интервалов, шкала отношений.
2-е значение: Шкала — это измерительный инструмент: при формировании своей оценки эксперт использует шкалу.	Для ясности в настоящем стандарте именуется «шкалой восприятия». Примеры: линейка, кухонные весы, штриховая шкала.

Примечание 1 — Измерительная шкала устанавливает пределы для допустимого типа статистических манипуляций. Например, часто рекомендуется применять непараметрические методы, если данные находятся на шкале порядка. Руководство приведено в ISO 4121.

Шкалы восприятия, используемые в органолептическом профилировании, могут быть числовыми или семантическими, непрерывными или прерывными, однополярными или биполярными. Для профилирования интенсивности во времени можно использовать шкалы динамического восприятия.

Примечание 2 — Данные, полученные с помощью прерывных шкал восприятия, могут испытывать воздействие так называемых «концевых эффектов»: эксперты неохотно используют числа, приближающиеся к любому из концов шкалы из опасения, что последующие образцы могут потребовать более предельных значений. Непрерывные шкалы восприятия, например штриховые шкалы, менее подвержены концевым эффектам. Наглядные шкалы восприятия подходят для использования с детьми.

7.3 Проведение испытаний

7.3.1 Подготовка опытных образцов

См. ISO 6658. Убеждаются, что эксперты не могут сделать выводов о характере образцов на основании способа их представления. Например, если необходимо замаскировать разницу во внешнем виде, используют цветное стекло или цветную подсветку. Стандартизируют подготовку образцов и подают образцы при одинаковой температуре. Кодируют образцы случайными трехзначными числами или кодируют порядок представления образцов эксперту. Если число возможных сочетаний становится слишком большим для полной рандомизации, используют соответствующий план отбора образцов (см. [15]).

7.3.2 Представление образцов

По возможности представляют образцы одновременно, в противном случае — монадически (последовательно, по одному). Одновременное представление облегчает сравнение образцов и особенно полезно, если желательно сравнение по большому числу характеристик, но профили могут стать взаимозависимыми и, следовательно, менее описательными. Необходимо использовать монадическое представление, если это представляет проблему, а также если образцы демонстрируют различия во внешнем виде, которые невозможно замаскировать, или если образцы обладают сильными или устойчивыми флейворами (например, копченая или пряная пищевая продукция, горькие вещества или жирные текстуры).

7.3.3 Подготовка таблиц баллов

Используют заранее напечатанные таблицы баллов с инструкциями в отношении используемой шкалы. Как вариант используют мониторы или планшеты-преобразователи для фиксирования суждений. Оставляют в таблицах баллов пустое место и предлагают экспертам высказать свое мнение или дать предложения в отношении дополнительных характеристик. Следует отметить, что несколько оценок, размещенных на одном листе или экране, могут влиять или искажать друг друга (т.е. эффект ореола: положительная или отрицательная оценка может переноситься с одной характеристики на следующую).

Если невозможно использовать один экран или лист на каждый образец или каждую характеристику, стараются свести искажение к минимуму за счет подготовки экспертов и/или включения образцов с известными характеристиками. И наоборот, если лист включает несколько образцов, могут иметь место эффекты порядка представления (например, эффекты контраста, эффекты группы или эффекты размещения). Поэтому желательно пропорционально или случайным образом распределять порядок размещения образцов на листе или экране у разных экспертов.

7.3.4 Оценка образцов

Организовывают работу экспертов поодиночке в кабинах, за исключением согласованного подхода, когда эксперты сидят за столом, на котором расположены эталонные образцы. Не раскрывают идентичность образцов, пока эксперты не завершат все повторные оценки. Необходимо время от времени включать подготовленные образцы или повторные образцы для образовательных целей.

Как правило, предлагают не более шести образцов за сессию и на одного эксперта для полного описательного анализа или не более десяти образцов для частичного профилирования до десяти дескрипторов. Необходимо использовать меньшие количества, если небольшие различия критичны, а также для образцов с сильным или устойчивым флейвором.

7.3.5 Повторные испытания

Для повышения надежности и действительности результатов любой образец или группу образцов представляют дважды, трижды или более, по возможности в разные дни. При выборе количества повторов руководствуются необходимой точностью, наблюдаемым разбросом результатов, а также любой тенденцией (например, к улучшению разграничения по мере того, как эксперт знакомится с образцами). Повторы необходимы для предоставления оценки погрешности эксперимента. Следует отметить, что эффект повторной оценки одного и того же образца демонстрирует разброс результатов среди экспертов, в то время как повторная оценка разных партий продукции будет отражать также вариации в продукции. Наблюдается взаимодействие экспертов с продукцией (эксперты по-разному оценивают продукцию).

7.4 Профиль интенсивности во времени

При профилировании интенсивности во времени фиксируют интенсивность характеристики с течением времени (см. [7]). Сладость подсластителя или горечь пива можно постоянно фиксировать в течение периода от 1 до 3 мин после проглатывания. Как правило, интенсивность быстро возрастает до максимума, а затем плавно снижается. Проявление флейвора жевательной резинки можно фиксировать каждую минуту в течение 30 мин.

Восприятие можно фиксировать с помощью карандаша и бумаги, на регистраторе или с использованием любой из множества доступных в продаже компьютерных систем. Эксперт не должен иметь возможность наблюдать за кривой восприятия, поскольку это может привести к необъективности в оценке. Важными переменными, которые необходимо принимать во внимание, являются:

a) протоколы оценки: тип представления, количество продукции, время удержания в ротовой полости или на коже, тип манипуляции, выплевывание или проглатывание;

b) необходим установленный протокол для координации оценки продукции (выдержка образца) с фиксацией восприятия (ввод данных), чтобы снизить пристрастность в результате способа представления;

c) экспертам может потребоваться несколько сессий подготовки, чтобы разработать и выучить все протоколы, необходимые для тщательно контролируемого исследования.

7.5 Оценка результатов с помощью соответствующих статистических методов

7.5.1 Общие положения

Результаты для каждой характеристики и действия вносят в таблицу и оценивают их значимость с помощью соответствующих статистических методов. Примеры приведены в ISO 4121, ISO 8586, ISO 11035, ISO 11056 и приложении A.

Данные профиля не поддаются просто статистической оценке, следовательно, необходимо разработать эксперименты с целью проведения статистического анализа. Во всех случаях, кроме самых простых, рекомендуется проконсультироваться со специалистом по статистике, в части разработки и анализа. Ниже приведены только общие указания.

Как правило, используется двухфакторный (или более) дисперсионный анализ (ANOVA). Кроме того, допускается применять многомерные методы для исследования взаимодействия, часто наблюдаемого между характеристиками.

7.5.2 Источники вариативности

7.5.3 Повторность: эксперты как фиксированные или случайные эффекты

Хотя повторность и является желательной для повышения надежности результатов, она привносит в ANOVA два важных соображения. Во-первых, необходимо решить, будут ли эксперты рассматриваться как фиксированные или случайные эффекты. При повторном проведении оценок эксперты рассматриваются как один из факторов факторного эксперимента. Факторные эффекты — это либо случайные, либо фиксированные эффекты. Это различие важно, поскольку фиксированные эффекты влияют на средние рейтинги; случайные — на параметр ошибки.

Строго говоря, экспертов следует рассматривать как фиксированный эффект, поскольку в силу своей подготовки они не представляют случайную выборку из любой существующей популяции, за исключением, возможно, подготовленных экспертов. Тем не менее, на практике задачей экспериментатора является предоставление заключения, действительного не только для группы экспертов. Если это статистически оправдано, можно принять решение считать экспертов случайным эффектом. Фактор случаен, если уровни его присутствия в эксперименте могут изменяться без изменения цели эксперимента.

7.5.4 Повторность в партии или между партиями

Вторым соображением является то, что модель анализа ANOVA будет различаться в зависимости от того, будут повторы проводиться на одной и той же партии продукции или нет. Возможны по меньшей мере три схемы, каждая из которых требует различной модели. См. рисунок 1.

Пример 1 на рисунке 1 — это широко используемый план повторных измерений. Реплики 1, 2 и 3 фактически являются подвыборками одной и той же партии каждой продукции A и B. В плане отсутствует вариативность между партиями. Примеры 2 и 3 на рисунке 1 включают фактические реплики продукции A и B. Для анализа всех трех примеров используют модель ANOVA с расщепленными делянками (см. таблицу 4). В каждом примере эффекты расщепленной делянки включают эксперта и взаимодействие эксперта с продукцией. Эффекты цельной делянки различны в разных примерах.

Цельной делянкой для примера 1 и примера 2 является полностью рандомизированный план, включающий продукцию и погрешность (т.е. реплики в продукции). Анализ цельной делянки для примера 3 представляет собой рандомизированный блочный план (блоки по сериям сырья), включающий реплики, продукцию и погрешность (т.е. реплики по продукции). Хотя модели для примера 1 и примера 2 выглядят идентичными, важно отметить, что в этих двух примерах различается применимость результатов. В примере 1 возможно только определить, является ли одна партия продукции A ощутимо отличной от одной партии продукции B. В то время как в примере 2 (и примере 3) возможно определить, является ли продукция A ощутимо отличной от продукции B.

Пример 1. План повторных измерений
Источник	df	S	M	F
Итого	apr — 1	ST	MT	F = MP/MEa
Продукция	p — 1	SP	MP
Погрешность (A) = Повторение в продукции	p(r — 1)	SEa	MEa
Эксперт	a — 1	SA	MA	F = MA/MEb
Эксперт x продукция	(a — 1)(p — 1)	SAXP	MAXP	F = MAXP/MEb
Погрешность (B) = Остаточная	(a — 1)p(r — 1)	SEb	MEb
Пример 2. Полностью рандомизированный план с расщепленными делянками
Источник	df	S	M	F
Итого	apr — 1	ST	MT	F = MP/MEa
Продукция	p — 1	SP	MP
Погрешность (A) = Повторение в продукции	p(r — 1)	SEa	MEa
Эксперт	a — 1	SA	MA	F = MA/MEb
Эксперт x продукция	(a — 1)(p — 1)	SAXP	MAXP	F = MAXP/MEb
Погрешность (B) = Остаточная	(a — 1)p(r — 1)	SEb	MEb
Пример 3. Рандомизированный блочный план с расщепленными делянками
Источник	df	S	M	F
Итого	apr — 1	ST	MT	F = MP/MEa
Повторение	r — 1	SR	MR
Продукция	p — 1	SP	MP
Погрешность (A) = Повторение в продукции	(r — 1)(p — 1)	SEa	MEa
Эксперт	a — 1	SA	MA	F = MA/MEb
Эксперт x продукция	(a — 1)(p — 1)	SAXP	MAXP	F = MAXP/MEb
Погрешность (B) = Остаточная	(a — 1)(p — 1) (r — 1)	SEb	MEb
a — число экспертов;		df — степени свободы;
p — количество продукции;		S — сумма квадратов;
r — количество реплик;		M — средний квадрат

Модели ANOVA согласно таблице 4 применимы, если экспертов рассматривают как фиксированный эффект при анализе. Если эксперты отобраны случайным образом, то для испытания различий между продукцией используется следующий квазикритерий F:

F = \frac{M_{p}}{M_{p} + M_{AXP} - M_{Eb}} .

D_{f2} = \frac{(M_{Ea} + M_{AXP} - M_{Eb})^{2}}{(\frac{M_{Ea}^{2}}{d_{f,Ea}}) + (\frac{M_{AXP}^{2}}{d_{f,AXP}}) + (\frac{M_{Eb}^{2}}{d_{f,Eb}})} .

7.5.5 Частный случай произвольного профилирования

Произвольное профилирование отличается от других методов, описанных в настоящем стандарте, тем, что каждый участник экспертной группы использует свой собственный перечень терминов вместо общего перечня. Описание и обзор приведены в [6].

Результаты интерпретируют с помощью обобщенного прокрустова анализа или аналогичных программ. На выходе получается органолептическая карта продукции.

7.6 Составление протокола испытания

7.6.1 Основные результаты фиксируют, как описано в 7.5. При необходимости можно вычислить доверительные области для отдельной сессии, если используется более крупная экспертная группа, либо, среднюю вариативность экспертной группы за период в несколько недель или месяцев. Делают ссылку на соответствующий стандарт и включают следующую информацию:

a) цель исследования;

b) полные сведения об образце (образцах);

c) при сравнении двух и более образцов — критерии сравнения и использованную процедуру;

d) использованный тип шкалы восприятия;

e) эталонные вещества и форму их представления;

f) любую другую информацию, выданную экспертам в ходе испытания, например информацию в отношении типа и марки продукции;

g) количество представленных образцов и количество экспертов, отобранных экспертов или оценщиков;

h) условия проведения испытания, включая любые условия, отличающиеся от рекомендованных для настоящего метода;

i) результаты с любой статистической оценкой;

j) дату и время проведения испытания;

k) имя руководителя экспертной группы и контролера испытания.

По согласованию содержание протокола для заказчика может быть менее исчерпывающим.

7.6.2 Результаты выражают в виде графиков и диаграмм, руководствуясь примерами, приведенными в приложении B, а также в ISO 6564. Согласованные профили показывают в виде полукруглых графиков. Другие профили показывают в виде гистограмм или паутинных графиков, а если используется многомерный анализ — в виде диаграмм основных компонентов или традиционных графиков. Доверительные области показывают в виде узких расширений столбиков гистограмм или в виде полос в точках паутинных графиков.

A.1 Применение рандомизированного (полного) блочного плана (RCBD) целесообразно при наличии незначительной вариативности образцов в каждой исследованной продукции, а число образцов достаточно мало, чтобы быть представленными за одну сессию. При применении RCBD подразумевается, что для полного представления целой популяции необходим только один образец каждой продукции. Единственным значимым источником вариативности, который необходимо учитывать, кроме вариативности между продукцией, является вариативность, возникающая из различий между экспертами (т.е. эксперты в этом примере рассматриваются как случайный эффект).

A.2 Восемь образцов колы оценивались восемью подготовленными экспертами. Десять характеристик (R1 — R10) оценивались с помощью числовой шкалы от 0 до 15 для представления воспринимаемой интенсивности характеристик. Результаты представлены в таблице A.1.

Номер наблюдения	Вариант	Эксперт	R1	R2	R3	R4	R5	R6	R7	R8	R9	R10
1	Образец 1	15	3,0	3,0	4,0	7,5	2,0	0,0	5,0	6,0	0,0	0
2	Образец 1	16	4,0	3,0	3,0	8,5	5,5	3,0	7,0	3,0	0,0	3
3	Образец 1	31	3,0	3,0	2,0	8,5	1,5	1,0	10,5	6,0	0,5	2
4	Образец 1	32	2,0	3,0	1,0	12,0	1,0	1,0	1,0	4,0	2,0	0
5	Образец 1	33	3,0	4,0	1,5	7,5	1,5	0,0	7,0	4,5	3,0	2
6	Образец 1	34	3,0	2,0	2,0	10,0	0,0	0,0	6,5	3,0	0,0	0
7	Образец 1	36	4,0	3,0	1,0	10,0	0,0	0,0	8,0	2,0	1,0	0
8	Образец 1	38	3,0	2,0	1,0	12,0	5,0	1,0	5,0	5,0	2,0	0
9	Образец 2	15	3,0	2,0	2,0	7,5	2,0	0,0	4,0	4,0	2,0	0
10	Образец 2	16	5,0	4,0	4,0	9,0	4,0	4,0	6,0	6,0	2,0	4
11	Образец 2	31	4,0	3,5	3,0	10,5	2,0	1,0	9,5	9,5	0,0	2
12	Образец 2	32	2,0	3,0	1,0	10,0	1,0	1,0	1,0	1,0	2,0	0
13	Образец 2	33	2,0	2,5	1,5	10,0	1,5	0,0	4,0	4,0	2,0	4
14	Образец 2	34	3,0	2,0	2,0	8,0	2,5	2,0	4,0	4,0	0,0	3
15	Образец 2	36	4,0	3,0	1,0	10,0	0,0	0,0	8,0	8,0	1,0	0
16	Образец 2	38	2,5	2,0	1,0	11,0	4,0	1,5	4,0	4,0	3,0	0
17	Образец 3	15	2,0	2,0	2,0	7,5	4,0	0,0	4,0	5,0	4,0	0
18	Образец 3	16	4,0	5,0	5,0	10,0	2,5	3,0	4,0	4,0	0,0	4
19	Образец 3	31	4,5	3,5	3,0	10,5	2,0	1,5	8,5	5,0	0,0	3
20	Образец 3	32	2,0	3,0	2,0	10,0	1,0	1,0	1,0	3,0	2,0	0
21	Образец 3	33	1,5	1,5	0,0	11,0	1,0	0,0	4,0	3,0	2,0	4
22	Образец 3	34	2,0	2,0	2,0	7,0	1,5	0,0	3,0	0,0	0,0	0
23	Образец 3	36	4,0	3,0	1,0	10,0	0,0	0,0	8,0	2,0	1,0	0
24	Образец 3	38	2,0	1,5	0,5	10,0	3,0	1,5	2,0	6,0	3,0	0
25	Образец 4	15	0,0	2,0	2,0	7,0	4,0	0,0	4,0	5,0	4,0	0
26	Образец 4	16	5,0	6,0	4,0	11,0	3,0	2,0	3,0	4,0	0,0	4
27	Образец 4	31	4,0	3,5	3,0	10,5	1,5	1,5	8,5	5,0	0,5	3
28	Образец 4	32	3,0	3,0	1,0	10,0	1,0	1,0	1,0	3,0	2,0	0
29	Образец 4	33	2,5	2,5	0,0	12,0	1,0	1,0	4,0	3,0	3,0	4
30	Образец 4	34	2,0	2,0	2,0	7,0	1,0	0,0	2,0	0,0	0,0	0
31	Образец 4	36	4,0	3,5	1,5	9,5	0,0	0,0	7,0	2,0	1,0	0
32	Образец 4	38	2,0	1,5	0,5	8,0	2,0	1,5	1,0	6,0	3,0	0
33	Образец 5	15	2,0	3,0	0,0	8,0	4,0	0,0	5,0	5,0	3,0	0
34	Образец 5	16	3,0	2,0	5,0	11,0	6,0	2,0	4,0	3,0	3,0	0
35	Образец 5	31	4,0	3,0	1,5	13,5	0,5	0,5	9,5	5,5	1,0	1
36	Образец 5	32	2,0	2,0	3,0	10,0	1,0	1,0	1,0	4,0	2,0	0
37	Образец 5	33	5,5	2,0	2,0	9,0	0,0	0,0	4,0	1,0	2,0	0
38	Образец 5	34	1,0	2,0	2,0	9,0	2,0	2,0	5,0	3,0	0,0	0
39	Образец 5	36	3,0	3,0	2,0	7,5	0,0	0,0	8,0	2,0	1,0	0
40	Образец 5	38	2,5	1,5	2,0	14,0	4,0	2,0	3,0	3,0	2,0	1
41	Образец 6	15	2,0	2,0	0,0	8,0	3,0	0,0	4,0	5,0	3,0	0
42	Образец 6	16	2,0	3,0	6,0	10,0	6,5	3,0	4,0	4,0	2,0	0
43	Образец 6	31	5,0	4,0	2,0	11,5	1,0	0,0	8,5	5,5	2,0	2
44	Образец 6	32	2,0	1,0	2,0	10,0	1,0	0,0	0,0	2,0	2,0	0
45	Образец 6	33	4,0	1,0	1,0	7,0	0,0	0,0	4,0	1,0	3,0	0
46	Образец 6	34	0,0	2,0	2,0	10,0	0,0	0,0	4,0	2,0	0,0	0
47	Образец 6	36	4,0	2,5	2,0	7,5	0,0	0,0	8,0	2,0	1,0	0
48	Образец 6	38	2,0	1,5	1,5	12,0	4,0	2,0	2,0	3,0	3,0	2
49	Образец 7	15	2,0	2,0	0,0	8,0	2,0	0,0	3,0	4,0	4,0	0
50	Образец 7	16	4,0	3,0	7,0	9,0	4,0	5,0	2,0	1,0	1,0	0
51	Образец 7	31	5,0	4,0	2,0	11,5	2,0	0,0	6,0	3,5	2,0	2
52	Образец 7	32	2,0	0,0	3,0	10,0	1,0	0,0	0,0	2,0	2,0	1
53	Образец 7	33	3,0	1,0	1,0	7,0	0,0	0,0	3,0	1,0	3,0	0
54	Образец 7	34	1,0	2,0	2,0	9,0	2,0	2,0	3,0	0,0	0,0	0
55	Образец 7	36	4,0	2,5	2,0	9,0	0,0	0,5	8,0	2,0	1,0	0
56	Образец 7	38	2,0	1,5	1,0	10,0	4,0	2,0	2,0	3,5	3,0	3
57	Образец 8	15	2,0	2,0	0,0	8,0	1,0	0,0	2,0	4,0	4,0	0
58	Образец 8	16	5,0	3,0	6,0	7,5	6,0	3,5	0,0	2,0	2,0	0
59	Образец 8	31	5,0	4,5	2,0	11,5	2,0	0,0	5,5	3,5	2,5	3
60	Образец 8	32	2,0	2,0	2,0	10,0	1,0	1,0	1,0	3,0	2,0	1
61	Образец 8	33	2,0	1,0	1,0	8,0	0,0	0,0	2,0	1,0	4,0	0
62	Образец 8	34	1,0	3,0	2,0	10,0	2,0	0,0	3,0	0,0	0,0	0
63	Образец 8	36	4,0	2,5	2,0	9,0	0,0	0,5	5,0	2,0	1,0	0
64	Образец 8	38	1,5	1,5	1,0	9,0	3,0	2,0	1,5	3,5	3,0	3

Физические различия между восемью образцами рассматривались как высоковоспроизводимые на уровне экспертной группы. Следовательно, было принято решение (исключительное) о том, что нет необходимости в повторах образцов. Различия, воспринятые подготовленными экспертами между восемью образцами, будут считаться существующими в любом последующем производстве опытной продукции. Также с помощью внешней системы контроля экспертов было определено, что эксперты были солидарны друг с другом в фиксации воспринятых различий между продукцией. Следовательно, повторные оценки тех же образцов не проводились.

A.3 Двухфакторный анализ ANOVA проводился для каждой характеристики с экспертом в качестве блокирующего фактора и образцами колы в качестве экспериментального фактора или действия. Результаты анализов для характеристик «цитрусовый» и «терпкий» представлены в таблице A.2.

Таблица A.2

Источник	df	Сумма квадратов	Средний квадрат	F	P-значение
Зависимая переменная: R1 цитрусовый
Эксперт	7	61,59
Действие	7	1,96	0,2807	0,36	0,9215
Погрешность	49	38,32	0,7820
Скорректированное общее	63	101,87
Зависимая переменная: R8 терпкий
Эксперт	7	107,05
Действие	7	27,11	3,8728	5,22	0,0002
Погрешность	49	36,33	0,7414
Скорректированное общее	63	170,48

На основании критерия, что для значительного различия необходим \alpha - \text{риск} \leq 5\% , был сделан вывод, что недостаточно подтверждений для констатации воспринимаемых различий между образцами по характеристике «цитрусовый». Тем не менее, было достаточно подтверждений для констатации различия образцов по терпкости. Резюме всех десяти характеристик с комментариями о значительных различиях см. в таблице A.3.

Характеристика	Образец колы N
	Образец 1	Образец 2	Образец 3	Образец 4	Образец 5	Образец 6	Образец 7	Образец 8	P-значение
Цитрусовый	3,1	3,2	2,8	2,8	2,9	2,6	2,9	2,8	0,92
Пряный	2,9	2,8	2,7	3,0	2,3	2,1	2,0	2,4	0,09
Ванильный	1,9	1,9	1,9	1,8	2,2	2,1	2,3	2,0	0,97
Сладкий	9,5	9,5	9,5	9,4	10,3	9,5	9,2	9,1	0,83
Кислый	2,1	2,1	1,9	1,7	2,2	1,9	1,9	1,9	0,97
Горький	0,8	1,2	0,9	0,9	0,9	0,6	1,2	0,9	0,61
Пощипывающий	6,3e	5,1d	4,3cd	3,8bc	4,9d	4,3cd	3,4b	2,5a	< 0,01
Терпкий	4,2d	3,8cd	3,5cd	3,5cd	3,3bc	3,1bc	2,1a	2,4ab	< 0,01
Пересушивающий ротовую полость	1,1	1,5	1,5	1,7	1,8	2,0	2,0	2,3	0,05
Обволакивающий ротовую полость	0,9	1,6	1,4	1,4	0,3	0,5	0,7	0,8	0,23
Примечание — Для характеристик «пощипывающий» и «терпкий» средние значения без соответствующей буквы (a, b, c, d) различаются на уровень значимости \alpha = 0,05 при использовании критерия Фишера.

Приложение B (справочное)

РЕКОМЕНДУЕМЫЕ ГРАФИЧЕСКИЕ И ДИАГРАММНЫЕ МЕТОДЫ ПРЕДСТАВЛЕНИЯ ОРГАНОЛЕПТИЧЕСКИХ ПРОФИЛЕЙ

На рисунках B.1 - B.5 представлены примеры из литературы. Другие типы графического представления могут подходить в равной степени.

Рисунок B.1 — Гистограмма, демонстрирующая профили внешнего вида и запаха, а также текстуры фаршевой продукции из голубого краба. Лист 1

Образец:
Нога	1 — влажное/сухое;	7 — влажность;
	2 — аммиак;	8 — жилистость;
Смешанное	3 — вареный краб;	9 — клейкость;
	4 — гнилостный привкус;	10 — разжевываемость;
Белое	5 — ТМА;	11 — размер частиц
	6 — крупа;
Клешня

Примечание — Типы мяса, отмеченные различными буквами (a, b, c) над столбиком, различаются на уровне значимости \alpha \leq 0,05 (см. [16]).

Рисунок B.1 — Лист 2

1 — травянистый;	10 — дегтевый;
2 — фруктовый;	11 — бумажный;
3 — изюмный;	12 — серный, вареной капусты;
4 — медовый;	13 — ванильный;
5 — черносмородиновый;	14 — мятный, эвкалиптовый;
6 — брусничный;	15 — пряный, клеверный;
7 — хвойный;	16 — сладкий;
8 — скипидарный;	17 — кислый;
9 — камфорный;	18 — горький

---

^a Линия значимости: характеристики, превышающие линию, считаются типичными характеристиками образца.

Примечание — Вертикальные столбцы представляют вариативность (см. [17]).

Рисунок B.2 — Гистограмма, демонстрирующая профили флейвора экстрактов восковника обыкновенного (мирта болотного)

a) Послевкусие: сладкий, виноградный и кислый

b) Послевкусие: закладывающий горло, приторно-сладкий

Sw — сладкий; GC — виноградный концентрированный; Sr — кислый; A — терпкий; MA — метилантранилат; D — сухой; G — желатиновый

Примечание — Характеристика «амплитуда» показана в виде полукруга, другие характеристики — в виде стрелок; рейтинги интенсивности представлены в виде радиуса полукруга в отношении длины стрелок (см. [18]).

Рисунок B.3 — Полукруглые диаграммы, демонстрирующие согласованные профили двух образцов десерта с виноградным флейвором

1 — привкус пастеризованного молока;	7 — жирное послевкусие;
2 — голубоватый цвет;	8 — плотное вкусовое впечатление;
3 — прозрачное;	9 — дынный аромат;
4 — пенистое;	10 — кислый аромат;
5 — визуально плотное;	11 — сладкий вкус;
6 — жирное вкусовое впечатление;	12 — кислый вкус

Примечание — Интенсивность характеристик представлена в виде расстояния от центра; стрелки означают существенные различия на уровне \alpha \leq 0,05 (см. [19]).

Рисунок B.4 — Паутинная диаграмма, демонстрирующая органолептические профили трех типов молока

1 — сила аромата;	6 — диацетиловое;
2 — фруктовое/эфирное;	7 — горькое;
3 — качество хмеля;	8 — экстрактивность;
4 — солодовое/зернистое;	9 — послевкусие
5 — серное/сульфитное;

---

^a Пиво A.

^b Пиво B.

Примечание — Испытано 26 экспертами (n = 26). Средние значения показаны в виде расстояния от центра. Ширина линии представляет наименее существенное отличие от среднего, вычисленное как размах Стьюдента, SR, также называемый критерием Тьюки.

Источник вариации	Степени свободы	Сумма квадратов S	Средний квадрат M	Отношение F	Уровень \alpha
Итого	51	664,32
Между двумя сортами пива	1	64,32	64,32	5,36	< 0,025
Погрешность	50	600,00
SR = Q x (MS/n)0,5 = 2,845 x (12,00/26)0,5 = 1,933, где Q — верхний процентный пункт 5% для двух действий и 50 степеней свободы.

Примечание — См. [20].

Рисунок B.5 — Паутинный график, демонстрирующий профили флейвора двух сортов пива

Приложение ДА (справочное)

СВЕДЕНИЯ О СООТВЕТСТВИИ ССЫЛОЧНЫХ МЕЖГОСУДАРСТВЕННЫХ СТАНДАРТОВ МЕЖДУНАРОДНЫМ СТАНДАРТАМ

Таблица ДА.1

Обозначение ссылочного международного стандарта	Степень соответствия	Обозначение и наименование межгосударственного стандарта
ISO 4121:2003	-	<*>
ISO 5492:2008	IDT	ГОСТ ISO 5492-2014 «Органолептический анализ. Словарь»
ISO 5496:2006	IDT	ГОСТ ISO 5496-2014 «Органолептический анализ. Методология. Обучение испытателей обнаружению и распознаванию запахов»
ISO 6564:1985	-	<*>
ISO 6658:1985	-	<*>
ISO 6658:2005	-	<*>
ISO 8586:2012	IDT	ГОСТ ISO 8586-2015 «Органолептический анализ. Общие руководящие указания по отбору, обучению и контролю за работой отобранных испытателей и экспертов-испытателей»
ISO 8589:2007	IDT	ГОСТ ISO 8589-2014 «Органолептический анализ. Общее руководство по проектированию лабораторных помещений»
ISO 11035:1994	-	<*>
ISO 11036:1994	-	<*>
ISO 11056:1999	-	<*>
<*> Соответствующий межгосударственный стандарт отсутствует. До его принятия рекомендуется использовать официальный перевод на русский язык данного международного стандарта. Примечание — В настоящей таблице использовано следующее условное обозначение степени соответствия стандартов: - IDT — идентичные стандарты.

[1]	Hootman R.C. Manual on descriptive analysis testing for sensory evaluation. ASTM Manual 13, American Society for Testing and Materials, Philadelphia, 1992, 52 pp. (Руководство по испытаниям методом описательного анализа для сенсорной оценки)
[2]	Gacula Jr. M.C. Descriptive sensory analysis in practice. Food & Nutrition Press, Westport, Connecticut, 1997, pp. 712 (Описательный сенсорный анализ на практике)
[3]	Lawless H.T. and Heymann H. Sensory evaluation of food: Principles and practices. Chapman & Hall, New York, 1998, pp. 819 (Сенсорная оценка пищевой продукции: принципы и практики)
[4]	Stone H. and Sidel J.L. Descriptive analysis. In: Sensory Evaluation Practices. 2nd edn., Academic Press, Orlando, Florida, 1992, Chapter 6 (Описательный анализ)
[5]	Meilgaard M.C., Civille G.V. and Carr B.T. Sensory evaluation techniques. 3rd edn., CRC Press, Boca Raton, Florida, 1999, 387 pp. (Методики сенсорной оценки)
[6]	Oreskovich D.C., Klein B.P. and Sutherland J.W. Procrustes analysis and its application to free-choice and other sensory profiling. In: Sensory Science — Theory and Application in Foods. Lawless H.T. and Klein B.P. (Eds.), Marcel Dekker, New York, 1991, pp. 353 — 393 (Прокрустов анализ и его применение к произвольному профилированию и другому сенсорному профилированию)
[7]	ASTM E1909.97 Standard Guide for Time-Intensity Evaluation of Sensory Attributes. American Society for Testing and Materials, West Conshohocken, Pennsylvania, 1997, 14 pp. (Стандартное руководство для оценки интенсивности во времени сенсорных характеристик)
[8]	Flavour profile analysis. In: Standard Methods for the Examination of Water and Wastewater, 17th edn., Supplement, Section 2170. American Water Works Association, Denver 1990 (Анализ профиля флейвора)
[9]	IDF 99C:1997	Sensory evaluation of dairy products by scoring — Reference method (International Dairy Federation) (Сенсорная оценка молочной продукции методом с использованием шкал. Эталонный метод)
[10]	CODEX Alimentarius, Draft Guidelines for the Sensory Evaluation of Fish and Shellfish in Laboratories. Codex Alimentarius Commission, Rome, 1999, 55 pp. (CODEX Alimentarius, Проект руководства по сенсорной оценке рыбы и моллюсков в лабораториях)
[11]	Flavour terminology and reference standards. Analytica-EBC, 5th edn., Method 10.12, Brauerei- und Getränke — Rundschau , CH-8047 Zürich , 1987 (Терминология флейвора и эталонные образцы)
[12]	Noble A.C., Arnold R.A., Buechsenstein J., Leach E.J., Schmidt J.O. and Stern P.M. Modification of a standardized system of wine aroma terminology. J. Amer. Soc. Enol. Viticol., 38, 1987, pp. 143 — 146 (Модификация стандартизованной системы терминологии букета вина)
[13]	Shortreed G.W., Rickards P., Swan J.S. and Burtles S.M. The flavour terminology of Scotch whisky. Brewers Guardian, 108 (11), 1979, pp. 55 — 62 (Терминология флейвора шотландского виски)
[14]	Muñoz A.M. Development and application of texture reference scales. J. Sensory Stud., 1, 1986, pp. 55 — 83 (Разработка и применение метода с использованием эталонных шкал текстуры)
[15]	Macfie H.J., Bratchell N., Greenhoff K. and Vallis L.V. Designs to balance the effect of order of presentation and first-order carryover effects in hall tests. J. Sensory Stud., 4, 1989, pp. 129 — 148 (Планы по уравновешиванию эффекта порядка представления и эффектов переноса первого порядка в групповых маркетинговых исследованиях)
[16]	Gates G.W. and Parker A.H. Characterization of minced meat extracted from blue crab picking plant by-products. J. Food Sci., 57, 1992, pp. 267 — 270 (Характеристика фарша из субпродуктов голубого краба)
[17]	Laamanen M. and Jounela-Eriksson, P. The use of descriptive analysis in the quality control of sweet gale extract. Lebensmittel-Wissenschaft und Technologie, 20, 1987, pp. 86 — 90 (Применение описательного анализа для контроля качества экстракта восковника обыкновенного)
[18]	Sullivan F. Sensory Analysis of Foods. (Piggott, J.R. Ed.) 2nd edn., Elsevier Applied Science, London, 1988, pp. 187 — 266 (Сенсорный анализ пищевой продукции)
[19]	Tuorila H. Sensory profiles of milks with varying fat contents. Lebensmittel-Wissenschaft und Technologie, 19, 1986, pp. 344 — 345 (Сенсорные профили молока с различным содержанием жира)
[20]	Malek D.M., Schmitt D.J. and Munroe J.H. A rapid system for scoring and analyzing sensory data. J. Amer. Soc. of Brewing Chemists, 40, 1982, pp. 133 — 136 (Быстрая система для использования шкал и анализа сенсорных данных)

---