ГОСТ ISO 12099-2017. Межгосударственный стандарт. Корма, зерно и продукты его переработки. Руководство по применению спектрометрии в ближней инфракрасной области
(введен в действие Приказом Росстандарта от 09.11.2017 № 1717-ст)
Примечание
Документ введен в действие с 1 января 2019 года.
Введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 9 ноября 2017 г. № 1717-ст
КОРМА, ЗЕРНО И ПРОДУКТЫ ЕГО ПЕРЕРАБОТКИ
РУКОВОДСТВО ПО ПРИМЕНЕНИЮ СПЕКТРОМЕТРИИ В БЛИЖНЕЙ ИНФРАКРАСНОЙ ОБЛАСТИ
Feed, grain and food processing. Guidelines for the application of near infrared spectrometry
(ISO 12099:2010, Animal feeding stuffs, cereals and milled cereal products — Guidelines for the application of near infrared spectrometry, IDT)
Дата введения 1 января 2019 года
Предисловие
Цели, основные принципы и основной порядок проведения работ по межгосударственной стандартизации установлены в ГОСТ 1.0-2015 «Межгосударственная система стандартизации. Основные положения» и ГОСТ 1.2-2015 «Межгосударственная система стандартизации. Стандарты межгосударственные, правила и рекомендации по международной стандартизации. Правила разработки, принятия, обновления и отмены»
Сведения о стандарте
1 ПОДГОТОВЛЕН Акционерным обществом «Всероссийский научно-исследовательский институт комбикормовой промышленности» (АО «ВНИИКП») на основе официального перевода на русский язык англоязычной версии международного стандарта, указанного в пункте 5, который выполнен ФГУП «Российский научно-технический центр информации по стандартизации, метрологии и оценке соответствия» (ФГУП «СТАНДАРТИНФОРМ»)
2 ВНЕСЕН Межгосударственным техническим комитетом по стандартизации МТК 4 «Комбикорма, белково-витаминные добавки, премиксы»
3 ПРИНЯТ Межгосударственным советом по стандартизации, метрологии и сертификации (протокол от 30 августа 2017 г. № 102-П)
4 Приказом Федерального агентства по техническому регулированию и метрологии от 9 ноября 2017 г. № 1717-ст межгосударственный стандарт ГОСТ ISO 12099-2017 введен в действие в качестве национального стандарта Российской Федерации с 1 января 2019 г.
5 Настоящий стандарт идентичен международному стандарту ISO 12099:2010 «Корма для животных, зерновые и молотые зерновые продукты. Руководство по применению спектрометрии в ближней инфракрасной области спектра» («Animal feeding stuffs, cereals and milled cereal products — Guidelines for the application of near infrared spectrometry», IDT).
Международный стандарт разработан Европейским комитетом по стандартизации (CEN), Техническим комитетом ТС 327 «Корма для животных. Методы отбора проб и анализа» совместно с Техническим комитетом ISO ТС 34 «Пищевые продукты», Подкомитетом SC 10 «Корма для животных».
В настоящем стандарте заменены единицы измерения объема: «литр» на «дециметр кубический», «миллилитр» на «сантиметр кубический», «микролитр» на «миллиметр кубический» — для приведения в соответствие с ГОСТ 1.5-2001 (пункт 4.14.1).
Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ 1.5 (подраздел 3.6) и увязки с наименованиями, принятыми в существующем комплексе межгосударственных стандартов
Информация об изменениях к настоящему стандарту публикуется в ежегодном информационном указателе «Национальные стандарты», а текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячном информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
1. Область применения
Настоящий стандарт распространяется на корма, зерно, продукты его переработки и устанавливает руководящие указания по использованию методов спектроскопии в ближней инфракрасной области.
Определения основаны на спектрометрическом измерении в ближней инфракрасной области.
2. Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями.
2.1 прибор, работающий в ближней инфракрасной области спектра, ИК-анализатор (near infrared instrument, NIR instrument): Прибор, с помощью которого в определенных условиях можно прогнозировать значения показателей (см. 2.3) и характеристики (см. 2.4) в матрице, исходя из степени поглощения в ближней инфракрасной области спектра.
Примечание - В контексте настоящего стандарта матрицами являются корма для животных, зерно и продукты его переработки.
2.2 корма для животных (animal feeding stuff): Любые продукты, включая кормовые добавки, обработанные, частично обработанные или необработанные, предназначенные для кормления животных.
Пример - Кормовое сырье, фураж, кормовая мука, комбикорм и другая комбикормовая продукция, а также корма для непродуктивных животных.
2.3 значение показателя (constituent content): Массовая доля вещества, определенная соответствующим стандартизованным или аттестованным химическим методом.
1 Массовую долю часто выражают в процентах.
2 Примерами определяемых показателей являются влага, жир, протеин, сырая клетчатка, нейтрально-детергентная клетчатка, кислотно-детергентная клетчатка. Примеры методов определения вышеуказанных показателей приведены в [1] - [16].
2.4 характеристика (technological parameter): Свойство или функция матрицы, которые можно определить соответствующим стандартизованным или аттестованным методом(ами).
1 В настоящем стандарте матрицы представляют собой корма для животных, зерно и продукты переработки зерна.
2 Допускается разработка и выполнение валидации ИК-методов в отношении других параметров и матриц, при условии соблюдения процедур настоящего стандарта. Единицы измерения определяемых параметров должны соответствовать единицам, используемым в стандартных (контрольных) методах.
3. Сущность
Сущность метода заключается в регистрации спектра анализируемой пробы в ближней инфракрасной области и расчете параметров матрицы с помощью градуировочных моделей, разработанных на основе репрезентативной выборки соответствующих продуктов.
4. Оборудование
4.1 ИК-анализатор, позволяющий проводить измерения спектров диффузного отражения или пропускания в диапазоне длин волн от 770 до 2500 нм (от 12 900 до 4 000 см-1) или сегментах этого диапазона при выбранных длинах волн или волновых числах. Оптический принцип может быть дисперсионным (например, дифракционные монохроматоры), интерферометрическим или нетепловым (например, светоиспускающие диоды, лазерные диоды и лазеры). Прибор должен быть оснащен диагностической системой для тестирования фотометрического шума и воспроизводимости, точности длины волны или волнового числа и прецизионности длины волны или волнового числа (для сканирующего спектрофотометра).
Анализатор должен измерять пробу достаточно большого объема или площади поверхности, чтобы устранить влияние неоднородности химического состава или физических свойств анализируемой пробы. Длину оптического пути в пробе (толщина слоя пробы) при измерениях пропускания следует оптимизировать согласно рекомендациям изготовителя по отношению к интенсивности сигнала, чтобы получить линейность и максимальное соотношение сигнал/шум. При измерении отражения для устранения высушивания поверхностного слоя пробы необходимо отделить его кварцевым окошком или другим подходящим материалом.
4.2 Устройство для размалывания или измельчения пробы (при необходимости).
Примечание - Изменения условий размалывания или измельчения могут повлиять на ИК-измерения.
5. Градуировка и первоначальная валидация
5.1 Общие положения
Перед использованием прибор градуируют. Ввиду разнообразия градуировочных систем, которые можно применять к ИК-анализаторам, невозможно привести конкретную методику градуировки.
Методы градуировки приводятся в соответствующих инструкциях изготовителя или, например, [17]. Для валидации важно иметь достаточное количество репрезентативных проб, охватывающих такие варианты:
a) различные комбинации и диапазоны параметров, соответствующие максимальному и минимальному значению;
b) сезонные, географические и генетические факторы для кормов, кормового сырья и зерна;
c) различная техника отбора и подготовки пробы;
d) различные условия хранения пробы;
e) различная температура пробы и прибора;
f) различные варианты приборов (различия между приборами).
Примечание - Для надежной валидации требуется не менее 20 проб.
5.2 Стандартные методы
Следует пользоваться принятыми стандартными методами определения влаги, жира, протеина и других параметров. Примеры приведены в [1] - [16].
Стандартный метод, используемый для градуировки, должен находиться в статистически управляемом режиме, т.е. для любой пробы наблюдаемая изменчивость должна включать случайные изменения воспроизводимой системы. Важно учитывать прецизионность стандартного метода.
5.3 Выбросы
В большинстве случаев в процессе градуировки и валидации наблюдаются статистические выбросы. Выбросы могут быть связаны с ИК-измерениями (спектральные выбросы, далее — «x-выбросы») или погрешностями опорных данных (полученных стандартизованными методами), а также с отсутствием взаимосвязи между опорными данными и ИК-измерениями пробы (далее — «y-выбросы») (см. рисунки B.1 - B.5, приложение B).
Пробу (результат) не считают выбросом для валидации, если:
a) параметры находятся в рабочем диапазоне градуировки;
b) параметры находятся в пределах спектральной изменчивости градуировочных проб, например, оцененные по расстоянию Махаланобиса;
c) спектральная разность будет ниже предельного значения, определенного в процессе градуировки;
d) прогнозируемая разность будет ниже предельного значения, определенного в процессе градуировки.
Если результат оказался выбросом, то необходимо проверить, является ли он x-выбросом. Результат следует исключить, если он выходит за пределы для x-выбросов, определенные градуировкой. Если это не x-выброс, тогда следует проверить опорное значение и ИК-прогнозируемое значение. Если проверка подтверждает первоначальные значения, то пробу (результат) не следует исключать: ее следует включить в статистику валидации. Если полученные при проверке значения показывают, что первоначальные опорные значения или ИК-прогнозируемые значения были с погрешностью, то используют новые значения.
5.4 Модели валидации и градуировки
5.4.1 Общие положения
Перед применением градуировочная модель подлежит валидации на независимой анализируемой выборке, которая является репрезентативной для множества подлежащих анализу проб. Для определения систематической погрешности (смещения) требуется не менее 10 проб; для определения стандартной ошибки прогноза (SEP, см. 6.5) требуется не менее 20 проб. Валидация должна выполняться для каждого типа проб, параметра и температуры. Градуировка действительна только для тех вариантов, т.е. типов проб, диапазона и температуры, которые использовались в валидации.
Чтобы получить визуальное впечатление о результативности градуировки, по результатам, полученным на независимой анализируемой выборке, строят график по ИК-измерениям или разностям и соответствующим опорным данным. Рассчитывают стандартную ошибку прогноза SEP (см. 6.5) и на графике, скорректированном с учетом средней систематической ошибки (смещения), определяют выбросы, т.е. пробы (результаты), разность для которых превышает +/- 3sSEP.
Если процесс валидации показывает, что модель не соответствует приемлемой статистике, то эту модель не допускается использовать.
Примечание - Приемлемость модели зависит от таких критериев, как исполнение стандартного метода, охваченного диапазона и цели анализа, а решение принимают участвующие стороны.
На следующем этапе, чтобы получить статистику, которая описывает результаты валидации, выражают зависимость ИК-измерений, yNIR, и опорных данных, yref, в виде линейной регрессии (yref = b·yNIR + a).
5.4.2 Поправка на систематическую погрешность (смещение)
Полученные данные используют для определения систематической погрешности (смещения) между методами. Расхождение между средними ИК-измерениями и опорными данными, значительно отличающееся от нуля, показывает на систематическую погрешность (смещение) градуировки. Систематическую погрешность (смещение) можно устранить путем корректировки константы (см. 6.3) в градуировочном уравнении.
5.4.3 Регулировка наклона
Если коэффициент b значительно отличается от единицы, то градуировка не корректна.
Обычно не рекомендуется регулировка наклона или отсекаемого отрезка при градуировке, если градуировка применяется к использованным типам (не к новым типам) проб или приборов. Если повторное исследование градуировки не выявило выбросов, особенно выбросов с высокой балансировкой, предпочтительно расширить градуировочную выборку, увеличивая количество проб. Однако, если наклон отрегулирован, то следует проверить градуировку на новой независимой анализируемой выборке.
5.4.4 Расширение градуировочной выборки
Если точность градуировки не оправдывает ожидания, то следует расширить градуировочную выборку, увеличивая количество проб, или выполнить новую градуировку. Если выполняют новую градуировку на расширенной выборке, то валидацию повторяют на новой выборке для валидации. Градуировочную выборку увеличивают, пока не будут получены приемлемые результаты на выборке для валидации.
5.5 Изменение условий измерения и работы прибора
В случае изменения условий испытаний локальную валидацию ИК-метода, устанавливающую точность этого метода, не считают достоверной без дополнительной градуировки.
Например, градуировки, проведенные для определенного множества проб, могут оказаться недействительными за границами этого множества, хотя диапазон параметра не изменяется. Градуировка, проведенная на силосе из одного района, может не дать такую же точность на силосе из другого района, если не совпадают параметры генетики, выращивания и переработки.
Изменения в отборе и подготовке пробы или условиях измерений (например, температуры), не учтенные в градуировочной выборке, также могут повлиять на результат.
Градуировки, выполненные на определенном приборе, не всегда можно непосредственно перенести на аналогичный прибор, работающий по тому же принципу. Может потребоваться выполнение регулировки систематической погрешности, наклона или отсекаемого отрезка по градуировочным характеристикам. В большинстве случаев для переноса градуировочных характеристик необходимо стандартизировать приборы друг относительно друга [17]. Можно использовать разные методы корректировки для переноса градуировки между приборами разного типа, при условии, что пробы измеряют одинаковым образом (отражение, пропускание) и область спектра одинаковая.
Если изменились условия, рекомендуется выполнить дополнительную валидацию.
Градуировку рекомендуется проверять всякий раз, когда меняют или ремонтируют основную часть анализатора (оптическую систему, детектор).
6. Статистики для определения рабочих характеристик
6.1 Общие положения
Рабочие характеристики градуировочной модели определяют по выборке проб для валидации. Эта выборка состоит из проб, независимых от градуировочной выборки. На предприятии это новые партии, в сельском хозяйстве — это новый урожай или новое место проведения исследования.
Выборку проб анализируют стандартными методами. Анализу проб для валидации необходимо уделить особое внимание, т.к. прецизионность результатов выборки для валидации важнее, чем для проб, используемых на этапе градуировки.
Для вычисления статистики с определенной достоверностью число проб для валидации должно быть не менее 20.
6.2 Построение графика по результатам
Важно визуализировать результаты в графиках, например, в графике зависимости опорных значений от прогнозируемых или разностей от прогнозируемых значений.
e_{i} = y_{i} - \hat{y}_{i} , (1)
где yi — i-тое опорное значение;
\hat{y}_{i} — i-тое прогнозируемое значение, полученное при использовании многофакторной ИК-модели.
Вычисление разностей дает положительную систематическую погрешность, если прогнозируемые значения слишком высоки, и отрицательную, если прогнозируемые значения слишком низки по сравнению с опорными значениями.
График дает промежуточное впечатление о корреляции, систематической погрешности, наклоне и показывает наличие очевидных выбросов (см. рисунок 1).
1 — линия 45° (идеальная линия с систематической погрешностью \overline{e} = 0 , коэффициентом наклона b = 1); 2 — линия 45°, смещенная систематической погрешностью \overline{e} ; 3 — линия линейной регрессии с отсекаемым отрезком yref a; 4 — выбросы; a — отрезок; \overline{e} — систематическая погрешность; yNIRS — прогнозируемое значение в ближней ИК-области спектра; yref — опорное значение
Примечание - Выбросы имеют сильное влияние на расчет наклона и подлежат исключению, если результаты предполагается использовать для корректировки.
Рисунок 1 — График рассеяния для выборки для валидации, yref = f(a + byNIRS)
6.3 Систематическая погрешность
Для ИК-моделей характерна систематическая погрешность (смещение) или систематическая ошибка. Систематическая погрешность может возникать, если анализируемые пробы являются новым типом проб и не были предусмотрены моделью, а также за счет дрейфа прибора, отклонений в химических методах, изменений в отборе и подготовке проб.
Систематическая погрешность (или смещение) является средней разностью \overline{e} , и ее можно вычислить по формулам
\overline{e} = \frac{1}{n} (\sum_{i = 1}^{n} e_{i}) , (2)
где n — количество независимых проб;
ei — разность, определенная по формуле (1), для i-той пробы;
\overline{e} = \frac{1}{n} (\sum_{i = 1}^{n} y_{i} - \sum_{i = 1}^{n} \hat{y}_{i}) = \overline{y} - \overline{y} , (3)
где n — количество независимых проб;
\hat{y}_{i} — i-тое прогнозируемое значение, полученное при использовании многофакторной ИК-модели;
\overline{y} — среднее из опорных значений;
\overline{y} — среднее из прогнозируемых значений.
Значимость систематической погрешности проверяют с помощью t-критерия. Предельные значения для принятия или отклонения модели на небольшой выборке проб из нового множества определяют на основе доверительных пределов систематической погрешности (BCLs) Tb, вычисленных по формуле
T_{b} = \pm \frac{t_{(1 - \alpha 2)}s_{SEP}}{\sqrt{n}} , (4)
где t — t-критерий Стьюдента для двустороннего отклонения со степенями свободы, связанными с SEP, и выбранной вероятности ошибки первого типа, значения t-критерий Стьюдента приведены в таблице 1;
\alpha — вероятность появления ошибки первого типа;
n — количество независимых проб;
sSEP — стандартная ошибка прогноза (см. 6.5).
Пример - При n = 20 и sSEP = 1 пределы будут равны
T_{b} = \pm \frac{2,09 \cdot 1}{\sqrt{20}} = \pm 0,48 (5)
Это означает, что систематическая погрешность, полученная на 20 пробах, не должна быть выше 48% от стандартной ошибки прогноза, которая должна считаться отличной от нуля.
Значения t-распределения с вероятностью \alpha = 0,05 (5%)
| n | t |
| 5 | 2,57 |
| 6 | 2,45 |
| 7 | 2,36 |
| 8 | 2,31 |
| 9 | 2,26 |
| 10 | 2,23 |
| 11 | 2,20 |
| 12 | 2,18 |
| 13 | 2,16 |
| 14 | 2,14 |
| 15 | 2,13 |
| 16 | 2,12 |
| 17 | 2,11 |
| 18 | 2,10 |
| 19 | 2,09 |
| 20 | 2,09 |
| 30 | 2,04 |
| 40 | 2,02 |
| 50 | 2,01 |
| 75 | 1,99 |
| 100 | 1,98 |
| 200 | 1,97 |
| 500 | 1,96 |
| 1000 | 1,96 |
| Примечание — Допускается использовать функцию Excel <1> TINV | |
<1> Excel — торговое наименование продукта, поставляемого компанией Microsoft. Эта информация дается для удобства пользователей данного стандарта и не указывает на предпочтение в отношении этого продукта. Можно использовать равноценные продукты при условии получения аналогичных результатов.
6.4 Среднеквадратическая ошибка прогноза (RMSEP)
Среднеквадратическую ошибку прогноза sRMSEP (см. C.3.6, приложение C) вычисляют по формуле
s_{RMSEP} = \sqrt{\frac{\sum_{i = 1}^{n} e_{i}^{2}}{n}} , (6)
где ei — разность, определенная по формуле (1), для i-той пробы;
n — количество независимых проб.
Это значение можно сравнить со стандартной ошибкой градуировки SEC (см. C.3.3, приложение C) и со стандартной ошибкой перекрестной проверки SECV (см. C.3.4, приложение C).
RMSEP включает случайную ошибку (SEP) и систематическую погрешность (смещение). Она также включает погрешность стандартных методов (SEC и SECV, см. приложение C).
s_{RMSEP} = \sqrt{\frac{(n - 1)}{n} \cdot s_{SEP}^{2} + \overline{e^{2}}} , (7)
где n — количество независимых проб;
sSEP — стандартная ошибка прогноза (см. 6.5);
\overline{e} — смещение или систематическая ошибка.
Не существует прямого определения RMSEP. По этой причине выделяют систематическую ошибку, смещение или \overline{e} , и случайную ошибку, SEP или sSEP.
6.5 Стандартная ошибка прогноза (SEP)
Стандартную ошибку прогноза sSEP, или стандартное отклонение разностей, которая выражает точность результатов, полученных ИК-методом, скорректированных по средней разности (смещению) между результатами, полученными ИК-методом и стандартным методом, вычисляют по формуле
s_{SEP} = \sqrt{\frac{\sum_{i = 1}^{n} (e_{i} - \overline{e})^{2}}{n - 1}} , (8)
где n — количество независимых проб;
ei — разность, определенная по формуле (1), i-той пробы;
\overline{e} — систематическая ошибка или смещение.
Ошибку SEP следует сопоставить с SEC (см. C.3.3, приложение C) или SECV (см. C.3.4, приложение C) для проверки надежности градуировочной модели для выбранной выборки для валидации.
Доверительные пределы необъяснимой ошибки (UECLs) TUE, рассчитывают из F-критерия (отношение двух дисперсий) (см. [19] и таблицу 2)
T_{UE} = s_{SEC} \sqrt{F_{(\alpha:\nu,M)}} , (9)
где sSEC — стандартная ошибка градуировки (см. C.3.3, приложение C);
\alpha — вероятность появления ошибки первого типа;
v = n — 1 - числитель степеней свободы, связанных с SEP анализируемой выборки, в которой n — число проб в процессе валидации;
M = nc — p - 1 — знаменатель степеней свободы, связанных с SEC (стандартной ошибкой градуировки), в котором nc — количество проб для градуировки; p — количество членов или факторов PLS в модели.
1 SEC можно заменить на SECV, которая статистически лучше, чем SEC, поскольку зачастую SEC слишком оптимистична, sSECV > sSEC.
Пример - При n = 250, \alpha = 0,05 , М = 100 и sSEC = 1, ТUE = 1,30 (10)
Это означает, что для 20 проб SEP может быть принята, т.к. примерно на 30% больше, чем SEC.
2 Допускается использовать функцию Excel <1> FINV.
<1> Excel — торговое наименование продукта, поставляемого компанией Microsoft. Эта информация дается для удобства пользователей данного стандарта и не указывает на предпочтение в отношении этого продукта. Можно использовать равноценные продукты, при условии получения аналогичных результатов.
F-критерий нельзя использовать для сравнения двух градуировок на одной и той же выборке для валидации. Необходимо использовать, две независимые выборки. Для сравнения двух и более моделей на одной и той же выборке данных применяют другой критерий.
F-значения и корни квадратные из F-значений как функция степеней свободы числителя, связанного с SEP, и знаменателя, связанного с SEC
6.6 Наклон
В публикациях по спектроскопии часто указывают значение b коэффициента простой регрессии y = a + b\hat{y} .
Необходимо отметить, что с опорными значениями коэффициент b должен вычисляться как зависимая переменная, а с прогнозируемыми ИК-значениями как независимая переменная, если вычисленный наклон будет использоваться для регулировки ИК-результатов (как в случае обратной многофакторной регрессии, используемой для построения модели прогноза).
Наклон рассчитывают методом наименьших квадратов:
b = \frac{s_{\hat{y}y}}{s_{\hat{y}}^{2}} , (11)
где s_{\hat{y}y} — ковариация между опорными и прогнозируемыми значениями;
s_{\hat{y}}^{2} — дисперсия n прогнозируемых значений.
Отсекаемый отрезок рассчитывают по формуле
a = \overline{y} - b\overline{y} , (12)
где \overline{y} — среднеарифметическое значение опорных значений;
\overline{y} — среднеарифметическое значение прогнозируемых значений.
Что касается систематической погрешности, то t-критерий можно рассчитать для проверки гипотезы, что b = 1
t_{obs} = |b - 1| \sqrt{\frac{s_{\hat{y}}^{2}(n - 1)}{s_{res}^{2}}} , (13)
где n — количество независимых проб;
s_{\hat{y}}^{2} — дисперсия n прогнозируемых значений;
sres — стандартное отклонение разности, вычисленное по формуле (14).
Стандартное отклонение разности sres вычисляют по формуле
s_{res} = \sqrt{\frac{\sum_{i = 1}^{n} (y_{i} - a - b\hat{y}_{i})^{2}}{n - 2}} , (14)
где yi — i-тое опорное значение;
a — отсекаемый отрезок, вычисленный по формуле (12);
b — коэффициент наклона, вычисленный по формуле (11);
\hat{y}_{i} — i-тое прогнозируемое значение, полученное при использовании многофакторной ИК-модели;
n — количество независимых проб.
(RSD подобна SEP, когда прогнозируемые значения скорректированы на коэффициент наклона и отсекаемый отрезок. Не следует путать смещение и отсекаемый отрезок — см. рисунок 1). Смещение равно отсекаемому отрезку только в том случае, когда коэффициент наклона точно равен единице.
Коэффициент наклона b считается отличным от 1, если t_{obs} \geq t_{(1 - \alpha 2)} ,
где tobs — наблюдаемое t-значение, вычисленное по формуле (13);
t_{(1 - \alpha 2)} — t-значение, полученное из таблицы 1 для вероятности \alpha = 0,05 (5%).
Слишком узкий диапазон градуировки или неравномерное распределение ведет к неприемлемой коррекции наклона, даже когда SEP достоверна. Наклон можно корректировать, только если выборка для валидации охватывает большую часть диапазона градуировки.
Пример — Для n = 20 проб со стандартным отклонением разности [см. формула (14)] равным 1, стандартным отклонением прогнозируемых значений s_{\hat{y}} = 2 и рассчитанным коэффициентом наклона b = 1,2, наблюдаемое значение tobs равно 1,7, тогда коэффициент наклона незначительно отличается от 1, поскольку t-значение (см. таблицу 1) для n = 20 проб равно 2,09. Если коэффициент наклона составляет 1,3, то значение tobs равно 2,6, и тогда коэффициент наклона значительно отличается от 1.
7. Отбор проб
Отбор проб не является частью метода, установленного в данном стандарте. Рекомендованные методы отбора проб приведены в [5] и [16].
Важно, чтобы лаборатория получила действительно репрезентативную пробу, которая не претерпела изменений и повреждений в процессе транспортирования и хранения.
8. Проведение анализа
8.1 Подготовка пробы для анализа
Все лабораторные пробы обычно хранят в условиях, которые поддерживают состав пробы неизменным с момента отбора до момента начала анализа.
Пробы для испытаний рекомендуется готовить так же, как пробы для валидации. Требуется применять стандартные условия.
Пробу следует отбирать таким образом, чтобы получить репрезентативную пробу анализируемого материала.
В отношении конкретных процедур используют конкретные стандарты по методам спектрометрии в ближней ИК-области.
8.2 Измерение
Измерение проводят в соответствии с инструкциями изготовителя ИК-анализатора.
Подготовленную пробу доводят до температуры в пределах диапазона, установленного для валидации.
8.3 Оценка результата
Чтобы результаты испытаний были достоверными, они должны попадать в диапазон градуировки используемой модели.
Результаты, полученные на пробах, выявленных как спектральные выбросы, нельзя считать достоверными.
9. Проверка стабильности прибора
9.1 Контрольная проба
Для проверки стабильности ИК-анализатора и выявления неполадок рекомендуется измерять не менее одной контрольной пробы в день. Знание истинного значения параметра в контрольной пробе необязательно. Материал пробы должен быть устойчивым и, по мере возможности, быть аналогичным анализируемым пробам. Измеряемый(е) параметр(ы) должен быть стабильным и, по мере возможности, идентичным или, по крайней мере, биохимически подобным анализируемому в пробе. Пробу готовят по 8.1 и хранят таким образом, чтобы срок хранения был максимальным. Такие пробы должны быть стабильны в течение длительного времени, однако их стабильность необходимо проверять. Чтобы обеспечить непрерывный контроль, при замене контрольные пробы должны частично совпадать по времени хранения.
Зарегистрированные ежедневные изменения рекомендуется наносить на график в контрольных таблицах и исследовать на значимые причины вариаций и отклонений.
9.2 Диагностика прибора
Для сканирующих спектрофотометров длина волны или волновое число (см. 4.1), точность и прецизионность следует проверять не реже раза в неделю или чаще, если это рекомендовано изготовителем прибора, а результаты проверки сопоставлять с техническими требованиями (см. 4.1).
Аналогично проверку прибора на шум необходимо проводить еженедельно или через интервалы, рекомендованные изготовителем прибора.
9.3 Приборы в сети
Если приборы используются в сети, особое внимание следует уделить стандартизации приборов согласно рекомендациям изготовителя.
10. Проведение проверки качества градуировки
10.1 Общие положения
Следует проверять приемлемость градуировки для измерения отдельных проб. Можно применять критерии выбросов, использованные при проведении градуировки и валидации, например, расстояние Махаланобиса и спектральные разности. В большинстве приборов это производится автоматически.
Если проба не прошла испытание, т.е. эта проба не входит в множество проб, использованных для градуировки и/или валидации, она не может быть проанализирована градуировочной моделью, без изменения этой модели. Таким образом, для решения, какие пробы следует выбирать для стандартного анализа и включать в актуализованную градуировочную модель, можно использовать критерии выбросов.
Если градуировочная модель подходит для измеряемой пробы, спектр оценивают согласно подтвержденной градуировочной модели.
ИК-методы постоянно подлежат валидации стандартными методами для обеспечения стабильного оптимального качества градуировок и соблюдения точности. Частота проверок ИК-метода должна быть достаточной для обеспечения работы метода в условиях стабильного контроля в отношении систематических и случайных отклонений от стандартного метода. Эта частота зависит в том числе от количества проб, анализируемых в течение дня, и скорости изменения обследуемой совокупности.
Валидацию рекомендуется выполнять на пробах, выбранных случайно из совокупности анализируемых проб. Может потребоваться разработка определенной стратегии отбора проб для обеспечения распределения сбалансированной выборки по всему градуировочному диапазону, например сегментация диапазона концентраций и случайный отбор проб для анализа в каждом сегменте, или чтобы обеспечить охват пробами коммерчески значимого диапазона.
Количество проб для проведения валидации должно быть достаточным для статистики, используемой для проверки результативности. Для надежной валидации требуется не менее 20 проб (для ожидания нормального распределения дисперсии). Для первоначальной валидации можно использовать результаты независимой выборки для валидации. Далее вполне достаточно анализировать 5 — 10 проб еженедельно, чтобы должным образом контролировать приемлемость. При использовании меньшего количества проб сложно принять правильное решение в том случае, если один из результатов выпадет из контрольных пределов.
10.2 Контрольные карты с использованием разности между опорными значениями и ИК-результатами
Результаты следует оценивать с помощью контрольных карт, на которых построены графики: по оси абсцисс откладывают номера анализируемых проб, а по оси ординат — разность между результатами, полученными стандартным и ИК-методом. Пределы +/- 2sSEP (вероятность 95%) и +/- 3sSEP (вероятность 99,8%) можно использовать как предупредительные границы и пределы действия, где SEP получена на выборке, независимой от градуировочных проб.
Если анализ выполняется в градуировочных или поверочных лабораториях, то только одна точка из 20 должна оказаться на графике вне предупредительных границ и две точки из 1 000 точек — вне пределов действия.
Контрольные карты следует проверять на сдвиги систематической погрешности от нуля, систематические причины вариаций, и избыточную изменчивость результатов. При оценке можно использовать общие правила, применяемые для контрольных карт Шухарта (см. [7]). Однако одновременное применение слишком большого количества правил может привести к слишком частым ложным тревогам.
При выявлении проблем оказались полезными следующие правила, используемые в сочетании:
a) одна точка выпала за верхний или нижний предел действия;
b) две из трех точек подряд выпали за предупредительную границу;
c) девять точек подряд находятся по одну сторону от нулевой линии.
Чтобы подтвердить правильность оценки можно применять дополнительные контрольные карты с другими графиками текущего контроля (например, средняя разность между результатами ИК- и стандартного методов, см. [8]), а также дополнительные правила.
При оценке результатов следует помнить, что SEP и измеренные разности между NIR-результатами и опорными значениями также включают погрешность опорных результатов. Этой погрешностью можно пренебречь, если она составляет менее одной трети SEP (см. [19]).
Для снижения риска ложных тревог рекомендуется анализировать контрольные пробы независимо (в разных сериях) с помощью спектрометрии в ближней ИК-области и стандартных методов, чтобы избежать, например, влияния каждодневных систематических расхождений в стандартных анализах.
Если предупредительные границы превышаются часто, а контрольная карта показывает только случайные флуктуации (в противовес отклонениям или систематической погрешности), то, возможно, контрольные пределы основаны на слишком оптимистичном значении SEP. Попытка загнать результаты в эти пределы посредством частого приведения градуировки в соответствие не улучшит ситуацию на практике. Вместо этого следует переоценить SEP, используя самые последние результаты.
Если после периода стабильности градуировочные модели начинают выходить из зоны контроля, градуировку следует актуализировать. Прежде чем выполнять актуализацию, следует осуществить оценку причин изменения: за счет изменений в стандартных анализах, непреднамеренных изменений в условиях измерений (например, в результате смены оператора), дрейфа или неисправности прибора и т.д. В некоторых случаях может оказаться достаточным простое приведение в соответствие коэффициентов в градуировочном уравнении (пример показан на рисунке B.6). В других случаях может потребоваться провести полную процедуру повторной градуировки, когда всю или часть основной градуировочной выборки расширяют за счет включения проб текущей валидации, и, возможно, дополнительных проб, выбранных специально для этой цели (например, как показано на рисунке B.7).
Учитывая, что стандартные анализы выполняются под статистическим контролем, и условия измерения и характеристики прибора остаются неизменными, значимые систематические погрешности или увеличенные значения SEP можно получить за счет изменений в химических, биологических или физических свойствах проб по сравнению с основной градуировочной выборкой.
Можно использовать другие контрольные карты, например, z-показатели.
11. Прецизионность и точность
11.1 Повторяемость (сходимость)
Расхождение между двумя отдельными результатами испытания, полученными одним и тем же методом на идентичном материале в одной и той же лаборатории одним и тем же оператором, использовавшим одно и то же оборудование, в течение короткого промежутка времени, не должно превышать более чем в 5% случаев предела повторяемости, который зависит от материала пробы, измеряемого параметра, диапазонов изменчивости пробы и измеряемого параметра, метода представления пробы, типа прибора и использованной стратегии градуировки. Повторяемость необходимо определять в каждом случае.
11.2 Воспроизводимость
Расхождение между двумя отдельными результатами испытания, полученными на идентичном материале в разных лабораториях разными операторами в разное время, не должно превышать более чем в 5% случаев предела воспроизводимости, который зависит от материала пробы, измеряемого параметра, диапазонов изменчивости пробы и измеряемого параметра, метода представления пробы, типа прибора и использованной стратегии градуировки. Воспроизводимость необходимо определять в каждом случае.
11.3 Точность
Точность, которая включает неопределенность систематического отклонения от истинного значения на отдельной пробе (правильность) и неопределенность случайного изменения (прецизионность), зависит в том числе от материала пробы, анализируемого параметра, диапазонов изменчивости пробы и измеряемого параметра, метода представления пробы, типа прибора и использованной стратегии градуировки. Точность следует определять в каждом случае. Значения SEP и RMSEP также включают неопределенность стандартных результатов, которые могут изменяться от случая к случаю.
12. Протокол испытания
Протокол испытания должен включать следующую информацию:
a) всю информацию, необходимую для полной идентификации пробы;
b) использованный метод, со ссылкой на данный стандарт;
c) все детали работы, не установленные в данном стандарте или считающиеся необязательными, а также описание всех случаев, которые могли повлиять на результаты испытания;
d) полученный(е) результат(ы) испытания;
e) текущую SEP и систематическую погрешность (если является статистически значимой), оцененные не менее чем на 20 пробах в ходе проверки рабочих характеристик градуировочной модели (см. 10).
РУКОВОДСТВО ПО КОНКРЕТНЫМ СТАНДАРТАМ NIR
Для определения конкретных параметров кормов для животных, зерна и продуктов его переработки разрабатывают конкретные стандарты с конкретными моделями градуировок для спектрометрии в ближней ИК-области.
Такие стандарты должны давать конкретную информацию касательно:
a) используемых типов проб и параметров, определяемых в ближней ИК-области спектра, модели(ей) градуировки, указывая их в наименовании и области применения;
b) модели градуировки, предпочтительно в табличной форме, включая номера проб, диапазон, sSEP выборки для валидации и RSQ для каждого параметра (примеры приведены в таблицах A.1 и A.2);
c) стандартных методов, использованных для валидации;
d) принципа спектроскопии (например, NIR, NIT) и принципа градуировки (например, PLS, ANN);
e) процедур(ы), включающей подготовку проб(ы) для анализа, измерение и контроль качества;
f) показателей прецизионности, определенных в межлабораторном исследовании по [22].
| Показатель | Модель | Число проб, n | Точность, sSEP | Минимальное содержание, % | Максимальное содержание, % | RSQ (см. C.3.9, приложение C) |
|---|---|---|---|---|---|---|
| Жир | ANN | 183 | 0,50 | 2,8 | 12,9 | 0,94 |
| Влага | ANN | 183 | 0,47 | 9,2 | 12,3 | 0,83 |
| Протеин | ANN | 179 | 0,72 | 11,0 | 29,1 | 0,96 |
| Клетчатка | ANN | 123 | 1,11 | 0,5 | 18,0 | 0,90 |
| Крахмал | PLS | 113 | 1,80 | 7,8 | 50,2 | 0,92 |
1 — +/- 3s пределы, где s стандартное отклонение; 2 — линия 45°, идеальная линия с наклоном b = 1 и смещением; \overline{e} = 0 ; 3 — линия регрессии; yref — опорное значение; yNIRS — прогнозируемое значение в ближней ИК-области спектра
Рисунок B.1 — График рассеяния для выборки без выбросов
Определение сырого протеина в зерне на кормовые цели: результаты, полученные на независимой выборке (95 проб), используя выведенную формулу градуировки: стандартная ошибка прогноза sSEP = 4,02; среднеквадратичная ошибка прогноза sRMSEP = 6,05; наклон b = 1,04.
1 — серия 1, демонстрирующая спектральный выброс; 2 — серия 2, 3 — серия 3; 4 — серия 4; 5 — серия 5; 6 — серия 6; y — оптическая плотность; \lambda — длина волны
Рисунок B.2 — Спектр поглощения с x-выбросом
Рисунок B.3 — График определения параметра с x-выбросом
1 — выброс; yref — опорное значение; yNIRS — прогнозируемое значение в ближней ИК-области спектра
Рисунок B.4 — График рассеяния с y-выбросом
График опорных значений против прогнозируемых значений (или наоборот) показывает одну пробу, которая значительно отклоняется от других. Если причина такого отклонения не связана с ИК-данными (x-выброс), то эта проба будет y-выбросом ввиду ошибочных данных, полученных стандартными методами, или в связи с отсутствием взаимосвязей между опорными данными и спектральными данными.
1 — +/- 3s пределы; 2 — линия 45°; 3 — линия регрессии; 4 — выброс; yref — опорное значение; yNIRS — прогнозируемое значение в ближней ИК-области спектра
Рисунок B.5 — Пример определения ADF в зерне на кормовые цели с y-выбросом
1 — верхняя граница действия (UAL, +3sSEP); 2 — верхняя предупредительная граница (UWL, +2sSEP); 3 — нижняя граница предупредительная (LWL, -2sSEP); 4 — нижняя граница действия (LAL, -3sSEP); n — номер измерения; yref — опорное значение; yNIRS — прогнозируемое значение в ближней ИК-области спектра
Рисунок B.6 — Контрольная карта для определения содержания жира в зерне, %
1 — верхняя граница действия (UAL, +3sSEP); 2 — верхняя предупредительная граница (UWL, +2sSEP); 3 — нижняя граница предупредительная (LWL, -2sSEP); 4 — нижняя граница действия (LAL, -3sSEP); n — номер измерения; yref — опорное значение; yNIRS — прогнозируемое значение в ближней ИК-области спектра
Рисунок B.7 — Контрольная карта для определения параметра в матрице (диапазон от 44% до 57%)
Повторная градуировка была выполнена в точке 35.
При рассмотрение первых 34 точек одна точка выявлена за границей UAL. Это указывает на серьезную проблему. Две точки (22 и 23) из трех выпали за UWL. Две отдельные точки также выпали за LWL. Разброс равномерный вокруг нулевой линии (соблюдается правило девяти точек), но пять из 34 точек выпали из 95%-ного доверительного интервала (UWL, LWL), а одна из 34 точек выпала из 99,9%-ного доверительного интервала (UAL, LAL). Это значительно превышает ожидание.
Одной из причин для такой картины могло быть то, что значение SEP, лежащее в основе расчетов пределов, является слишком оптимистичным. Это означает, что пределы необходимо расширить. Другой причиной могло быть то, что фактические пробы отличаются от градуировочных проб. Чтобы проверить эту возможность, выборка для градуировки была расширена и включила контрольные пробы, была проведена новая градуировка. Эффективность этой градуировки оказалась очевидно лучше, как показано контрольными пробами с 35 по 62.
ДОПОЛНИТЕЛЬНЫЕ ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ
C.1.1 стандартный (контрольный) метод (reference method): Проверенный метод анализа, признанный экспертами на международном уровне или принятый по согласованию сторон.
1 Стандартный (контрольный) метод дает «истинное значение» или «приписанное значение» измеряемой величины.
2 Взято из ISO 8196-1/IDF 128-1:2009 [23], 3.1.2.
C.1.2 непрямой (косвенный) метод (indirect method): Метод, с помощью которого измеряют свойства, функционально связанные с параметром, который необходимо определить, и который связан с «истинным» значением, определенным стандартным методом.
C.1.3 спектроскопия в ближней инфракрасной области (ИК-спектроскопия) (near infrared spectroscopy; NIRS): Измерение интенсивности поглощения ближнего инфракрасного света пробой в пределах диапазона длин волн от 770 до 2 500 нм (от 12 900 до 4 000 см-1).
Примечание - ИК-анализаторы используют или всю область в целом, или отдельные диапазоны этой области (например, от 400 до 2 500 нм). Методы многофакторной градуировки используются для того, чтобы соотнести комбинацию значений поглощающей способности либо с составом, либо с определенным свойством проб.
C.1.4 отражательная способность в ближней ИК-области спектра (near infrared reflectance; NIR): тип ИК-спектроскопии, основанный на измерении поглощения света ближней ИК-области, диффузно-отраженного от поверхности пробы и попавшего на детектор, расположенный перед пробой.
C.1.5 пропускающая способность в ближней ИК-области спектра (near infrared transmittance; NIT): Тип ИК-спектроскопии, основанный на измерение поглощения света ближней ИК-области, прошедшего через пробу и попавшего на детектор, расположенный за пробой.
C.1.6 сеть ИК-анализаторов (NIRS network): Ряд ИК-анализаторов, работающих по одинаковым моделям градуировки, которые обычно стандартизуют таким образом, чтобы свести к минимуму разности в прогнозируемых значениях для выборки стандартных проб.
C.1.7 стандартизация прибора (standardization of an instrument): Процесс, посредством которого группу ИК-анализаторов отлаживают таким образом, чтобы они прогнозировали одинаковые значения при работе по одной и той же градуировочной модели на одной и той же пробе.
Примечание - Можно использовать ряд методов, которые должны в широком смысле определяться либо как методы «пред-прогноза», в которых спектры проб регулируют таким образом, чтобы свести к минимуму разности между откликом «ведущего» прибора и каждого прибора в группе, и методы «пост-прогноза», в которых используется линейная регрессия для регулирования прогнозируемых значений, полученных на каждом приборе, чтобы сблизить их, по возможности, со значениями, полученными на «ведущем» анализаторе.
C.1.8 z-показатель (z-score): Критерий эффективности, вычисленный путем деления разности (между прогнозируемым результатом в ближней ИК-области спектра и истинным или приписанным значением) на целевое значение стандартного отклонения [обычно стандартного отклонения для оценки эффективности (опытности персонала)].
Примечание - Это стандартизованный критерий лабораторной систематической погрешности, рассчитанный по приписанному значению и стандартному отклонению для оценки эффективности.
C.2.1 анализ основных компонентов (principal component analysis; PCA): Форма обработки данных, которая для выборки работает только с x (спектральными) данными и находит основные компоненты (факторы) по правилу, в котором каждый основной компонент (PC = principal component) выражает максимальное изменение в данных в любой момент и не коррелирует с любым другим PC.
Примечание - Первоначальный PC выражает, по возможности, изменчивость исходных данных. Его значение затем вычитают из x-данных, и новый выведенный PC снова максимально выражает изменчивость оставшихся данных. Можно вывести столько PC, сколько имеется элементов данных в спектре или проб в выборке, но главные эффекты в спектрах, как можно показать, сосредоточены в нескольких первых PC и поэтому количество данных, которые необходимо рассмотреть, заметно сокращается.
PCA дает два новых набора переменных на каждом этапе: PC-метки представляют отклик каждой пробы на каждый PC; PC-загрузки представляют относительную важность каждого элемента данных в исходных спектрах для PC.
PCA широко используется, например, в интерпретации спектров, особенно в идентификации спектральных выбросов.
C.2.2 регрессия основных компонентов (principal component regression PCR): техника, которая использует метки на каждом основном компоненте в качестве независимых переменных в множественной линейной регрессии против y-значений, представляющих состав проб.
Примечание - Поскольку каждый PC ортогонален каждому другому PC, метки образуют некоррелируемый набор данных с лучшими свойствами, чем исходные спектры. Пока возможно выбрать комбинацию PC для регрессии на основе того, насколько хорошо каждый PC коррелирует с рассматриваемым компонентом, большинство коммерческих программ заставляет регрессию использовать все PC вплоть до самого высокого PC, выбранного для модели («нисходящий принцип»).
При использовании в NIRS, коэффициенты регрессии в пространстве PC обычно конвертируют обратно в модель прогнозирования, используя все элементы данных в пространстве длин волн.
C.2.3 регрессия методом дробных наименьших квадратов (partial least squares regression; PLS): Форма обработки данных, которая использует правило вывода факторов, состоящее в разрешении каждого фактора по очереди, чтобы максимизировать ковариацию между y-данными и всеми возможными линейными комбинациями x-данных
Примечание - PLS — это баланс между дисперсией и корреляцией, причем на каждый фактор воздействуют оба эффекта. Факторы PLS поэтому в большей степени связаны напрямую с изменчивостью y-значений, чем основные компоненты. PLS дает три новых переменных, вводимые веса (которые не ортогональны друг другу), загрузки и метки, которые одинаково ортогональны.
Модели PLS получают посредством регрессии меток PLS против y-значений. Аналогично PCR, при использовании в NIRS, коэффициенты регрессии в пространстве PLS обычно конвертируются обратно в модель прогнозирования, используя все элементы данных в пространстве длин волн.
C.2.4 множественная линейная регрессия (multiple linear regression; MLR): Техника применения комбинации нескольких переменных x для прогнозирования одной переменной y.
Примечание - В NIRS, x-значения — это либо значения оптической плотности при выбранных длинах волн в ближней ИК-области, либо производные переменные, например, метки PCA или PLS.
C.2.5 искусственная нервная сеть (система) (artificial neural network; ANN): Техника нелинейного моделирования, основанная в общих чертах на архитектуре биологических нервных систем.
Примечание - Эту сеть сначала «обучают» посредством предоставления набора данных с несколькими x-значениями (спектральные или производные переменные, например, отметки PCA) и опорными y-значениями. В процессе обучения архитектура сети может быть модифицирована, и нейронам присвоены весовые коэффициенты для вводов и выводов, чтобы получить максимально надежные прогнозы значений параметров.
Нервные сети требуют большого количества данных при обучении.
C.2.6 многомерная модель (multivariate model): Любая модель, в которой некоторое количество x-значений используются для прогнозирования одной или нескольких y-переменных.
C.2.7 выброс (outlier): Член набора значений, который не согласуется с другими членами этого набора.
[ISO 5725-1:1994 [21], 3.21]
Примечание - Для данных NIRS выбросами являются точки в любом наборе данных, в отношении которых можно статистически показать, что их значения лежат далеко в стороне от ожидаемого. Выбросы обычно классифицируют либо как x-(спектральные) выбросы, либо как y-(опорные данные) выбросы.
C.2.8 x-выброс (x-outlier): Выброс, связанный с ближней ИК-областью спектра (NIR).
Примечание - x-выброс может появиться из спектра, полученного в результате неисправностей прибора или в зависимости от типа пробы, которая радикально отличается от других проб, или в прогнозе от типа пробы, не включенного в исходный градуировочный набор.
C.2.9 y-выброс (y-outlier): Выброс, связанный с погрешностью в исходных данных, например, ошибка в транскрипции или в значении, полученном метрологической лабораторией.
C.2.10 балансировка (leverage): Индикатор, указывающий на то, как далеко находится какая-либо проба от центра пространства множества, определенного моделью.
Примечание - Пробы с высокой балансировкой имеют большое влияние на модель. Балансировку рассчитывают посредством измерения расстояния между спроецированной точкой и центром модели.
C.2.11 расстояние Махаланобиса (Mahalanobis distance) глобальное h-значение (global h-value): Расстояние в пространстве PC между элементом данных и центром пространства PC.
1 Расстояние Махаланобиса является нелинейным измерением. В пространстве PC набор проб обычно образует распределение в форме кривой. Эллипсоид, который наилучшим образом представляет вероятностное распределение набора, можно оценить посредством построения матрицы ковариаций проб.
Расстояние Махаланобиса — это просто расстояние точки измерения от центра массы, деленное на ширину эллипсоида в направлении этой точки измерения.
2 В некоторых программах расстояние Махаланобиса называют «глобальным h-значением», а выявление выброса зависит от того, на сколько стандартных отклонений h находится проба от центра.
C.2.12 окрестность h (neighbourhood h): Расстояние в пространстве основного компонента между элементом данных и ее n ближайшими соседями, которое показывает, является ли проба изолированной или она расположена в густо-населенной части распределения.
C.2.13 разность (residual): Разность между наблюдаемым значением результирующей (зависимой) переменной и соответствующим спрогнозированным значением этой переменной.
[ISO 3534-3:1999 [20], 1.21]
Примечание - Для данных NIRS разность представляет собой разность между опорным значением и значением, предсказанным регрессионной моделью. Разности используют для расчета регрессионных статистик.
C.2.14 спектральная разность (spectral residual): Разность после хемометрической обработки (например, PCA, PLS) спектра, возникший из спектрального изменения, не описанного данной моделью.
C.2.15 анализируемая выборка (test set): При испытании регрессионной модели, любой набор проб, который исключает те пробы, которые использовались при проведении градуировки.
C.2.16 независимая анализируемая выборка (independent test set): Выборка, которая включает пробы из другого географического региона, нового промышленного объекта или отобранные в более позднее время (например, из другого урожая), по сравнению с теми, которые использовались для создания и валидации регрессионной модели.
Примечание - Эти пробы образуют «истинный» критерий модели прогноза.
C.2.17 выборка для валидации (validation set): Пробы, используемые для валидации или «подтверждения» градуировки.
Примечание - Выборка для валидации обычно включает пробы, имеющие одинаковые характеристики с пробами, отобранными для градуировки. Зачастую альтернативные или n-ные пробы (расположенные в порядке рассматриваемых компонентов) помещают по очереди в выборку для градуировки и выборку для валидации из одной и той же совокупности проб.
C.2.18 выборка для мониторинга (monitoring set): Набор проб, который используется для повседневного контроля градуировочных моделей.
C.2.19 перекрестная проверка (с исключением) (cross-validation): Метод получения статистик прогноза; там, где систематически исключают подвыборку проб из градуировочного множества, рассчитывают модель на остающихся пробах и разностях, вычисленных на подвыборке для валидации; после неоднократного повторения этого процесса рассчитывают статистики прогноза по всем разностям.
Примечание - При полной перекрестной проверке исключают по одной пробе каждый раз, и процесс повторяют n раз (там где имеется n градуировочных проб). Там где исключают большее количество проб, цикл перекрестной проверки обычно повторяют не менее восьми раз, прежде чем статистики будут рассчитаны. В конечном итоге рассчитывают модель, используя все градуировочные пробы.
ВНИМАНИЕ! — В использовании перекрестной проверки с исключением имеются свои недостатки. Во-первых, статистики перекрестной проверки имеют тенденцию к оптимистичности при сопоставлении со статистиками для независимой выборки. Во-вторых, если имеется дублирование в градуировочных данных (например, одна и та же проба сканируется на нескольких приборах или в разное время), необходимо всегда относить все копии одной и той же пробы к одному и тому же сегменту перекрестной проверки, в противном случае получатся очень оптимистичные статистики.
C.2.20 чрезмерно близкая подгонка (overfitting): Добавление избыточного количества членов регрессии в множественную линейную регрессию.
Примечание - Результат чрезмерно близкой подгонки, когда прогнозируются пробы не в градуировочной выборке, заключается в том, что такие статистики как RMSEP или SEP будут заметно хуже, чем ожидается.
C.2.21 метка (score), график меток (score plot): График, в котором метка на одном основном компоненте (PC) или коэффициент дробных наименьших квадратов (PLS) наносятся против другого коэффициента PC или PLS.
Примечание - Метки наиболее полезны, если проба ID или значения концентрации используются для идентификации каждой точки на графике. Тогда будут видны группы среди данных, которые неочевидны среди необработанных данных.
См. также раздел 6.
C.3.1 систематическая погрешность, смещение (bias; \overline{e} ): Разность между средним опорным значением, \overline{y} и средним значением, спрогнозированным ИК-моделью, \overline{y} ).
C.3.2 доверительный предел смещения (bias confidence limit; BCL Tb): Граница, выше которой смещение значительно отличается от нуля на заданном доверительном уровне.
Примечание — См. 6.3.
C.3.3 стандартная ошибка градуировки (standard error of calibration; SEC, sSEC): Выражение средней разности между прогнозируемым и опорным значениями для проб, используемых для построения для градуировочной модели.
Примечание — Что касается определений C.3.4 - C.3.7, в данной статистике, такое выражение средней разности относится к корню квадратному из суммы квадратов значений разностей, деленному на число значений, скорректированных по степеням свободы, где 68% ошибок будут ниже этого значения.
C.3.4 стандартная ошибка перекрестной проверки (с исключением) (standard error of cross-validation; SECV, sSECV): Выражение средней разности между прогнозируемым и опорным значениями для подвыборки проб градуировочной модели, выбранных как прогнозируемые пробы в процессе перекрестной проверки (см. C.2.19)
C.3.5 стандартная ошибка прогноза (standard error of prediction) стандартная ошибка прогноза с поправкой на смещение (standard error of prediction corrected for the bias; SEP, SEP(C), sSEP): Выражение средней разности между прогнозируемым и опорным значениями, прогнозируемой регрессионной моделью, применительно к набору проб, не включенных в построение этой модели.
Примечание - SEP охватывает доверительный интервал 68% (умноженный на 1,96 интервал 95%).
C.3.6 среднеквадратическая ошибка прогноза (root mean square error of prediction; RMSEP sRMSEP): Выражение средней разности между опорными значениями и значениями, прогнозируемыми регрессионной моделью, применительно к набору проб, не включенных в построение этой модели.
Примечание - RMSEP включает любую систематическую погрешность в прогнозах.
C.3.7 среднеквадратическая ошибка перекрестной проверки (root mean square error of cross-validation; RMSECV, sRMSECV): Выражение средней разности между прогнозируемым и опорным значениями для подвыборки проб, выбранных в качестве проб для прогноза в процессе перекрестной проверки (см. C.2.19).
Примечание - RMSECV включает любую систематическую погрешность в прогнозах.
C.3.8 доверительный предел необъяснимой ошибки (unexplained error confidence limit; UECL, TUE): Предел, который SEP валидации должна расширить, чтобы значительно отличаться от стандартной ошибки градуировки в заданном доверительном интервале.
C.3.9 RSQ r_{xy}^{2} : Квадрат коэффициента множественной корреляции между прогнозируемыми и опорными значениями.
Примечание - При выражении в процентах он представляет долю изменчивости, объясняемую регрессионной моделью.
C.3.10 наклон (линия регрессии) (slope; b): Представление увеличения величины y с увеличением x.
C.3.11 отсекаемый отрезок (линия регрессии) (intercept): Значение y при x равном нулю.
C.3.12 стандартное отклонение разности (residual standard deviation; sres): Выражение средней величины разности между опорным и подобранным значениями после выполнения коррекции наклона и отсекаемого отрезка
C.3.13 ковариация (covariance; s_{\hat{y}y} ): Мера совместного изменения двух случайных переменных.
Примечание - Если для множества проб увеличение x находится в соответствии с увеличением y, тогда ковариация между этими двумя переменными будет положительной. Если увеличение x сопровождается соответствующим уменьшением y, тогда ковариация будет отрицательной. Если значения не коррелируют, то ковариация равна нулю.
Библиография
| [1] | ISO 712, Cereals and cereal products — Determination of moisture content — Reference method (Зерно и зерновые продукты. Определение содержания влаги. Стандартный контрольный метод) |
|---|---|
| [2] | ISO 5983-2, Animal feeding stuffs — Determination of nitrogen content and calculation of crude protein content — Part 2: Block digestion and steam distillation method (Корма для животных. Определение содержания азота и расчет содержания сырого протеина. Часть 2. Метод с использованием блока для озоления и перегонки с водяным паром) |
| [3] | ISO 6492, Animal feeding stuffs — Determination of fat content (Корма для животных. Определение содержания жира) |
| [4] | ISO 6496, Animal feeding stuffs — Determination of moisture and other volatile matter content (Корма для животных. Определение содержания влаги и летучих веществ) |
| [5] | ISO 6497, Animal feeding stuffs — Sampling (Корма для животных. Отбор проб) |
| [6] | ISO 6865, Animal feeding stuffs — Determination of crude fibre content — Method with intermediate filtration (Корма для животных. Определение содержания сырой клетчатки. Метод с применением промежуточной фильтрации) |
| [7] | ISO 8258, Shewart control charts (Карты контрольные Шухарта) |
| [8] | ISO 9622 <1>, Whole milk — Determination of milkfat, protein and lactose content — Guidance on the operation of mid-infrared instruments (Молоко цельное. Определение содержания молочного жира, белка и лактозы. Руководство по эксплуатации измерительных приборов на основе поглощения средней части инфракрасного излучения) |
| [9] | ISO 11085, Cereals, cereals-based products and animal feeding stuffs — Determination of crude fat and total fat content by the Randall extraction method (Зерновые, зерновые изделия и корма для животных. Определение содержания сырого и общего жира методом экстракции по Рэндаллу) |
| [10] | ISO 13906, Animal feeding stuffs — Determination of acid detergent fibre (ADF) and acid detergent lignin (ADL) contents (Корма для животных. Определение содержания кислотно-детергентной клетчатки (ADF и кислотно-детергентного лигнина (ADL)) |
| [11] | ISO 16472, Animal feeding stuffs — Determination of amylase-treated neutral detergent fibre content (aNDF) (Корма для животных. Определение содержания волокнистых остатков нейтрального детергента, обработанного амилазой (aNDF)) |
| [12] | ISO 16634-1, Food products — Determination of the total nitrogen content by combustion according to the Dumas principle and calculation of the crude protein content — Part 1: Oilseeds and animal feeding stuffs (Продукты пищевые. Определение общего содержания азота путем сжигания согласно принципу Дюма и расчет содержания сырого белка. Часть 1. Масличные культуры и корма для животных) |
| [13] | ISO/TS 16634-2, Food products — Determination of the total nitrogen content by combustion according to the Dumas principle and calculation of the crude protein content — Part 2: Cereals, pulses and milled cereal products (Продукты пищевые. Определение общего содержания азота путем сжигания согласно принципу Дюма и расчет содержания сырого белка. Часть 2. Зерно, бобовые и молотые зерновые продукты) |
| [14] | ISO 20483, Cereals and pulses — Determination of the nitrogen content and calculation of the crude protein content — Kjeldahl method (Зерновые и бобовые. Определение содержания азота и вычисление содержания сырого протеина. Метод Кьельдаля) |
| [15] | ISO 21543/IDF 201, Milk products — Guidelines for the application of near infrared spectrometry (Продукты молочные. Руководящие указания по применению спектрометрии ближней ИК-области спектра) |
| [16] | ISO 24333, Cereals and cereal products — Sampling (Зерновые и зерновые продукты. Отбор проб) |
| [17] | NÆS , T., ISAKSSON, T., FEARN, T., DAVIES, T. A user-friendly guide to multivariate calibration and classification. Chichester: NIR Publications, 2002. 344 p. |
| [18] | SHENK, J.S., WESTERHAUS, M.O., ABRAMS, S.M. Protocol for NIRS calibration: Monitoring analysis results and recalibration. In: Marten, G.C., Shenk, J.S., Barton, F.E., editors. Near infrared reflectance spectroscopy (NIRS): Analysis of forage quality, pp. 104 — 110. Washington, DC: US Government Printing Office, 1989. (USDA ARS Handbook 643.) |
| [19] | SØRENSEN , L.K. Use of routine analytical methods for controlling compliance of milk and milk products with compositional requirements. IDF Bull. 2004, (390), pp. 42 — 49 |
| [20] | ISO 3534-3:1999, Statistics — Vocabulary and symbols — Part 3: Design of experiments (Статистика. Словарь и условные обозначения. Часть 3. Планирование экспериментов) |
| [21] | ISO 5725-1:1994, Accuracy (trueness and precision) of measurement methods and results — Part 1: General principles and definitions. (Точность (правильность и прецизионность) методов и результатов измерения. Часть 1. Общие принципы и определения) |
| [22] | ISO 5725-2, Accuracy (trueness and precision) of measurement methods and results — Part 2: Basic method for the determination of repeatability and reproducibility of a standard measurement method. (Точность (правильность и прецизионность) методов и результатов измерения. Часть 2. Основной метод определения повторяемости и воспроизводимости стандартного метода измерения) |
| [23] | ISO 8196-1/IDF 128-1:2009, Milk — Definition and evaluation of the overall accuracy of alternative methods of milk analysis — Part 1: Analytical attributes of alternative methods (Молоко. Определение и оценка общей точности альтернативных методов анализа молока. Часть 1. Аналитические признаки альтернативных методов) |
<1> Технически эквивалентен IDF 141.