РД 52.18.885-2019. Руководящий документ. Определение значений региональных фоновых концентраций органических загрязняющих веществ в почвах
(введен в действие Приказом Росгидромета от 30.12.2019 № 844)
Примечание
Документ введен в действие с 01.11.2020.
Утвержден Руководителем Росгидромета 6 декабря 2019 года
Введен в действие Приказом Росгидромета от 30 декабря 2019 г. № 844
ОПРЕДЕЛЕНИЕ ЗНАЧЕНИЙ РЕГИОНАЛЬНЫХ ФОНОВЫХ КОНЦЕНТРАЦИЙ ОРГАНИЧЕСКИХ ЗАГРЯЗНЯЮЩИХ ВЕЩЕСТВ В ПОЧВАХ
Дата введения 1 ноября 2020 года
Предисловие
1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением «Научно-производственное объединение „Тайфун“ (ФГБУ „НПО „Тайфун“)»
2 РАЗРАБОТЧИКИ В.Е. Попов, канд. с.-х. наук; Н.Н. Лукьянова, канд. хим. наук; М.А. Запевалов, канд. хим. наук
3 СОГЛАСОВАН с Управлением мониторинга состояния и загрязнения окружающей среды (УМСЗ) Росгидромета 05.12.2019
4 УТВЕРЖДЕН Руководителем Росгидромета 06.12.2019
ВВЕДЕН В ДЕЙСТВИЕ приказом Росгидромета от 30.12.2019 № 844
5 ЗАРЕГИСТРИРОВАН головной организацией по стандартизации Росгидромета ФГБУ «НПО „Тайфун“ 13.12.2019»
ОБОЗНАЧЕНИЕ РУКОВОДЯЩЕГО ДОКУМЕНТА
7 СРОК ПЕРВОЙ ПРОВЕРКИ 2025 год
1. Область применения
1.1 Настоящий руководящий документ устанавливает принципы и методы определения статистических характеристик региональной фоновой концентрации (далее — РФК) органического загрязняющего вещества (далее — ОЗВ): полиароматических углеводородов (далее — ПАУ), нефтяных углеводородов (далее — НУВ) и фенола в почвах региона <*>.
<*> Помимо административной области или района предлагаемый алгоритм расчета РФК по согласованию с разработчиками руководящего документа может быть использован и для других территорий со строго очерченными границами.
1.2 Для получения достоверных статистических характеристик РФК ОЗВ настоящий руководящий документ дает указания по стратегии выбора фоновых пробных площадок, количеству отбираемых проб почвы, статистической обработке данных измерений.
1.3 Настоящий руководящий документ предназначен для организаций Росгидромета, в том числе оперативно-производственных подразделений, осуществляющих мониторинг почвенного покрова Российской Федерации.
2. Нормативные ссылки
В настоящем руководящем документе использованы ссылки на следующие нормативные документы:
ГОСТ 17.4.4.02-2017 Почвы. Методы отбора и подготовки проб для химического, бактериологического, гельминтологического анализа
ГОСТ Р ИСО 5479-2002 Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения
ГОСТ Р 50779.29-2017 Статистические методы. Статистическое представление данных. Часть 6. Определение статистических толерантных интервалов
ГОСТ Р 50779.10-2000 (ИСО 3534-1-93) Статистические методы. Вероятность и основа статистики. Термины и определения
ISO 11259:1998 Качество почвы. Упрощенное описание почвы (ISO 11259:1998, IDT)
Примечание - При пользовании настоящим руководящим документом целесообразно проверять действие стандартов — в информационной системе общего пользования — на официальном сайте федерального органа исполнительной власти в сфере стандартизации в сети Интернет или по ежегодно издаваемому информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячно издаваемого информационного указателя «Национальные стандарты» за текущий год.
Если ссылочный документ заменен (изменен), то при пользовании настоящим руководящим документом следует руководствоваться замененным (измененным) нормативным документом. Если ссылочный нормативный документ отменен без замены, то положение, в котором дана ссылка на него, применяется в части, не затрагивающей эту ссылку.
3. Термины и определения
В настоящем руководящем документе применены следующие термины с соответствующими определениями:
3.1 вклад диффузного источника: Вклад ОЗВ, выделяемого перемещающимися источниками, источниками с большой площадью или многочисленными источниками.
3.2 выборка: Часть генеральной совокупности элементов, отобранных для изучения, с целью получения информации о ней.
3.3 выброс: Концентрация химиката, которая является резко выделяющейся по величине по отношению к остальному массиву данных.
3.4 генеральная совокупность: Совокупность всех объектов (единиц), относительно которых предполагается делать выводы при изучении конкретной задачи.
3.5 доверительный интервал: Интервальная оценка параметра распределения с известной вероятностью включения в интервал значений.
Примечание - Например, оценка доверительного интервала 95% среднего значения совокупности представляет собой интервал, который будет содержать истинное значение среднего в 95% всех выборок, которые могут быть выбраны с заданной схемой выборки.
3.7 концептуальная модель: Описание ожидаемого источника поступления загрязняющих веществ и его влияния на окружающую среду, включая пространственную область воздействия, пути поступления, миграцию, трансформацию и сток.
3.8 органическое загрязняющее вещество; ОЗВ: Органическое вещество, которое при превышении некоторой пороговой концентрации (установленного для него норматива) может оказывать негативное воздействие на окружающую среду.
3.9 показатели РФК: Показатели статистически достоверных точечных и интервальных оценок РФК, рассчитанные на основе данных измерений содержания ОЗВ в пробах почвы фоновых территорий, отобранных случайным образом.
3.10 предел обнаружения: Минимальное содержание определяемого ОЗВ в пробе почвы, сигнал от которого можно надежно отличить от шумового сигнала прибора.
Примечание - Обычно предел обнаружения принимают равным утроенному значению стандартного отклонения шумового сигнала.
3.11 простая случайная выборка: Метод выборки, где образцы собираются в случайные моменты времени или местоположения в течение периода выборки или области исследования.
3.12 регион: Территория со строго очерченными границами (административная область или административный район).
3.13 региональная фоновая концентрация; РФК: Истинная средняя концентрация ОЗВ в почвах фоновой части территории региона.
3.14 систематический отбор: Метод определения местоположения выборок, в которых места расположения выборок расположены в узлах геометрической сетки (например, квадрат, прямоугольник, треугольник, шестиугольник).
3.15 случайная величина: Набор наблюдаемых значений переменной.
3.16 статистическая характеристика: Цифровой показатель, вычисленный из случайной величины выбранного параметра совокупности.
| 3.17 толерантная граница: Граница толерантного интервала. [ГОСТ Р 50779.29-2017, пункт 3.1.2] 3.18 толерантный интервал: Интервал, для которого можно утверждать с данным уровнем доверия, что он содержит, по крайней мере, заданную долю определенной совокупности. [ГОСТ Р 50779.10-2000, пункт 2.61] |
|---|
3.19 фоновая территория: Территория региона за исключением территории, подверженной непосредственному воздействию локальных источников ОЗВ, территорий транспортной инфраструктуры и промышленного зонирования.
3.20 экспертная оценка: Использование накопленных научно-технических знаний, опыта работы и знания современных научных исследований для оценки значений регионального фона.
4. Сокращения
В настоящем руководящем документе введены и применены следующие сокращения:
- ВДГ — верхняя доверительная граница среднего арифметического;
- ВДГ(М) — верхняя доверительная граница медианы;
- МКД — межквартильный диапазон (разница между 25 и 75 персентилями выборки);
- НУВ — общее содержание нефтяных углеводородов;
- ОДК — ориентировочная допустимая концентрация;
- ОЗВ — органическое загрязняющее вещество;
- ПАУ — полиароматические углеводороды;
- ПДК — предельно допустимая концентрация;
- РФК — региональная фоновая концентрация;
- BaPeq — бензапиреновый эквивалент;
- JB — статистический критерий Харке-Бера;
- SF — статистический критерий Шапиро-Франчия;
- SW — статистический критерий Шапиро-Уилкса;
- W/s — критерий отношения диапазона к стандартному отклонению.
5. Основные положения
5.1 Фоновое содержание ОЗВ в почве может быть обусловлено природными причинами (разложением растительных остатков и гумуса, синтезом микробной биомассы) и антропогенными причинами за счет диффузного загрязнения. Диффузное загрязнение почв возникает в результате рассеяния ОЗВ из крупных точечных источников (например, путем рассеяния переносимых воздухом на большие и малые расстояния выбросов промышленных предприятий и переноса загрязняющих отходов паводком), ОЗВ из менее мощных, но имеющих повсеместное распространение источников (транспортных средств, бытовых отопительных систем, малых предприятий по сжиганию отходов и т.д.), а также осуществления загрязняющих видов деятельности, связанных с землепользованием (например, в результате разноса загрязняющих отходов или операций опрыскивания в сельском хозяйстве). Содержание ОЗВ в почве можно разделить на природную и антропогенную фракции. Отношение этих фракций меняется в широких пределах в зависимости от типа органического вещества, типа почвы и типа землепользования, а также от вида и степени внешнего загрязнения. Содержание стойких ОЗВ, например ПАУ с пятью и более кольцами, в почве чаще всего обусловлено антропогенными источниками. Поэтому фоновое содержание таких ОЗВ в основном обусловлено типом и размером диффузного загрязнения из отдаленных источников.
5.2 Показатели РФК ОЗВ, рассчитанные в соответствии с настоящим РД, могут быть использованы для:
а) определения текущего содержания ОЗВ в почвах региона;
б) оценки динамики РФК ОЗВ с течением времени;
в) оценки степени загрязнения почвы по сравнению с предельно допустимыми концентрациями (ПДК), или ориентировочно допустимыми концентрациями (ОДК);
г) оценки степени загрязнения почв (кратности величины РФК) при отсутствии ПДК и ОДК;
д) расчета риска для человека, вызванного присутствием ОЗВ в почве;
е) идентификации участков территории с повышенным фоновым содержанием из-за особенностей почвенного покрова и рельефа местности;
ж) определения суммарного индекса загрязнения почвы.
5.3 Значения РФК представляют собой статистические характеристики математической обработки выборки из статистической совокупности (где выборка — это массив результатов измерений концентрации ОЗВ в пробах почвы (например, проб массой 1 кг), отобранных на фоновых пробных площадках в пределах территории данного региона, а генеральная совокупность — это масса всего верхнего слоя почвы изучаемого региона).
Математическая статистическая обработка проводится для:
а) отбора данных соответствующих фоновому содержанию в почве (то есть проверка на выпадающие значения (выбросы));
б) характеристики центральности данных и степени их разброса.
Набор статистических характеристик зависит от вида распределения полученных данных:
а) для нормального распределения данных:
-
статистически обоснованная верхняя доверительная граница (ВДГ) среднего арифметического РФК \overline{C} . Значение \overline{C} РФК считается статистически обоснованным, если оно определено с доверительной вероятностью P = 0,95. В настоящем руководящем документе рассчитывается величина 95% ВДГ;
б) для логнормального распределения данных:
-
верхняя доверительная граница средней величины РФК \overline{C} считается статистически обоснованной, если она определена с доверительной вероятностью P = 0,95. В настоящем руководящем документе рассчитывается величина 95% ВДГ;
в) для непараметрического распределения данных:
-
статистически обоснованная верхняя доверительная граница медианы РФК \overline{M} . Значение верхней границы \overline{M} РФК считается статистически обоснованным, если оно определено с доверительной вероятностью P = 0,95. В настоящем руководящем документе рассчитывается величина 95% ВДГ медианы (95% ВДГ(М)).
5.4 Использование статистических характеристик РФК зависит от конкретной задачи (оценка динамики РФК, оценка загрязнения почвы в результате деятельности локального источника, конкретного ОЗВ).
5.5 Список ОЗВ, для которых требуется рассчитать показатели РФК, определяется организацией в каждом конкретном случае.
5.6 Для расчета используют массив данных химического анализа проб почвы, количество которых достаточно для вычисления статистически обоснованных характеристик РФК.
5.7 Отбор и анализ проб почвы на территории данного региона проводится в соответствии с ГОСТ 17.4.4.02.
5.8 Для контроля динамики диффузного загрязнения окружающей среды региона расчет параметров РФК должен проводиться периодически не реже одного раза в 5 лет.
5.9 Расчетные показатели РФК ОЗВ действительны в течение пяти лет со дня выдачи официального ответа на запрос, после чего подлежат пересмотру. В случае значительного изменения уровней загрязнения в результате ввода или реконструкции крупных предприятий, являющихся источниками диффузного загрязнения ОЗВ на территории региона, показатели РФК независимо от сроков их установления могут быть скорректированы по просьбе субъектов, действующих на территории региона.
Рассчитываемая средняя концентрация РФК (в статистических терминах среднее арифметическое статистической выборки) является только отражением средней величины реальной концентрации ОЗВ (в статистических терминах, генеральной совокупности). При повторном случайном отборе проб почвы эта средняя концентрация ОЗВ будет другой. Поэтому в настоящем руководящем документе за РФК принимают интервал, в который будет попадать средняя РФК при доверительной вероятности 95%. То есть при проведении на данной территории 100 обследований (экспедиций) 95% средних величин РФК будут находиться в некотором интервале от средней величины, рассчитываемой по результатам единственной экспедиции. Таким образом, РФК характеризуется интервалом от нижней границы 95% доверительного интервала среднего арифметического РФК до верхнего 95% доверительного интервала среднего арифметического РФК. Вместе с тем для принятия решений о кратности загрязнения почвы ОЗВ фоновому уровню наиболее часто используемым значением РФК будет являться величина среднего арифметического.
В некоторых случаях для расчета фоновой концентрации ОЗВ в незагрязненных почвах могут использоваться статистически достоверные корреляционные зависимости РФК от содержания органического углерода или содержания глинистых частиц в почве.
6. Основные требования к расчету РФК ОЗВ
6.1 Оценку статистических характеристик РФК ОЗВ проводят по данным выборки. Основными статистическими характеристиками РФК являются математическое ожидание, медиана, среднее квадратическое отклонение или коэффициент вариации истинной средней концентрации ОЗВ в почве. Для оценки статистических характеристик РФК ОЗВ в настоящем руководящем документе используются графические методы и формальные статистические критерии. Графические методы позволяют просматривать данные и улучшить их понимание. Формальные статистические критерии обеспечивают статистическую достоверность оценочным показателям РФК ОЗВ.
6.2 Экспертная оценка является неотъемлемой частью методологии определения РФК ОЗВ. Экспертную оценку проводят при оценке полноты выборки, выборе соответствующего статистического критерия и формулировки заключений об уровне РФК на основе статистического анализа. Экспертная оценка должна быть обоснована, содержать ссылки на действующую нормативную документацию и сопровождаться вспомогательной информацией, на основе которой она была основана.
7. Общие вопросы методологии определения РФК ОЗВ в почвах
7.1 Определение РФК ОЗВ охватывает вопросы сбора предварительной информации о фоновых уровнях ОЗВ и вопросы экспериментального определения РФК. Экспериментальное определение РФК включает отбор проб почвы (стратегию и процедуру), химический анализ (предварительную обработку, извлечение и измерение), статистическую обработку и представление данных. Перед началом работ по определению РФК ОЗВ необходимо провести:
а) выбор анализируемых веществ и почвенных параметров (например, сумма ПАУ в почве, содержание бенз(а)пирена или индивидуального ПАУ, содержание в почве органического углерода и/или глинистых частиц);
б) описание территории исследования с четким обозначением ее границ;
в) определение отрезка времени, в течение которого отбирают образцы почвы и периода времени, в течение которого используют полученные показатели РФК.
7.2 РФК определяют для ОЗВ из перечня приоритетных загрязнителей, приведенных в приложении А. С практической точки зрения главный интерес представляют наиболее стойкие и малоподвижные соединения по причине их значительной сорбционной способности и накопления в почве, в то время как их испарение, биодеградация и миграция незначительны.
Кроме концентрации индивидуального загрязнителя для характеристики общего загрязнения ПАУ используют сумму ПАУ (\Sigma\text{ПАУ}) или оценку на основе бензапиренового эквивалента. Для такой оценки используют коэффициенты эквивалентной токсичности BaPeq для наиболее канцерогенных ПАУ, приведенные в приложении Б.
В отобранных пробах почвы также определяют почвенные параметры, наиболее важные с точки зрения миграции и трансформации этих ОЗВ:
а) тип почвы в соответствии с классификацией 1977 года [1];
в) содержание органического углерода;
7.2 РФК определяют для территории региона:
а) территории административной области;
б) территории административного района;
в) другой территории с заданными размерами (по согласованию с разработчиками настоящего руководящего документа).
Примечание - При использовании значений РФК ОЗВ включается название региона. Например, показатели РФК ОЗВ для Калужской области, показатели РФК ОЗВ для муниципального образования «город Обнинск» и т.п.
Обследуемая территория может быть очерчена в соответствии с двумя принципами:
а) географический принцип (на карте очерчивается контур территории обследования по координатам, в пределах которых она находится);
б) принцип стратификации (на карте очерчивается контур территории, и эта территория стратифицируется по типу почвы, типу землепользования или высоты над уровнем моря).
Фоновыми территориями считаются территории, которые могут быть загрязнены за счет диффузных источников загрязнения (глобальных и региональных), за исключением случаев очевидного воздействия локальных источников. Поэтому на карте региона выделяют территории потенциального локального загрязнения и далее эти территории не учитывают при разработке плана отбора проб почвы. При определении РФК не учитывают следующие территории:
а) территория, удаленная на 500 м в обе стороны от дорог с грунтовым или асфальтовым покрытием с числом полос движения не менее 2;
б) территория, эквивалентная трем размерам защитных санитарных зон;
в) при наличии на предприятии трубы, выбрасывающей загрязнители, территория на расстоянии радиусом 40 высот трубы от места расположения трубы;
г) в городах не рассматриваются территории, помеченные на карте границ территориальных зон города как территории, относящиеся к производственно-коммунальным зонам и зонам инженерной и транспортной инфраструктуры.
7.3 При определении времени отбора проб почвы для определения РФК ОЗВ учитывают период, в течение которого РФК может значительно измениться под воздействием человеческой деятельности. Интервал между определениями РФК должен быть основан на:
а) предполагаемой скорости обогащения почвы ОЗВ за счет диффузных источников;
б) предполагаемой скорости потери ОЗВ из почвы за счет вертикальной миграции, биодеградации, испарения и поглощения растениями;
в) величине ошибки определения концентрации ОЗВ при химическом анализе и допустимой статистической погрешности определения средней концентрации РФК.
7.4 Показатели РФК могут быть определены на основании:
а) оценки существующих данных (из различных литературных источников);
б) сбора новых данных на основании соответствующей стратегии экспериментального определения РФК.
8. Оценка и отбор существующих данных для определения РФК ОЗВ
8.1 При использовании существующих данных особое внимание необходимо обращать на качество и сравнимость данных, особенно если данные собраны из разных источников. Соответствующая стратегия гармонизации должна охватывать такие вопросы, как
а) проверка полноты набора данных на основании принимаемых минимальных требований;
б) оценка совместимости различных методов отбора проб почвы и методов химического анализа;
в) идентификация и удаление из набора данных, резко выделяющихся наблюдений (выбросов).
В отобранных данных должна содержаться информация:
б) об использованном принципе выбора месторасположения пробной площадки (метод случайного отбора, метод отбора в узлах сетки и т.д.);
в) о месторасположении пробной площадки (координаты);
г) о глубине отбора пробы почвы;
д) о методе отбора проб почвы;
е) о пробной площадке (типе почвы, типе землепользования);
Эта информация может быть использована для отбора литературных данных с точки зрения их пригодности для определения РФК ОЗВ.
8.2 В каждом индивидуальном случае должны оцениваться сопоставимость методик предварительной обработки проб почвы и аналитические методы (степень извлечения, точность измерений).
8.3 РФК в почвах включает некоторую концентрацию ОЗВ за счет диффузного загрязнения. При этом исключаются места, загрязнение которых обусловлено локальными источниками. Поэтому из литературного набора данных необходимо удалить данные, явно связанные с местами локального загрязнения. Для этого применяют как географические, так и статистические методы идентификации выбросов. Способы исключения выбросов приведены в подразделе 11.9.
9. Сбор новых данных для определения РФК ОЗВ
9.1 Если в результате работы с литературными источниками для определения статистически достоверного уровня РФК ОЗВ данных не хватает, то необходимо проводить отбор проб почвы в фоновых районах данного региона. Содержание ОЗВ в почве состоит из природной компоненты и компоненты, обусловленной диффузным антропогенным загрязнением. Природное содержание ОЗВ во многом зависит от типа почвы, в том числе от содержания органического углерода и глинистых частиц. Тип землепользования и расстояние до источников загрязнения также влияют на фоновое содержание ОЗВ в почве. Отбор проб почвы для характеристики фона должен учитывать динамический характер загрязнения почвы ОЗВ.
Хорошо разработанный план отбора проб почвы играет критически важную роль при обеспечении необходимого количества данных для достоверного определения значений РФК. С помощью соответствующего плана решается вопрос о репрезентативности значений РФК ОЗВ (степени статистической достоверности, с которой значения характеризуют РФК и степень ее изменчивости). План по отбору проб почвы включает объяснение и обоснование числа отбираемых образцов, месторасположение пробных площадок и интервал времени, в течение которого эти пробы должны быть отобраны.
При определении РФК ОЗВ статистической совокупностью служат все единицы, из которых эта статистическая совокупность состоит. Например, площадь территории региона может быть отождествлена с множеством площадей, эквивалентных площади пробной площадки (пробная площадка рассматривается здесь как небольшой участок земли размером 10 x 10 м, с которого методом конверта отбирается смешанный образец почвы массой около 1 кг). Или масса верхнего слоя почвы региона может быть отождествлена с множеством образцов почвы массой 1 кг. Типы планов по отбору проб почвы, которые основаны на использовании статистических методов для последующего анализа результатов и обоснования значений РФК ОЗВ, представлены в 9.1.1 - 9.1.3.
9.1.1 Метод простого случайного отбора основан на теории случайной вероятности отбора единиц выборки (каждая точка отбора имеет равную вероятность выбора). Координаты для отбора образцов почвы выбираются случайным образом (например, с помощью генератора случайных чисел). Метод простого случайного отбора используется в случае более или менее одинакового уровня загрязнения почвы. Главными достоинствами использования этого метода являются:
а) статистически обоснованная оценка среднего арифметического и стандартного отклонения содержания ОЗВ в почве;
в) простота оценки количества отбираемых проб почвы.
9.1.2 Систематический отбор проб почвы, также называемый методом отбора по сетке, состоит из отбора проб в узлах квадратной, треугольной или ромбической сетки. Систематический метод отбора проб почвы обеспечивает равномерный охват территории и прост в использовании. При этом важные характеристики определяемой совокупности не будут упущены. Кроме того, отбор образцов, взятый через регулярные интервалы, используют для оценки пространственных или временных корреляций значений РФК ОЗВ. При случайном систематическом отборе проб почвы начальные координаты сетки для отбора проб почвы выбирают случайным образом. Если отбор образцов почвы в данной точке невозможен из-за наличия зданий, водной поверхности или по другим причинам, с помощью систематического подхода может быть выбрана новая пробная площадка.
9.1.3 При стратифицированном случайном отборе образцов территорию региона разделяют на страты (участки), которые являются более однородными, чем исходная территория. Разделение территории региона на страты проводят в соответствии с типом почвы и/или типом землепользования. Для отбора проб почвы из каждой страты можно использовать простой или систематический методы случайного отбора образцов. Этот подход используют при оценке параметров РФК ОЗВ для территории региона со значительным количеством сильно отличающихся типов почвы или типов землепользования. При планировании отбора проб почвы собирают и оценивают информацию о типах почвы и типу землепользования. Рекомендуемые типы землепользования приведены в приложении В (раздел «Факторы почвообразования»).
9.2 Достоверность статистических характеристик РФК ОЗВ зависит от количества отбираемых проб почвы. Чтобы определить минимальное число образцов почвы, необходимое для надежной оценки средней концентрации ОЗВ на территории региона, предварительно оценивают величину стандартного отклонения. При этом оценка стандартного отклонения не должна быть меньше истинного стандартного отклонения генеральной совокупности. Предварительная оценка стандартного отклонения РФК может быть основана на предварительном исследовании территории региона или на другом исследовании, проведенном на территории с характеристиками, аналогичными исследуемой территории. В отсутствие предварительной информации можно оценить стандартное отклонение путем деления ожидаемого диапазона изменения РФК ОЗВ на шесть, т.е.
S = \frac{(\text{ожидаемыймаксимум } - \text{ожидаемыйминимум})}{6} .
Однако такая оценка является лишь грубым приближением и должна использоваться только при отсутствии других источников информации.
При определении количества отбираемых проб почвы, при которой погрешность средней концентрации не превышает заданной величины (например, если погрешность определения РФК не должна превышать 30%) используют предварительную информацию об ожидаемом типе статистического распределения РФК ОЗВ (нормальное, логнормальное или непараметрическое). Методы, которые могут быть использованы при планировании отбора проб почвы, приведены в 9.2.1 - 9.2.3. Количество отбираемых проб почвы для определения РФК ОЗВ не может быть меньше девяти (в том числе при стратифицированном отборе проб почвы количество отбираемых образцов не может быть меньше девяти на страту).
9.2.1 Если статистическое распределение РФК на территории изучаемого региона может быть охарактеризовано как нормальное, соответствующее количество образцов, необходимое для характеристики РФК, может быть рассчитано с помощью одного из следующих методов.
9.2.1.1 Если в результате исследования литературных источников были определены стандартное отклонение среднего s для числа образцов n, то общее количество отбираемых проб почвы ntot при определении фона можно оценить с помощью отношения лямбда (\lambda) , которое учитывает максимальное допустимое отклонение от среднего и таблицы Г.1.
9.2.1.2 При нормальном распределении набора данных соответствующее количество отбираемых проб почвы можно также рассчитать, используя статистику Стьюдента (t-статистику), которая использует t-статистику на уровне значимости \alpha с n — 1 степенями свободы. Число отбираемых образцов почвы ntot для числа степеней свободы литературных данных n — 1 и \alpha = 0,05 вычисляют в соответствии с приложением Д.
9.2.2 Для определения числа отбираемых образцов почвы при логнормальном распределении РФК используют метод Лэнда в соответствии с приложением Е.
9.2.3 Если распределение РФК нельзя описать нормальным или логнормальным распределением, то количество отбираемых образцов почвы для такого непараметрического распределения для того, чтобы с 95% вероятностью считать, что РФК находится в интервале, включающем 95% всех измерений, будет не менее 59 в соответствии с ГОСТ Р 50779.29-2017.
9.2.4 В соответствии с рекомендациями комитета по экологической политике Европейской экономической комиссии участки отбора проб почвы не могут находиться на территории площадью более 300 км2 (то есть на территории квадрата со сторонами приблизительно 16 x 16 км) [2].
9.3 Интерпретация фоновых концентраций ОЗВ в почве требует общей информации о территории обследования. Наиболее важные параметры для описания почвы обследуемой территории приведены в приложении В [3].
9.4 Отбор проб почвы осуществляется в соответствии с ГОСТ 17.4.4.02. Пробы почвы отбирают с глубины от 0 до 5 см и от 5 до 20 см.
9.5 Если концентрация ОЗВ не меняется в течение года, то взятие проб почвы можно проводить в любое время года. Практические вопросы отбора проб рассматриваются перед определением периода времени для отбора образцов почвы. Например, во влажный сезон трудно отбирать образцы почвы из-за близкого уровня залегания грунтовых вод. И, наоборот, во время засухи почва становится твердой. Доступ к некоторым участками может быть затруднен из-за растущих сельскохозяйственных культур. В этом случае рекомендуется отбирать пробы вскоре после уборки урожая или сразу после посева.
9.6 Отобранные пробы почвы могут храниться в течение нескольких лет после их отбора для определения концентраций других ОЗВ, которые могут представлять интерес в будущем. Высушенные образцы почвы должны храниться в герметичных контейнерах. Контейнеры должны храниться в комнате с низкой влажностью воздуха, которая защищена от пыли, света и значительных изменений температуры.
10. Анализ загрязняющих веществ в почве
10.1 В отобранных образцах почвы измеряют два набора параметров. Первым параметром является концентрация ОЗВ. Вторым параметром является основное почвенное свойство (содержание органического вещества и/или содержание глины). Эти параметры необходимы для оценки статистических характеристик РФК и для расчета с помощью корреляционных зависимостей фонового содержания ОЗВ, если для данной пробной площадки известна величина только основного почвенного свойства.
10.2 Химический анализ ОЗВ выполняют в соответствии с аттестованными методиками измерений. Основным требованием к анализу ОЗВ является достаточно низкий предел обнаружения для того, чтобы количество измерений ниже предела обнаружения было минимальным. Во время анализа проводят процедуры контроля качества анализа.
11. Методология статистической обработки данных
11.1 Анализ конкретных данных начинают с получения «статистического портрета», т.е. с оценивания основных характеристик распределения содержания ОЗВ в почвах региона. Многие статистические методы основаны на допущении о нормальности такого распределения. Для оценки типа статистического распределения аналитических результатов, которые при условии случайности отбора проб почвы являются статистической выборкой из генеральной совокупности, используются следующее методы:
б) формальные статистические критерии.
При стратифицированном отборе при определении типа статистического распределения для каждой страты используют выборку, состоящую как минимум из девяти измерений. Окончательный выбор вида статистического распределения делают на основе одновременной оценки результатов, полученных перечисленными ниже методами:
а) вероятностные графики (графический метод);
б) ящичные графики (графический метод);
в) критерий отношения диапазона данных к величине стандартного отклонения (формальный критерий);
г) критерий Шапиро-Уилкса для выборки с числом данных n <= 50 (формальный критерий);
д) критерий Шапиро-Франчия для выборки с числом данных n > 50 (формальный критерий);
е) критерий Харке-Бера для выборки с числом данных n > 1000 (формальный критерий);
ж) критерий Д'Агостино для выборки с числом данных n > 50 (формальный критерий).
Ввиду того, что практически у каждого формального критерия имеются ограничения при определении типа статистического распределения, при статистическом анализе выборки необходима предварительная проверка исходных данных экспертом. Например, тест Шапиро-Уилкса не эффективен, когда несколько величин в наборе данных одинаковы. Лучше всего он работает для выборки с количеством данных менее 50, но в модификации Шапиро-Франчия может быть использован и для большего числа измерений. Его также нельзя использовать, если в выборке имеются измерения ниже предела обнаружения. Критерий Харке-Бера учитывает асимметрию и эксцесс распределения. Кроме асимметрии и эксцесса критерий Д'Агостино учитывает также и центральность распределения. Однако он не может быть использован для данных с числом измерений менее 50 и более 1000.
11.2 Вероятностный график используют для первоначальной оценки формы распределения данных выборки. Такой график позволяет осуществить визуальный осмотр данных и дать предварительную оценку соответствия нормальному статистическому распределению вероятности. Также с помощью этих графиков можно идентифицировать отклонение данных от нормального распределения. Вероятностные графики строят путем построения зависимости концентраций, упорядоченных в порядке возрастания вдоль оси «y», от соответствующих квантилей стандартного нормального распределения или «величин z» (то есть нормального распределения со средним значением, равным нулю, и стандартным отклонением, равным единице). Если данные выборки подчиняются нормальному распределению, то построенные точки данных лежат вблизи прямой линии. Если данные не являются нормальными, на графике видны перегибы прямой линии или линия искривляется. Кроме того, на полученном графике можно визуально обнаружить данные с необычно высокими значениями (выбросы).
Вероятностные графики могут использовать также для оценки выборки на логнормальность распределения путем построения графика вероятности с использованием преобразования аналитических результатов в натуральные логарифмы вместо исходных (нетрансформированных) результатов аналитических измерений. Для определения наиболее подходящего распределения рекомендуется строить вероятностные графики как для исходных (нетрансформированных), так и для логарифмически преобразованных данных.
Ввиду субъективности интерпретации вероятностных графиков не следует делать выводы относительно статистических распределений, основываясь только на вероятностных графиках. Вероятностные графики следует использовать в сочетании с другими описанными в этом разделе методами. Способ построения вероятностных графиков и примеры их использования приведены в приложении Ж.
11.3 Другим способом визуального представления данных выборки являются ящичные графики с усами. На рисунке 1 представлен ящичный график, построенный на основании исходных данных концентраций \Sigma\text{ПАУ} , приведенных в таблице Ж.2. Верхняя и нижняя сторона ящика, соответственно, представляют собой 25 и 75 персентили выборки. Разницу между ними обозначают как межквартильный диапазон (МКД). Горизонтальная линия посередине ящика представляет медиану (50 персентиль). Крест в середине ящика обозначает величину среднего арифметического концентрации. Вертикальные линии, проходящие от концов коробки (усы), рисуют на величину некоторого интервала от 25 персентили вниз и на величину интервала от 75 персентили вверх. Этот интервал обычно равен 1,5*МКД. Этот размер уса полезен тем, что внешние значения, показанные звездочками за пределами верхнего значения уса, являются потенциальными выбросами. Для их идентификации применяют формальные критерии для выбросов. Ящичные графики с усами наиболее полезны при сравнении двух и более наборов данных. Ввиду субъективности интерпретации не следует делать выводы относительно статистических распределений, основываясь только на ящичных графиках. Эти графики используют только в сочетании с другими методами определения формы статистического распределения выборки, а не в качестве единственного определяющего фактора.
Рисунок 1 — Ящичный график с усами содержания \Sigma\text{ПАУ} в почвах
11.4 Для проверки нормальности распределения данных выборки можно использовать формальный критерий отношения величины диапазона массива данных измерений концентрации ОЗВ в почве W и величины стандартного отклонения s. Этот критерий проверяет степень эксцесса распределения выборки. Данный критерий используют только для предварительной оценки нормальности типа распределения выборки. При проверке с помощью критерия W/s используют критический диапазон. Если вычисленная величина попадает внутрь диапазона, тогда данные считают распределенными нормально. Методика и пример использования этого критерия приведены в приложении И. Критические уровни критерии W/s для уровня значимости \alpha 0,05 и 0,10 приведены в таблице И.1.
11.5 При количестве данных в наборе до 50 (n <= 50) рекомендуется использовать в качестве формального критерия проверки нормальности распределения данных критерий Шапиро-Уилкса [4]. Этот критерий нужно применять как для исходных данных, так и для логарифмов данных.
Для применения критерия Шапиро-Уилкса для проверки на логнормальность распределения выборки сначала данные необходимо логарифмировать в соответствии с уравнением y = ln(x). Эти трансформированные данные используют вместо величин нетрансформированных данных x. Данные измерений ниже предела обнаружения (если в массиве данных их было не более 50%) заменяют на половину величины предела обнаружения. Критерий Шапиро-Уилкса применяют к выборке в соответствии с приложением К.
Если результаты свидетельствуют о том, что исходные данные и логарифмы данных соответствуют критерию Шапиро-Уилкса, то при окончательном решении того, к какому типу распределения принадлежит массив данных, руководствуются более высоким значением критерия Шапиро-Уилкса.
11.6 При количестве данных в массиве более 50 (n > 50) для проверки нормальности распределения в качестве формального критерия используют критерий Шапиро-Франчия [5]. Проверку проводят как для исходных данных, так и для натуральных логарифмов данных. Результаты проверки с помощью критерия Шапиро-Франчия подтверждают с помощью анализа вероятностных графиков или ящичных графиков с усами. Причиной отклонения от нормального или логнормального распределения может служить асимметрия данных или наличие большого хвоста (или и то, и другое). Анализ данных с помощью ящичного графика с усами, и в особенности вероятностного графика, может дать представление о том, почему проверка с помощью критерия Шапиро-Франчия не была успешной. Причиной этого может быть наличие в выборке выброса. После удаления выброса из выборки снова применяют критерий Шапиро-Франчия к выборке. Критерий Шапиро-Франчия применяют к выборке в соответствии с приложением Л.
Если результаты статистической проверки свидетельствуют о том, что данные проходят оба типа проверки, то для того чтобы сделать выводы о распределении данных, необходимо учитывать результаты проверки с более высоким значением критерия Шапиро-Франчия.
11.7 При количестве данных в выборке более 1000 проверку нормальности распределения проводят с помощью критерия Харке-Бера. Проверка данных с помощью этого критерия является проверкой того, имеют ли данные выборки асимметрию и эксцесс, соответствующие нормальному распределению. В соответствии с этим критерием сначала вычисляют коэффициент асимметрии и коэффициент эксцесса и рассчитывают критерий Харке-Бера. Затем определяют табличное значение критерия на основе критических значений Пирсона в соответствии с таблицей М.1. Для уровня значимости 0,05 критическая величина Пирсона равна 5,991. Если величина критерия Харке-Бера больше 5,991, то распределение не является нормальным. Если величина критерия Харке-Бера меньше 5,991, то распределение является нормальным.
11.8 При количестве данных в выборке более 50 проверку нормальности распределения можно проводить с помощью критерия Д'Агостино. Этот критерий основан на D-статистике, который определяет постоянное отношение оценки популяции Даунтона к стандартному отношению выборки. Критерий учитывает отклонения от нормальности для эксцесса и асимметрии. Порядок расчета по этому критерию приведен в приложении Н.
11.9 Применение статистических критериев для оценки выбросов является частью процесса первоначальной проверки исходных данных выборки и, таким образом, корректной оценки параметров генеральной совокупности. Выбросы данных могут быть в результате следующих причин:
а) данные могут быть неправильными в результате неправильного отбора образцов, ошибок при лабораторном анализе и вводе данных;
б) резко выделяющимся может быть правильный результат, принадлежащий другой генеральной совокупности (например, загрязненной территории, а не фоновой);
в) резко выделяющейся может быть реально существующая в природе концентрация (представляющая реальную генеральную совокупность фоновой территории).
Статистические методы для выявления выбросов представлены в разделах 11.9.2 - 11.9.5. Однако отнесение измерения к выбросу не означает его автоматического удаления из массива данных.
Формальную проверку на наличие выбросов проводят только в случае подозрений о наличии одного или нескольких выбросов. Основаниями для такого подозрения является высокое значение коэффициента вариации или существенное отличие от нуля коэффициента асимметрии. Особенно если такие результаты получаются не только при использовании исходных данных, но и логарифмов данных. Кроме того, потенциальные выбросы можно легко идентифицировать на графиках (таких как вероятностные графики и ящичные графики с усами). Методы проверки данных на выбросы приведены ниже:
в) критерий Граббса для одного выброса;
г) критерий Диксона для нескольких выбросов для выборки с числом данных n <= 25;
д) критерий Рознера для нескольких выбросов для выборки с числом данных n > 25.
Если с помощью анализа исходных табличных данных или с помощью использования графических методов появилось подозрение на наличие потенциального выброса, то это наблюдение проверяют с помощью одного из трех формальных критериев. Как правило, для выборок с 50% или более значениями ниже предела обнаружения статистическое распределение данных определить невозможно. Поэтому в этом случае с помощью приведенных выше графических методов выбросы идентифицируют только качественно.
11.9.1 Вероятностные графики используют не только для графической оценки типа распределения данных, но и для выявления потенциальных выбросов. На вероятностном графике потенциальные выбросы будут отображаться как изолированные точки вдали от основной массы точек. Основная масса точек может, например, формировать линию, при этом потенциальные выбросы будут располагаться на некотором расстоянии от этой линии.
На ящичном графике потенциальные точки выбросов представляют точками выше верхней границы усов или ниже нижней границы усов. Однако для классификации измерения как выброс необходимо проверять их с помощью формальных критериев. Кроме того, некоторые формальные критерии для выбросов, представленные в этом разделе (например, критерий Рознера), требуют первоначальной оценки количества выбросов в выборке. Для выбора этого количества также используют вероятностные или ящичные графики.
11.9.2 Для идентификации одиночных выбросов в большинстве массивов данных с числом измерений от 3 до 100 используют критерий Граббса [6]. Применение этого критерия основано на предположении о нормальности распределения выборки, поэтому сначала оценивают форму статистического распределения выборки. Если данные распределены логнормально, то необходимо выполнить логарифмическое преобразование данных и проверить эти преобразованные данные с помощью критерия Граббса. При наличии нескольких потенциальных выбросов необходимо использовать другие критерии (например, критерий Диксона или критерий Рознера). Если в массиве данных количество измерений ниже предела обнаружения не более 50%, то для проверки на выбросы измерения ниже предела обнаружения заменяют на половину величины предела обнаружения. Чтобы проверить данные на выбросы, когда распределение выборки является логарифмически нормальным, сначала рассчитывают y = ln(x) и используют значения y (логарифмически трансформированные данные) вместо значений x. Расчеты по этой методике проводят в соответствии с приложением П.
11.9.3 Критерий Диксона используют для определения выбросов в выборке с количеством измерений не менее 25 [7]. Критерий Диксона основан на предположении о нормальности распределения данных измерений. Поэтому сначала определяют вид статистического распределения. Если данные распределены нормально, то наличие выброса определяют с помощью критерия Диксона. Если в массиве данных количество измерений ниже предела обнаружения не более 50%, то для нормальной формы распределения этот критерий применяют к исходным (нетрансформированным) данным, заменив измерения ниже предела обнаружения на половину величины предела обнаружения. Чтобы проверить данные на выбросы, когда распределение выборки является логарифмически нормальным, сначала рассчитывают величину y = ln(x) и используют значения y (логарифмически трансформированные данные) вместо значений x.
Критерий Диксона используют также для проверки наличия в выборке нескольких потенциальных выбросов. Сначала оценивают наименьшее из потенциальных экстремальных измерений (исключая временно более экстремальные наблюдения из набора данных). Если наименьшее из экстремальных наблюдений идентифицируют как выброс, тогда измерения с большими концентрациями также классифицируют как выбросы. Если потенциальный выброс с самой маленькой концентрацией не классифицируют как таковой, то с помощью этой же процедуры проверяют потенциальный выброс с большей концентрацией. Методика и пример расчетов приведены в приложении Р.
11.9.4 Критерий Рознера применяют для набора данных с числом измерений n > 25, и имеются свидетельства наличия более одного потенциального выброса [8]. С помощью критерия Рознера можно проверить данные как на наличие выбросов с высокими, так и низкими концентрациями. Потенциальные выбросы проверяют группами. Применение критерия Рознера предполагает, что выборка имеет нормальное распределение. Если данные распределены логарифмически, необходимо выполнить логарифмическое преобразование данных и применить критерий Рознера к этим преобразованным данным. Перед проверкой с помощью критерия Рознера необходимо определить общее количество потенциальных выбросов (k). Для предварительной оценки потенциальных выбросов необходимо использовать вероятностные графики, графики ящиков с усами или визуальный осмотр табличных данных.
Процедура применения критерия Рознера основана на процессе итерации. Сначала для всего набора данных вычисляют среднее арифметическое, стандартное отклонение и максимальные значения потенциальных выбросов. Потенциальные выбросы исключают по одному от самого большого до самого маленького. Затем вычисляют первую статистику критерия для проверки того, все ли значения потенциальных выбросов k являются выбросами. Если результат статистически значим, то все k наблюдений классифицируют как выбросы. Если этот результат статистически не значим, то группу возможных выбросов уменьшают на единицу (т.е. наименьший потенциальный выброс возвращают обратно в выборку), и статистику критерия пересчитывают с учетом остальных k — 1 возможных выбросов. Этот процесс повторяют до тех пор, пока не будут определены все выбросы или пока в выборке выбросов не останется.
При нормальном распределении для проверки выбросов используют исходные (нетрансформированные) данные, при этом при наличии до 50% измерений ниже предела обнаружения их заменяют на величину половины предела обнаружения. Для проверки выбросов при логнормальном распределении сначала вычисляют y = ln(x) и эти значения y используют вместо значений x. Расчеты по этой методике проводят в соответствии с приложением С.
11.9.5 В том случае, если распределение данных не подчиняется нормальному или логнормальному распределению, то для выборок с числом данных более 60 для идентификации потенциальных выбросов применяют критерий Уолша в соответствии с приложением Т.
11.9.6 До принятия окончательного решения об использовании идентифицированных с помощью формальных критериев потенциальных выбросов еще раз пересматривают все записи, сделанные как на этапе отбора проб почвы, так и на этапе химического анализа. После исследования всей информации возможны следующие действия.
\cdot Если обнаружена ошибка при записи пробы, то резко выделяющееся измерение заменяют на правильное. После этого статистическую обработку данных выборки повторяют.
\cdot Если может быть доказано, что измерение является ошибочным, то это резко выделяющееся измерение удаляют. Последующий статистический анализ проводят с сокращенным набором данных. Если измерение не является ошибочным, то выброс следует рассматривать как истинное чрезвычайно высокое измерение. Если это так, следует принять одно из следующих действий в зависимости от расположения пробной площадки, на которой был идентифицирован выброс:
-
если есть основания полагать, что отобранный образец не является фоновым, то это значение из набора данных удаляют;
-
если значение является репрезентативным для фоновых условий, то это значение в наборе данных сохраняют.
11.10 Одной из статистических характеристик РФК является среднее арифметическое содержания ОЗВ в почве. Среднее арифметическое, являющееся параметром центральности, представляет собой усредненное значение всего массива данных. Другие параметры центральности включают медиану (то есть срединное значение) и моду (то есть наиболее часто встречающееся значение). С точки зрения воздействия на человека среднее арифметическое значение обеспечивает наилучшее представление средних уровней воздействия на данной территории, поскольку оно включает величину всех измерений. Из-за неопределенности в оценке истинной средней арифметической концентрации ОЗВ в почве на данной территории (поскольку такая оценка основана на статистической обработке выборки отобранной случайным образом) часто используют ВДГ арифметического среднего всех измерений. Для представления диапазона неопределенности используют доверительные интервалы вокруг среднего арифметического. При расчете ВДГ для среднего используют уровень значимости \alpha = 0,05 , которую обозначают как 95% ВДГ. В зависимости от вида распределения данных для расчета 95% ВДГ используют следующие методы:
а) для данных, имеющих нормальное распределение, используют t-метод Стьюдента;
б) для данных, имеющих логнормальное распределение, используют метод Лэнда;
в) для наборов данных, не имеющих нормального или логнормального распределения, используют метод для непараметрического распределения.
Процедура выбора подходящего метода для вычисления 95% ВДГ для среднего приведена ниже:
а) сначала рассчитывают процент данных измерений ниже предела обнаружения (например, набор с девятью данными, три из которых ниже предела обнаружения, содержит 33% значений ниже предела обнаружения);
б) для массивов данных с количеством измерений ниже предела обнаружения < 50% определяют форму статистического распределения данных. Этот этап не требуется для выборок с количеством измерений ниже предела обнаружения более 50%;
в) все наборы данных проверяют на наличие выбросов; формальную проверку на выбросы проводят только в том случае, если первоначальная оценка данных (то есть обзор табличных данных и/или графиков) указывает на наличие одного или нескольких потенциальных выбросов;
г) для наборов данных с количеством измерений ниже предела обнаружения < 50% и имеющих нормальное распределение для расчета величины 95% ВДГ для среднего используют метод, приведенный в 11.10.1;
д) для наборов данных с количеством измерений ниже предела обнаружения < 50% и имеющих логнормальное распределение для расчета величины 95% ВДГ для среднего используют метод Лэнда, приведенный в 11.10.2.
11.10.1 При нормальном распределении выборки 95% ВДГ для среднего может быть рассчитана на основе t-распределения Стьюдента. Сначала оценивают статистическое распределение данных с использованием формальных критериев и проводят проверку на наличие выбросов. Верхнюю доверительную границу среднего часто используют для сравнения среднего арифметического РФК с экологическими или санитарно-гигиеническими нормативами. Если критерий 95% ВДГ больше норматива, то делают вывод о том, что среднее арифметическое РФК выше данного норматива. Если 95% ВДГ меньше норматива, то делают заключение, что среднее арифметическое РФК ниже данного норматива. Расчеты проводят в соответствии с приложением У, в котором приведен также пример расчетов.
11.10.2 Для данных, имеющих логнормальное распределение, для вычисления 95% ВДГ используют метод Лэнда в соответствии с приложением Ф. Если полученный 95% ВДГ больше норматива, то делают вывод о том, что средняя РФК выше данного норматива. Если 95% ВДГ меньше норматива, то делают вывод о том, что средняя РФК ниже данного норматива.
11.10.3 Метод t-распределения и метод Лэнда основываются, соответственно, на предположениях о нормальности и логнормальности распределения выборки. Для выборок, которые не являются ни нормальными, ни логнормальными, используют метод расчета в соответствии с приложением Х. При этом ВДГ определяют не для среднего арифметического, а для медианы.
12. Сравнение рассчитанных значений РФК ОЗВ с типичными зональными значениями РФК ОЗВ
После расчета значений РФК проводят проверку на близость рассчитанных значений РФК типичным значениям РФК для аналогичной климатической зоны. Пределы варьирования фона для Центрального района Российской Федерации приведены в таблице 1.
Пределы варьирования приоритетных ОЗВ в почве фоновых районов центра Европейской части РФ
| Соединение | Пределы варьирования, мкг/кг |
|---|---|
| \Sigma\text{ПАУ} | 40 — 300 |
| НУВ | 20 000 — 150 000 |
| Фенол | 0,1 — 0,5 |
13. Корреляционные зависимости значений РФК ОЗВ от ключевых почвенных параметров
13.1 Знание корреляционных зависимостей значений РФК от ключевых почвенных параметров (содержания органического вещества или содержания глинистых частиц) позволяет сделать оценку РФК ОЗВ для некоторой точки территории без непосредственного измерения концентрации ОЗВ. Если средняя ошибка аппроксимации парной регрессии РФК ОЗВ в почве от почвенного параметра меньше 15%, то следует вычислить пределы изменения почвенного параметра, при котором ошибка прогноза концентрации показателя РФК не будет превышать 30%.
13.2 Для n пар экспериментально определенной в почве концентрации ОЗВ yxi и экспериментально определенного содержания ключевого почвенного параметра xi строят линейную регрессию вида
где Yxp — расчетная концентрация ОЗВ в почве;
xp — задаваемая величина ключевого почвенного параметра.
Для каждого экспериментально определенного значения почвенного параметра xi (i изменяется от 1 до n) с помощью уравнения (1) рассчитывают величину Yxi. Среднюю ошибку аппроксимации \overline{A} рассчитывают по уравнению
\overline{A} = \frac{\sum \frac{|y_{x_{i}} - Y_{xi}|}{y_{x_{i}}}}{n} \cdot 100\%. (2)
Если средняя ошибка аппроксимации \overline{A} меньше 15%, то строят график зависимости ошибки прогноза РФК от величины ключевого почвенного параметра. Величину ошибки прогноза РФК D от содержания в почве ключевого почвенного параметра xp рассчитывают по уравнению (3):
D = \frac{\Delta x_{p}}{Y_{xp}} \cdot 100\%, (3)
\Delta x_{p} = t_{n,\alpha} \cdot S_{res} \cdot \sqrt{1 + \frac{1}{n} + \frac{(\overline{x_{i}} - x_{p})^{2}}{\sum_{1}^{n} (x_{i} - \overline{x_{i}})^{2}}} , (4)
S_{res} = \sqrt{\frac{\sum_{1}^{n} (Y_{xi} - y_{x_{i}})^{2}}{n - 2}} , (5)
где n — количество проанализированных образцов;
t_{n,\alpha} — коэффициент Стьюдента для n образцов и уровня значимости \alpha ;
Sres — величина остаточной дисперсии;
\overline{x_{i}} — величина среднего арифметического значений xi.
13.3 На рисунке 2 показана зависимость величины ошибки прогноза РФК ОЗВ от содержания физической глины в почвах. Для этой зависимости было получено уравнение линейной регрессии Y(x) = 31,395 + 2,3815(x), R2 = 0,7604. При такой корреляции ошибка прогноза при уровне значимости 0,05 не будет превышать 30% для содержания глины в почве выше 5%. Таким образом, выходными параметрами для регрессионного уравнения, используемого для прогноза зависимости РФК от ключевого почвенного параметра, являются:
а) величина средней ошибки аппроксимации \overline{A} ;
б) коэффициенты регрессионного уравнения (1) a и b;
в) интервал изменения ключевого параметра, для которого величина точечной ошибки прогноза не превышает 30% (для графика, приведенного на рисунке 2, содержание физической глины, при котором ошибка прогноза не превышает 30%, составляет интервал от 5 до 20%).
Рисунок 2 — Ошибка прогноза содержания ОЗВ в почве от содержания в ней физической глины
КОЭФФИЦИЕНТЫ БЕНЗАПИРЕНОВОГО ЭКВИВАЛЕНТА BaPeq
| ПАУ | BaPeq |
|---|---|
| Бенз[а]антрацен | 0,1 |
| Бензо[а]пирен | 1 |
| Бензо[bjk]флуорантен | 0,1 |
| Бензо[ghi]перилен | 0,01 |
| Хризен | 0,01 |
| Дибенз[а,h]антрацен | 1 |
| Индено[1,2,3-cd]пирен | 0,1 |
ОПИСАНИЕ МЕСТОПОЛОЖЕНИЯ ПРОБНОЙ ПЛОЩАДКИ И ОПИСАНИЕ ПОЧВЫ
Параметры для описания местоположения пробной площадки и почвы (по ФАО.2012. Руководство по описанию почв)
ОПРЕДЕЛЕНИЕ ЧИСЛА ОТБИРАЕМЫХ ОБРАЗЦОВ ПОЧВЫ ПРИ НОРМАЛЬНОМ РАСПРЕДЕЛЕНИИ КОНЦЕНТРАЦИИ ОЗВ В ПОЧВЕ С ПОМОЩЬЮ МЕТОДА ОШИБКИ СРЕДНЕГО (МЕТОД ЛЯМБДА)
С помощью отношения лямбда (\lambda) оценивают общее количество отбираемых проб почвы ntot, когда по литературным источникам было рассчитано стандартное отклонение среднего s для числа образцов n (таблица Г.1). Поэтапный метод расчета числа ntot приведен ниже:
а) используя n данных из литературных источников вычисляется величина \lambda :
\lambda = \frac{C_{m} - \overline{C}}{s} , (Г.1)
где \overline{C} — средняя концентрация ОЗВ;
Cm — максимальная допустимая величина отклонения от среднего арифметического.
Следует отметить, что меньшее значение \lambda означает, что для поддержания определенного доверительного уровня требуется отобрать большее количество образцов;
б) в таблице Г.1 приведена зависимость числа отбираемых образцов ntot для рассчитанных значений \lambda при \alpha = 0,05 и статистической мощности \beta = 0,05 .
Число наблюдений при заданной величине ошибки среднего и применении одностороннего t-критерия для среднего, при величине \alpha и \beta = 0,05
Пример — Если величина арифметического среднего содержания нефтяных углеводородов по литературным данным составило 114,5 мг/кг, величина стандартного отклонения 60 мг/кг, а максимальная ошибка среднего не должна превышать 30%, то величина \lambda будет равна (148,85 — 114,5)/60 = 34,35/60 = 0,5725. В соответствии с таблицей Г.1 количество отбираемых образцов должно быть не меньше 32. Если величина стандартного отклонения будет равна 80 мг/кг, то при прочих равных условиях \lambda = (148,85 - 114,5)/80 = 34,35/80 = 0,429 . Тогда в соответствии с таблицей Г.1 количество отбираемых образцов должно быть не меньше 55.
ОПРЕДЕЛЕНИЕ ЧИСЛА ОТБИРАЕМЫХ ОБРАЗЦОВ ПОЧВЫ ПРИ НОРМАЛЬНОМ РАСПРЕДЕЛЕНИИ КОНЦЕНТРАЦИИ ОЗВ В ПОЧВЕ ПРИ ИСПОЛЬЗОВАНИИ СТАТИСТИКИ СТЬЮДЕНТА
При нормальном распределении набора данных соответствующее количество отбираемых проб почвы рассчитывают, используя статистику Стьюдента (t-статистику). Эта формула использует t-статистику на уровне значимости \alpha с n — 1 степенями свободы:
n_{tot} = \frac{t_{n - 1,\alpha}^{2} \cdot s^{2}}{\Delta^{2}} , (Д.1)
где \Delta = C_{m} - \overline{C} ;
\overline{C} — средняя концентрация ОЗВ;
Cm — максимальная допустимая величина отклонения от среднего арифметического;
s — стандартное отклонение набора данных;
t_{n - 1,\alpha} — соответствующая t-статистика для степени свободы n — 1 и уровня значимости \alpha .
Число отбираемых образцов почвы ntot для числа степеней свободы литературных данных n — 1 и уровня значимости \alpha от 0,001 до 0,3 приведены в таблице Д.1.
Пример — Для средней концентрации ОЗВ \overline{C} , равной 10, и стандартного отклонения, равного 3 (коэффициент вариации равен 30%), при максимальном отклонении от среднего, равном 15% (\Delta = 1,5) , числе ранее отобранных проб почвы n = 6 и \alpha = 0,05 количество отбираемых проб почвы ntot, согласно уравнению (Д.1), должно быть равным 26. Если предполагается, что максимальное отклонение от среднего не должно превышать 10%, то количество отбираемых проб почвы необходимо увеличить до 59.
Величины t_{n - 1,\alpha} для числа степеней свободы литературных данных df(n — 1) и уровня значимости \alpha
ОПРЕДЕЛЕНИЕ ЧИСЛА ОТБИРАЕМЫХ ОБРАЗЦОВ ПОЧВЫ ПРИ ЛОГНОРМАЛЬНОМ РАСПРЕДЕЛЕНИИ КОНЦЕНТРАЦИИ ОЗВ В ПОЧВЕ
Для расчета числа независимых наблюдений, ntot, необходимых для оценки статистически достоверной величины медианы логнормального распределения, используется уравнение (Е.1)
n_{tot} = \frac{Z_{1 - \alpha/2}^{2} \cdot s_{y}^{2}}{[ln(d + 1)]^{2} + Z_{1 - \alpha/2}^{2} \cdot s_{y}^{2}/N} , (Е.1)
s_{y}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (y_{i} - \overline{y})^{2} (Е.2)
\overline{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, (Е.3)
где d — ожидаемая допустимая ошибка в оценке медианы. Следует отметить, что относительный коэффициент ошибок должен быть указан в исходной нетрансформированной шкале (ошибка среднего (%)/100);
Z_{1 - \alpha/2} — стандартное нормальное интегральное распределение;
100(1 - \alpha) — процент доверия, при котором ошибка медианы не превышает d;
\overline{y} — среднее арифметическое n трансформированных величин yi = lnxi;
s_{y}^{2} — дисперсия n трансформированных величин yi = lnxi;
n — количество литературных данных, на основе которых рассчитывались \overline{y} и s_{y}^{2} ;
N — количество данных в генеральной совокупности.
1 Предположим, что величина d равна 0,10 (относительная ошибка 10%) и \alpha равна 0,05 и предварительные данные дают величину s_{y}^{2} , равной 2,0. Если предположить, что величина № генеральной совокупности очень большая, тогда уравнение (Е.1) дает
n = \frac{(1,96)^{2}(2)}{(ln1,1)^{2}} = 845,8@846.
Для уменьшения количества отбираемых проб почвы необходимо увеличить допустимую ошибку медианы или уменьшить уровень доверия (то есть увеличить значение \alpha ). Например, если принять величину d, равной 0,50 (относительная ошибка 50%), и \alpha , равной 0,05, то количество отбираемых проб уменьшится до n = 47. Если принять величину d, равной 0,30 (относительная ошибка 30%), и \alpha , равной 0,05, то количество отбираемых проб n будет равно 112.
2 Предположим, что на некоторой территории в 24 образцах были измерены фоновые концентрации суммы ПАУ, мкг/кг. Исходные данные в порядке возрастания составляют: 1 — 14,57; 2 — 16,05; 3 — 19,3; 4 — 24,8; 5 — 27,5; 6 — 27,8; 7 — 32,4; 8 — 33,4; 9 — 33,8; 10 — 33,9; 11 — 35,1; 12 — 50,9; 13 — 54,85; 14 — 63,95; 15 — 68,3; 16 — 70,9; 17 — 96; 18 — 109,75; 19 — 135,8; 20 — 141,8; 21 — 160; 22 — 184,3; 23 — 296,9; 24 — 728,9.
Если использовать весь приведенный массив данных, то величина s_{y}^{2} будет равна 0,9463. Поэтому в соответствии с уравнением Е.1 количество отбираемых проб для надежного определения медианы не должно быть меньше 53.
Если последние два значения рассматривать как выбросы, то величина s_{y}^{2} для массива данных будет равна 0,5776. Поэтому в соответствии с уравнением Е.1 количество отбираемых проб для надежного определения медианы будет составлять 32.
Для проверки формы распределения концентраций ОЗВ выборки на нормальность с помощью вероятностного графика необходимо использовать исходные данные. А для проверки логнормальности сначала необходимо преобразовать исходные данные в соответствии с выражением y = ln(x), и в дальнейшем использовать эти трансформированные значения y вместо исходных значений x. Если в выборке есть измерения ниже предела обнаружения, то их необходимо заменить числом, равным половине предела обнаружения. Порядок построения вероятностного графика по [10] следующий:
а) расположите исходные данные по порядку от самого маленького значения к самому большому (xi, i = 1, ..., n);
б) вычислите кумулятивную вероятность pi, соответствующую каждой величине xi, с помощью уравнения (Ж.1)
p_{i} = \frac{i}{n + 1} , (Ж.1)
где n — это число образцов проб почвы;
i — это ранг упорядоченного массива данных;
в) определите квантиль стандартного нормального распределения соответствующую кумулятивной вероятности в соответствии с уравнением (Ж.2).
где Ф-1 означает обратную величину кумулятивного нормального распределения.
Затем постройте зависимость zi от xi. Если набор данных приблизительно соответствует нормальному распределению, то нанесенные точки будут располагаться вдоль воображаемой прямой линии. Кривые линии или линии с изгибом указывают на то, что данные распределены не нормально или выборка отобрана на территории, представляющей две совокупности, например природную компоненту и компоненту значительного локального загрязнения. Логнормальность набора данных может быть оценена путем построения логарифмически преобразованных значений y вместо исходных значений x. Если выборка распределена приблизительно логарифмически нормально, а вероятностный график построен с использованием данных, преобразованных в логарифмы, то нанесенные точки должны находиться на прямой линии или располагаться вблизи нее.
1 На некоторой территории были отобраны 23 образца почвы, в которых были измерены \Sigma\text{ПАУ} , нг/г. Во втором столбце таблицы Ж.1 расположены исходные данные xi. В третьем столбце приведены рассчитанные с помощью уравнения (Ж.1) величины pi. В четвертом столбце приведены рассчитанные с помощью уравнения (Ж.2) величины zi.
Порядок вычислений для построения вероятностного графика для исходных данных содержания \Sigma\text{ПАУ} в почвах территории
Полученный вероятностный график приведен на рисунке Ж.1.
Рисунок Ж.1 — Вероятностный график для данных \Sigma\text{ПАУ} для некоторой территории
При использовании исходных (нетрансформированных) данных, экспериментальные точки приблизительно формируют две прямые линии. Это отражает или наличие двух популяций \Sigma\text{ПАУ} в почвах, формирующих региональный фон, или то, что почвы были отобраны в фоновых районах и в районах, подверженных загрязнению.
2 На некоторой территории были отобраны 24 образца почвы, в которых были измерены \Sigma\text{ПАУ} , нг/г. Во втором столбце таблицы Ж.2 расположены исходные данные xi. В третьем столбце приведены рассчитанные с помощью уравнения (Ж.1) величины pi. В четвертом столбце приведены рассчитанные с помощью уравнения (Ж.2) величины zi. Полученный вероятностный график приведен на рисунке Ж.2.
Порядок вычислений для построения вероятностного графика для исходных данных содержания \Sigma\text{ПАУ} в почвах некоторой территории
Рисунок Ж.2 — Вероятностный график для данных \Sigma\text{ПАУ} для некоторой территории для исходных нетрансформированных данных
При использовании исходных (нетрансформированных) данных две точки с экстремально высокими концентрациями суммы ПАУ отклоняются от прямой линии. Это указывает на то, что или это распределение логнормально, или эти две точки являются выбросами.
3 Вместо исходных данных, приведенных в примере 2, были использованы логарифмически трансформированные данные. Во втором столбце таблицы Ж.3 расположены исходные данные xi. В третьем столбце приведены рассчитанные с помощью уравнения (Ж.1) величины pi. В четвертом столбце приведены рассчитанные с помощью уравнения (Ж.2) величины zi. Полученный вероятностный график приведен на рисунке Ж.3.
Порядок вычислений для построения вероятностного графика для натуральных логарифмов данных содержания \Sigma\text{ПАУ} в почвах некоторой территории
Рисунок Ж.3 — Вероятностный график для данных по \Sigma\text{ПАУ} для некоторой территории для натуральных логарифмов исходных данных
Если сравнить рисунок Ж.2 с рисунком, построенным с использованием данных, преобразованных в логарифмы (рисунок Ж.3), то при использовании логарифмически преобразованных данных точки концентрации \Sigma\text{ПАУ} лежат на прямой линии. Поскольку логарифмически преобразованные данные являются приблизительно нормальными, можно сделать вывод, что исходная (нетрансформированная) выборка является логнормальной.
ФОРМАЛЬНЫЙ СТАТИСТИЧЕСКИЙ КРИТЕРИЙ ПРОВЕРКИ НОРМАЛЬНОСТИ ПО ВЕЛИЧИНЕ ОТНОШЕНИЯ ДИАПАЗОНА К СТАНДАРТНОМУ ОТКЛОНЕНИЮ
Для проверки статистического критерия q необходимо знание только величины диапазона данных измерений РФК ОЗВ в почвах W и величины стандартного отклонения s. Этот критерий проверяет степень эксцесса распределения выборки. Статистика критерия q вычисляется в соответствии с уравнением (И.1)
При проверке с помощью критерия W/s используется критический диапазон. Если вычисленная величина попадает внутрь диапазона, тогда данные считаются распределенными нормально. Критические уровни критерия W/s для уровня значимости \alpha 0,05 и 0,10 приведены в таблице И.1.
Критические величины для критерия на нормальность W/s. Столбцы a и b обозначают критический уровень слева и справа
Пример - На некоторой территории в 100 образцах были измерены фоновые концентрации нефтяных углеводородов, мг/кг. Исходные данные в порядке возрастания составляют: 1 — 26,8; 2 — 38,7; 3 — 43,7; 4 — 68,3; 5 — 88,9; 6 — 90,9; 7 — 91,6; 8 — 93,2; 9 — 96,5; 10 — 104,4; 11 — 105,7; 12 — 107,0; 13 — 114,0; 14 — 121,8; 15 — 122,5; 16 — 123,2; 17 — 129,94; 18 — 130,2; 19 — 131,3; 20 — 134,3; 21 — 140,4; 22 — 147,6; 23 — 148,5; 24 — 151,6; 25 — 154,2; 26 — 155,4; 27 — 155,8; 28 — 156,6; 29 — 157,9; 30 — 172,7; 31 — 173,2; 32 — 175,5; 33 — 175,8; 34 — 176,5; 35 — 176,5; 36 — 176,8; 37 — 181,0; 38 — 182,0; 39 — 183,5; 40 — 183,8; 41 — 185,4; 42 — 185,5; 43 — 188,5; 44 — 189,0; 45 — 189,2; 46 — 189,8; 47 — 189,8; 48 — 190,7; 49 — 191,1; 50 — 195,2; 51 — 195,2; 52 — 195,5; 53 — 198,9; 54 — 199,4; 55 — 202,6; 56 — 205,1; 57 — 209,2; 58 — 210,2; 59 — 211,0; 60 — 211,3; 61 — 214,3; 62 — 214,9; 63 — 217,3; 64 — 219,1; 65 — 220,0; 66 — 220,9; 67 — 222,1; 68 — 224,3; 69 — 225,0; 70 — 225,4; 71 — 230,6; 72 — 233,6; 73 — 235,2; 74 — 237,3; 75 — 238,4; 76 — 238,9; 77 — 239,6; 78 — 240,0; 79 — 245,9; 80 — 246,1; 81 — 246,2; 82 — 247,8; 83 — 253,4; 84 — 256,7; 85 — 260,4; 86 — 267,0; 87 — 270,9; 88 — 273,4; 89 — 282,1; 90 — 289,0; 91 — 292,2; 92 — 310,4; 93 — 311,8; 94 — 312,7; 95 — 328,1; 96 — 335,8; 97 — 346,0; 98 — 348,2; 99 — 348,5; 100 — 366,2.
Величина стандартного отклонения s для приведенного выше массива данных равна 70,44 мг/кг. Диапазон концентраций W равен 366,2 — 26,8 = 339,4 мг/кг. Отношение W/s = 4,82. Для величины \alpha = 0,05 критические величины критерия на нормальность W/s для n = 100 составляют: a = 4,31 и b = 5,90. Таким образом, 4,31 < 4,82 < 5,90 и рассчитанное отношение W/s расположено внутри диапазона критических уровней a и b, и данные выборки распределены в соответствии с нормальным законом.
ФОРМАЛЬНЫЙ СТАТИСТИЧЕСКИЙ КРИТЕРИЙ ПРОВЕРКИ НОРМАЛЬНОСТИ РАСПРЕДЕЛЕНИЯ ШАПИРО-УИЛКСА ДЛЯ ЧИСЛА ОБРАЗЦОВ МЕНЕЕ 50
Для применения критерия Шапиро-Уилкса для проверки на нормальность распределения данных используют исходные нетрансформированные данные. Для проверки на логнормальность распределения выборки с помощью этого критерия сначала данные логарифмируют в соответствии с уравнением y = ln(x). Эти трансформированные данные используют вместо величин нетрансформированных данных x. Данные измерений ниже предела обнаружения (если в массиве данных их было не более 50%) заменяют на половину величины предела обнаружения. Критерий Шапиро-Уилкса (SW) к выборке применяют следующим образом:
а) данные рассортировывают в порядке возрастания от самого маленького к самому большому значению, где x(1) — самая маленькая величина, x(2) — большая величина и x(n) — самая большая величина;
б) принимают, что величина k равна самому большому целому числу, меньшему или равному (n/2) для четного числа n и (n — 1)/2 для нечетного числа n, где n обозначает количество данных;
в) для каждого i = 1, 2, ..., k вычисляют разницу [x(n — i + 1) — x(i)];
г) с помощью таблицы К.1 находят коэффициент ai для i = 1, 2, ..., k;
д) величину b вычисляют в соответствии с выражением (К.1):
b = \sum_{i = 1}^{k} b_{i} = \sum_{i = 1}^{k} a_{(n - i + 1)} \cdot (x_{(n - i + 1)} - x_{(i)}); (К.1)
е) для выборки вычисляют стандартное отклонение s;
ж) затем, согласно уравнению (К.2), вычисляют статистику критерия Шапиро-Уилкса
SW = [\frac{b}{s \cdot \sqrt{n - 1}}]^{2}; (К.2)
и) для выборки с количеством образцов n и уровнем значимости 0,05 с помощью таблицы К.2 вычисляют критическую величину критерия Шапиро-Уилкса (sw\alpha) и сравнивают эту величину с вычисленным критерием SW;
к) если величина SW больше или равна sw\alpha , то делают заключение о том, что выборка имеет нормальное или логнормальное (если использовались величины y) распределение;
л) если величина SW меньше sw\alpha , то делают заключение о том, что распределение данных выборки не является нормальным или логнормальным (если использовались величины y).
Коэффициенты (ai) для критерия Шапиро-Уилкса для проверки на нормальность для различного числа образцов (n)
| i | n | ||||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | |
| 1 | 0,7071 | 0,7071 | 0,6872 | 0,6646 | 0,6431 | 0,6233 | 0,6052 | 0,5888 | 0,5739 |
| 2 | 0,0000 | 0,1677 | 0,2413 | 0,2806 | 0,3031 | 0,3164 | 0,3244 | 0,3291 | |
| 3 | 0,0000 | 0,0875 | 0,1401 | 0,1743 | 0,1975 | 0,2141 | |||
| 4 | 0,0000 | 0,0561 | 0,0947 | 0,1224 | |||||
| 5 | 0,0000 | 0,0399 | |||||||
Пример — Предположим, что для некоторой территории в 20 образцах были измерены фоновые концентрации ОЗВ. В порядке возрастания исходные данные, мг/кг, равны: 1 — 1,0; 2 — 3,1; 3 — 8,7; 4 — 10; 5 — 14; 6 — 19; 7 — 21,4; 8 — 27; 9 — 39; 10 — 56; 11 — 58,8; 12 — 64,4; 13 — 81,5; 14 — 85,6; 15 — 151; 16 — 262; 17 — 331; 18 — 578; 19 — 637; 20 — 942. В соответствии с пунктом 2 величина n = 20, а величина k = 10. Для каждой величины i = 1, 2, ..., k с помощью таблицы К.1 находят коэффициент ai. Затем с помощью уравнения И.1 рассчитывают величину bi. Для положительных величин разницы [x(n — i + 1) — x(i)] рассчитывают величину b. Для этого примера b составила величину 932,88. Стандартное отклонение для этого массива измерений составило 259,7 мг/кг. С помощью уравнения (К.2) для уровня значимости 0,05 вычисляют величину критерия Шапиро-Уилкса SW = 0,679. С помощью таблицы К.2 находят критическую величину критерия Шапиро-Уилкса (SW0,05). Эта величина для 20 образцов равна 0,905. Поскольку вычисленная величина SW < SW0,05 (0,679 < 0,905), делают заключение, что исходные данные не имеют нормального распределения. Однако если провести аналогичные вычисления, используя натуральные логарифмы исходных данных, то вычисленная величина SW > SW0,05 (0,980 > 0,905), и можно сделать заключение, что логтрансформированные данные имеют нормальное распределение.
Критические величины ( sw\alpha , \alpha = 0,05 и \alpha = 0,10 ) для критерия Шапиро-Уилкса на нормальность распределения
ФОРМАЛЬНЫЙ СТАТИСТИЧЕСКИЙ КРИТЕРИЙ ПРОВЕРКИ НОРМАЛЬНОСТИ РАСПРЕДЕЛЕНИЯ ШАПИРО-ФРАНЧИЯ ДЛЯ ЧИСЛА ОБРАЗЦОВ БОЛЕЕ 50
При количестве данных в массиве более 50 (n > 50) для проверки нормальности распределения в качестве формального критерия используют критерий Шапиро-Франчия. Для того чтобы применить этот критерий к проверке выборки на логнормальность, сначала вычисляют y = ln(x) и используют эти трансформированные данные вместо величин x. Данные измерений ниже предела обнаружения (если в массиве данных их было не более 50%) заменяют на половину величины предела обнаружения. Для определения того, какое из двух типов распределения данных лучше описывает данную выборку, следует сравнить результаты применения критерия к исходным и логарифмированным данным:
а) данные рассортировывают в порядке возрастания от самого маленького к самому большому значению, где x(1) — самая маленькая величина, x(2) — большая величина и x(n) — самая большая величина;
б) затем вычисляют величину стандартного отклонения для массива данных и возводят ее в квадрат (s2);
в) затем вычисляют mi или i-ую нормальную квантиль (величина z) в соответствии с выражением (Л.1):
m_{i} = \text{Ф}^{- 1} \cdot (\frac{i}{n + 1}), (Л.1)
где Ф-1 означает обратную величину кумулятивного стандартного нормального распределения;
г) величину критерия Шапиро-Франчия (SF) вычисляют в соответствии с уравнением (Л.2):
(Л.2)д) с помощью таблицы Л.1 на основании числа наблюдений n, принимая доверительный уровень \alpha , равный 0,05, определяют критическую величину критерия Шапиро-Франчия (sf_{\alpha}) и сравнивают с расчетной величиной SF;
е) если SF \geq sf_{\alpha} , делают заключение о том, что массив данных распределен нормально (или логнормально, если используют величины y);
ж) если SF<sf_{\alpha} , делают заключение о том, что массив данных не распределен нормально (или логнормально, если используют величины y).
Критические величины ( sw\alpha , \alpha = 0,05 ) для критерия Шапиро-Франчия проверки на нормальность распределения
Если результаты статистической проверки свидетельствуют о том, что данные проходят оба типа проверки, то для того, чтобы сделать выводы о распределении данных, необходимо учитывать результаты проверки с более высоким значением SF.
Пример - Предположим, что на некоторой территории в 52 образцах были измерены фоновые ОЗВ. Исходные данные в порядке возрастания составляют (в мг/кг): 1 — 1,07; 2 — 1,43; 3 — 1,51; 4 — 1,84; 5 — 1,99; 6 — 2,08; 7 — 2,20; 8 — 2,36; 9 — 2,51; 10 — 2,83; 11 — 3,25; 12 — 3,56; 13 — 3,90; 14 — 4,14; 15 — 4,26; 16 — 4,39; 17 — 4,53; 18 — 4,81; 19 — 5,0; 20 — 5,05; 21 — 5,47; 22 — 5,53; 23 — 5,58; 24 — 5,64; 25 — 5,64; 26 — 5,75; 27 — 5,81; 28 — 5,87; 29 — 6,17; 30 — 6,42; 31 — 6,96; 32 — 6,96; 33 — 7,24; 34 — 7,54; 35 — 8,17; 36 — 8,85; 37 — 11,02; 38 — 12,30; 39 — 13,07; 40 — 14,15; 41 — 14,59; 42 — 16,78; 43 — 18,17; 44 — 19,30; 45 — 20,29; 46 — 21,98; 47 — 25,79; 48 — 27,11; 49 — 31,19; 50 — 32,46; 51 — 38,47; 52 — 43,82.
С помощью вероятностных графиков можно предположить, что этот массив данных имеет логарифмически нормальное распределение. Для формального подтверждения этой гипотезы к этому массиву данных применяют критерий Шапиро-Франчия. Величина критерия Шапиро-Франчия SFLN для логарифмов исходных данных, рассчитанная с помощью уравнения (Л.2), равняется 0,9763. Величина критерия Шапиро-Франчия для исходных (нетрансформированных данных) равна только 0,7682. Для числа образцов 52 и уровня значимости 0,05 величина SF0,05 равняется 0,955. Поскольку SWLN > SW0,05, можно сделать заключение, что массив данных для ОЗВ имеет логнормальное распределение.
ФОРМАЛЬНЫЙ СТАТИСТИЧЕСКИЙ КРИТЕРИЙ ПРОВЕРКИ НОРМАЛЬНОСТИ РАСПРЕДЕЛЕНИЯ ХАРКЕ-БЕРА ДЛЯ ЧИСЛА ОБРАЗЦОВ БОЛЕЕ 1 000
С помощью критерия Харке-Бера проверяют соответствие асимметрии и эксцесса выборки нормальному распределению:
а) сначала выдвигают гипотезу Ho о нормальном распределении выборки;
б) затем вычисляют фактическое значение критерия. В соответствии с этим критерием сначала вычисляют коэффициент асимметрии k3 в соответствии с уравнением (М.1)
k_{3} = \frac{\sum_{i}^{n} {}_{= 1}(x_{i} - \overline{x})^{3}}{ns^{3}} , (М.1)
затем — коэффициент эксцесса k4 в соответствии с уравнением (М.2)
k_{4} = \frac{\sum_{i}^{n} {}_{= 1}(x_{i} - \overline{x})^{4}}{ns^{4}} - 3 (М.2)
и величину критерия Харке-Бера JB в соответствии с уравнением (М.3)
JB = n(\frac{(k_{3})^{2}}{6} + \frac{(k_{4})^{2}}{24}). (М.3)
Затем определяют табличное значение критерия на основе таблицы М.1 критических значений Пирсона на уровне значимости 0,05 и числе степеней свободы 2. Это значение равно 5,991. Уровень значимости — это вероятность ошибки при утверждении, что распределение является ненормальным. Общепринятой является вероятность ошибки, не превышающая 5%. Число степеней свободы в данном случае отвечает за количество параметров в формуле критерия, а ими являются асимметрия и эксцесс.
Критические величины Пирсона для двух степеней свободы
| \alpha | 0,1 | 0,05 | 0,025 | 0,01 | 0,005 | 0,001 |
|---|---|---|---|---|---|---|
| 4,605 | 5,991 | 7,378 | 9,210 | 10,597 | 13,816 |
Таким образом, если величина JB > 5,991, то распределение не является нормальным, а если величина JB < 5,991, то распределение является нормальным.
Пример - Предположим, что на некоторой территории в 24 образцах были измерены фоновые концентрации суммы ПАУ, мкг/кг. Исходные данные в порядке возрастания составляют: 1 — 14,57; 2 — 16,05; 3 — 19,3; 4 — 24,8; 5 — 27,5; 6 — 27,8; 7 — 32,4; 8 — 33,4; 9 — 33,8; 10 — 33,9; 11 — 35,1; 12 — 50,9; 13 — 54,85; 14 — 63,95; 15 — 68,3; 16 — 70,9; 17 — 96; 18 — 109,75; 19 — 135,8; 20 — 141,8; 21 — 160; 22 — 184,3; 23 — 296,9; 24 — 728,9.
Если использовать весь приведенный массив данных, то коэффициент асимметрии k3 в соответствии с уравнением (М.1) равняется 3,10, а коэффициент эксцесса k4 равняется 9,971. Рассчитанная по уравнению 33 величина критерия Харке-Бера JB равняется 137,8. Таким образом, 137,8 более 5,991 и распределение массива данных не является нормальным.
Если отбросить два максимальных измерения (296,9 и 728,9 мкг/кг), то коэффициент асимметрии k3 в соответствии с уравнением (М.1) равняется 0,973, а коэффициент эксцесса k4 равняется минус 0,410. Рассчитанная по уравнению 33 величина критерия Харке-Бера JB равняется 3,63. Таким образом, 3,63 менее 5,991 и распределение массива данных является нормальным.
ФОРМАЛЬНЫЙ СТАТИСТИЧЕСКИЙ КРИТЕРИЙ ПРОВЕРКИ НОРМАЛЬНОСТИ РАСПРЕДЕЛЕНИЯ Д'АГОСТИНО ДЛЯ ЧИСЛА ОБРАЗЦОВ БОЛЕЕ 50
Критерий Д'Агостино основан на D-статистике, который определяет постоянное отношение оценки популяции Даунтона к стандартному отношению выборки. Критерий учитывает отклонения от нормальности для эксцесса и асимметрии. Порядок расчета по этому критерию приведен ниже:
а) необходимо рассортировать данные в порядке возрастания от самого маленького к самому большому значению, где x(1) — самая маленькая величина, x(2) — следующая большая величина и x(n) — самая большая величина;
б) затем вычисляют величину критерия D в соответствии с уравнением (Н.1)
D = \frac{T}{n^{2} \cdot S} , (Н.1)
где n — количество данных в массиве;
T = \sum (i - \frac{n + 1}{2}) \cdot X_{i} (Н.2)
S^{2} = \frac{\sum (X^{i} - \overline{X})^{2}}{n} , (Н.3)
где \overline{X} — величина среднего арифметического выборки;
i — порядок (или ранг) наблюдения x;
в) затем вычисляют критерий Y в соответствии с уравнением
Y = \sqrt{n} \cdot \frac{D - 0,28209479}{0,02998598} ; (Н.4)
г) находят величину критерия Д'Агостино в таблице Н.1. Если число образцов не перечислено в таблице, следует использовать следующую графу для более низкого значения n. Для каждого уровня значимости в таблице даны два критических значения. Если вычисленное значение Y меньше или равно первому члену пары (критической величине Y_{\alpha/2} ) или больше или равно второму члену пары (критической величине Y_{1 - \alpha/2} ), то распределение концентраций в массиве данных не является нормальным.
Критические величины критерия Д'Агостино для проверки нормальности выборки
Пример - На некоторой территории в 100 образцах были измерены фоновые концентрации нефтяных углеводородов, мкг/кг. Исходные данные в порядке возрастания составляют: 1 — 26,8; 2 — 38,7; 3 — 43,7; 4 — 68,3; 5 — 88,9; 6 — 90,9; 7 — 91,6; 8 — 93,2; 9 — 96,5; 10 — 104,4; 11 — 105,7; 12 — 107,0; 13 — 114,0; 14 — 121,8; 15 — 122,5; 16 — 123,2; 17 — 129,94; 18 — 130,2; 19 — 131,3; 20 — 134,3; 21 — 140,4; 22 — 147,6; 23 — 148,5; 24 — 151,6; 25 — 154,2; 26 — 155,4; 27 — 155,8; 28 — 156,6; 29 — 157,9; 30 — 172,7; 31 — 173,2; 32 — 175,5; 33 — 175,8; 34 — 176,5; 35 — 176,5; 36 — 176,8; 37 — 181,0; 38 — 182,0; 39 — 183,5; 40 — 183,8; 41 — 185,4; 42 — 185,5; 43 — 188,5; 44 — 189,0; 45 — 189,2; 46 — 189,8; 47 — 189,8; 48 — 190,7; 49 — 191,1; 50 — 195,2; 51 — 195,2; 52 — 195,5; 53 — 198,9; 54 — 199,4; 55 — 202,6; 56 — 205,1; 57 — 209,2; 58 — 210,2; 59 — 211,0; 60 — 211,3; 61 — 214,3; 62 — 214,9; 63 — 217,3; 64 — 219,1; 65 — 220,0; 66 — 220,9; 67 — 222,1; 68 — 224,3; 69 — 225,0; 70 — 225,4; 71 — 230,6; 72 — 233,6; 73 — 235,2; 74 — 237,3; 75 — 238,4; 76 — 238,9; 77 — 239,6; 78 — 240,0; 79 — 245,9; 80 — 246,1; 81 — 246,2; 82 — 247,8; 83 — 253,4; 84 — 256,7; 85 — 260,4; 86 — 267,0; 87 — 270,9; 88 — 273,4; 89 — 282,1; 90 — 289,0; 91 — 292,2; 92 — 310,4; 93 — 311,8; 94 — 312,7; 95 — 328,1; 96 — 335,8; 97 — 346,0; 98 — 348,2; 99 — 348,5; 100 — 366,2.
Предположим, что необходимая величина \alpha равна 0,05.
Вычисляем величину S, которая равна
{^{[(26,8 - 197,6)^{2} + (38,7 - 197,6)^{2} + ...(n - X)^{2}]/100}}^{{}^{1/2} = 70,1.}
T = \sum (i - \frac{n + 1}{2}) \cdot X_{i} = (1 - \frac{101}{2}) \cdot 26,8 + ...(100 - \frac{101}{2}) \cdot 366,2 = 195886.
Величина D = 195886/(1002·70,1) = 0,279502.
Рассчитываем: Y = 1001/2(0,279502 — 0,282094)/0,02998798 = -0,86459.
Из таблицы Н.1 мы находим, что величина Y_{\alpha/2} равна минус 2,522 и величина Y_{1 - \alpha/2} равна 1,303.
Поскольку минус 0,86459 больше, чем минус 2,522, и меньше, чем 1,303, нельзя сделать заключение, что измерения в массиве данных распределены не в соответствии с нормальным законом распределения.
ИДЕНТИФИКАЦИЯ ЕДИНСТВЕННОГО РЕЗКО ВЫДЕЛЯЮЩЕГОСЯ ИЗМЕРЕНИЯ (ВЫБРОСА) С ПОМОЩЬЮ КРИТЕРИЯ ГРАББСА ДЛЯ ЧИСЛА ОБРАЗЦОВ ОТ 3 ДО 100
Для идентификации одиночных выбросов в массиве данных с числом измерений от 3 до 100 используется критерий Граббса. Вычисления проводят в соответствии с методикой, приведенной ниже:
а) используя все значения измерений, включая предполагаемый выброс, вычисляют среднее арифметическое (\overline{x}) и стандартное отклонение (s) массива данных;
б) предполагаемый выброс (то есть максимальное значение) обозначается как xn, и с помощью уравнения (П.1) вычисляют величину критерия Граббса TG:
T_{G} = (x_{n} - \overline{x})/s; (П.1)
в) полученное значение TG сравнивают с критическим значением T_{\alpha} в таблице Н.1 на основании размера выборки (n) и доверительного уровня 95% (то есть \alpha = 0,05 );
г) если T_{G} \geq T_{\alpha} , делают вывод о том, что измерение является выбросом.
Пример - Предположим, что для некоторой территории в 10 образцах были измерены фоновые концентрации ОЗВ, мг/кг. Исходные данные составляют: 1 — 21,2; 2 — 26,0; 3-9,1; 4 — 28,7; 5 — 13,6; 6 — 52,6; 7 — 18,8; 8 — 25,5; 9 — 18,5; 10 — 26,4. Предположим, что оценка показала, что набор данных распределен нормально, за исключением одного максимального значения (одного потенциального выброса в 52,6 мг/кг).
При использовании всех 10 измерений вычисленная величина TG равна 2,42, а критическая величина T_{\alpha} из таблицы П.1 при \alpha равной 0,05 составляет 2,176. Поскольку TG больше T_{\alpha} (2,42 больше 2,176), можно сделать заключение, что измерение с концентрацией 52,6 мг/кг является выбросом.
Критические величины критерия Граббса ( T_{\alpha} , \alpha = 0,05 )
ИДЕНТИФИКАЦИЯ НЕСКОЛЬКИХ ВЫПАДАЮЩИХ ИЗМЕРЕНИЙ (ВЫБРОСОВ) С ПОМОЩЬЮ КРИТЕРИЯ ДИКСОНА ДЛЯ ЧИСЛА ОБРАЗЦОВ МЕНЕЕ 25
Если есть подозрения, что в массиве данных с числом измерений n <= 25 имеются несколько выбросов, то для проверки этого используют критерий Диксона. Причем если количество данных ниже предела обнаружения составляют не более 50%, то, заменив измерения ниже предела обнаружения на половину величины предела обнаружения при нормальной форме распределения, этот критерий применяют к исходным (нетрансформированным) данным. Для проверки данных на выбросы при логарифмически нормальном распределении сначала рассчитывают величину y = ln(x) и используют значения y (логарифмически трансформированные данные) вместо значений исходных значений x по приведенной ниже методике:
а) располагают набор данных от наименьшего значения до наибольшего значения и отмечают наблюдения как x(1), x(2) ... x(n), где x(1) является наименьшим значением и x(n) является наибольшим значением;
б) основываясь на размере выборки (n), используют одно из уравнений (12) — (15) для расчета контрольной статистики TD;
в) в таблице Р.1 находят критическое значение критерия Диксона (T_{\alpha}) для количества измерений (n) и уровня достоверности 95% (то есть \alpha = 0,05 );
г) сравнивают TD с T_{\alpha} . Если TD больше T_{\alpha} , то измерение (и все потенциальные выбросы, превышающие это значение) можно классифицировать как выбросы.
Критические величины критерия Диксона ( T_{\alpha} , \alpha равна 0,05)
Пример — Предположим, что для некоторой территории в 14 образцах были измерены фоновые концентрации бенз(а)пирена. Исходные данные составляют, нг/г: 1 — 1,9; 2 — 2,1; 3 — 2,2; 4 — 2,4; 5 — 2,5; 6 — 2,5; 7 — 2,7; 8 — 2,8; 9 — 2,9; 10 — 3,1; 11 — 3,2; 12 — 3,9; 13 — 4,5; 14 — 4,6. В соответствии с разделом о выбросах можно считать, что, за исключением последних трех данных, эти данные распределены нормально. Сначала оценивается первый потенциальный выброс (3,9 нг/г). Наблюдения с большими значениями (4,5 и 4,6 нг/г) временно не рассматриваются при вычислении критерия Диксона. Поэтому для проведения вычислений число образцов изменяется до 12. Поэтому для вычислений используется уравнение (Р.3). Для n = 12 вычисленная с помощью уравнения (Р.3) величина TD равна 0,444, а критическая величина T_{\alpha} для \alpha = 0,05 составляет 0,546 (таблица Р.1). Поскольку 0,444 < 0,546, можно сделать заключение, что измерение с концентрацией 3,9 нг/г не является выбросом. Затем количество наблюдений увеличивается до 13. При этом наблюдение с концентрацией 4,5 нг/г считается выбросом. Наблюдение № 14 с максимальной концентрацией 4,6 нг/г при проведении этого расчета не учитывается. Для n, равного 13, вычисленная с помощью уравнения (Р.3) величина TD равна 0,542, а критическая величина T_{\alpha} для \alpha , равной 0,05, и n, равного 13, составляет 0,521 (таблица Р.1). Поскольку 0,542 больше 0,521, можно сделать заключение, что измерение с концентрацией 4,5 нг/г является выбросом. Поскольку неучтенное измерение с концентрацией 4,6 нг/г больше, чем величина 4,5 нг/г, то можно считать, что оба этих измерения являются выбросами.
ИДЕНТИФИКАЦИЯ ВЫПАДАЮЩИХ ИЗМЕРЕНИЙ (ВЫБРОСОВ) С ПОМОЩЬЮ КРИТЕРИЯ РОЗНЕРА ДЛЯ ЧИСЛА ОБРАЗЦОВ БОЛЕЕ 25
При нормальном распределении для проверки выбросов используются исходные (нетрансформированные) данные, при этом при наличии до 50% измерений ниже предела обнаружения их заменяют на величину половины предела обнаружения. Для проверки выбросов при логнормальном распределении сначала вычисляется y = ln(x), и эти значения y используются вместо значений x. Вычисления проводятся помощью методики, приведенной ниже:
а) данные массива располагают в ряд от наименьшего значения до наибольшего, и наблюдения помечаются как x(1), x(2) ... x(n), где x(1) является наименьшей величиной и x(n) является наибольшей. Предварительно число потенциальных выбросов k определяют из графиков или анализа табличных данных;
б) принимают i = 0 и используют следующие уравнения для расчета среднего арифметического значения (\overline{x}) :
\overline{x^{i}} = (x_{1} + x_{2} + ... + x_{n - 1})/(n - 1) (С.1)
и стандартного отклонения (s) для полной выборки (то есть, для i = 0).
s^{i} = \sqrt{\frac{(x_{1} - \overline{x})^{2} + (x_{2} - \overline{x})^{2} + ... + (x_{n - 1} - \overline{x})^{2}}{n - 1}} . (С.2)
Необходимо обозначить эти значения как \overline{x^{(0)}} и s(0). Затем находят величину измерения, наиболее отличающуюся от \overline{x^{(0)}} , и обозначают его как y(0);
в) затем удаляют это экстремальное наблюдение из данных выборки и пересчитывают \overline{x} и s, обозначив их как \overline{x^{(1)}} и s(1) (то есть для i = 1). Затем находят величину измерения, наиболее далекую от \overline{x^{(1)}} , и обозначают его как \overline{y^{(1)}} ;
г) затем удаляют это наблюдение из набора данных и пересчитывают \overline{x} и s, обозначив их как \overline{x^{(2)}} и s21) (то есть для i = 2). Следует отметить, что i относится к числу измерений, которые были удалены из набора данных;
д) повторяют этапы 3 и 4 до тех пор, пока потенциальные выбросы не будут удалены. Эта процедура должна привести к набору результатов в соответствии с выражением
[\overline{x^{(0)}},s^{(0)},y^{(0)}],[\overline{x^{(1)}},s^{(1)},y^{(1)}],...,[\overline{x^{(k - 1)}},s^{(k - 1)},y^{(k - 1)}]; (С.3)
е) затем применяют критерий Рознера для всех возможных выбросов k. Чтобы проверить наличие выбросов, необходимо вычислить статистику критерия в соответствии с уравнением (С.4)
R_{k} = \frac{|y^{(k - 1)} - \overline{x^{(k - 1)}}|}{s^{(k - 1)}} . (С.4)
Необходимо найти критическое значение (R_{\alpha}) из таблицы М.1, учитывая число измерений (n) и уровень достоверности 95% (\alpha = 0,05) . Если R_{k}>R_{\alpha} , то делается заключение о существовании k выбросов. Если нет, процедуру проверки повторяют для k — 1 выбросов. Эта процедура продолжается так до тех пор, пока не будет идентифицирована вся группа выбросов или пока с помощью этого критерия выбросов в выборке обнаружено не будет.
Критические величины критерия Рознера R_{\alpha} для \alpha , равной 0,05
Пример - Предположим, что для некоторой территории в 30 образцах были измерены фоновые концентрации ОЗВ. С помощью оценки формы распределения было показано, что эти данные имеют логнормальное распределение. Представленные в порядке возрастания логтрансформированные данные (в виде натуральных логарифмов концентраций, выраженных в мг/кг) составляют: 1 — минус 0,90; 2 — минус 0,85; 3 — минус 0,70; 4 — минус 0,59; 5 — минус 0,57; 6 — минус 0,57; 7 — 0,40; 8 — минус 0,29; 9 — минус 0,23; 10 — минус 0,23; 11 — минус 0,20; 12 — минус 0,19; 13 — 0,13; 14 — минус 0,10; 15 — минус 0,03; 16 — минус 0,003; 17 — 0,03; 18 — 0,10; 19 — 0,11; 20 — 0,13; 21 — 0,16; 22 — 0,25; 23 — 0,25; 24 — 0,30; 25 — 0,36; 26 — 0,55; 27 — 0,60; 28 — 1,50; 29 — 1,60; 30 — 2,00.
На основании вероятностного графика, описанного в пункте 6.1.1 раздела 6, было предположено, что три измерения с самыми высокими концентрациями являются потенциальными выбросами. В соответствии с описанной выше процедурой для i, равной 0, величина R равна 2,87, а R критическая равна 2,91; для i, равной 1, величина R равна 2,77, а R критическая равна 2,89; для i, равной 2, величина R равна 3,13, а R критическая равна 2,88. Поскольку результаты проверки показывают, что величина критерия Рознера для n, равным 30, и числа потенциальных выбросов, равных 3, составила 3,13 и была больше, чем критическая величина критерия Рознера в 2,88, можно сделать заключение, что все три максимальных значения логарифмов содержания ОЗВ в почве (1,5, 1,6 и 2,0) являются выбросами.
ИДЕНТИФИКАЦИЯ ВЫПАДАЮЩИХ ИЗМЕРЕНИЙ (ВЫБРОСОВ) ПРИ НЕПАРАМЕТРИЧЕСКОМ РАСПРЕДЕЛЕНИИ ДАННЫХ
В том случае, если распределение данных не подчиняется нормальному или логнормальному распределению, то для выборок с числом данных более 60 для идентификации потенциальных выбросов применяют следующий критерий (методология проверки данных такой выборки на выбросы приведена ниже):
а) располагают данные выборки в ряд от наименьшего значения до наибольшего и помечают измерения x(1), x(2) ... x(n), где x(1) является наименьшей концентрацией и x(n) является наибольшей концентрацией. Если n менее 60, то проверку с помощью этого критерия проводить нельзя;
б) из графиков или анализа табличных данных сначала определяют количество потенциальных выбросов r более или равно 1.
Затем вычисляют следующие параметры:
b^{2} = \frac{1}{\alpha} , (Т.3)
a = \frac{1 + b \sqrt{\frac{(c - b^{2})}{c - 1}}}{c - b^{2} - 1} , (Т.4)
где ceiling обозначает округление величин до следующего самого большого целого числа;
в) если Xr — (1 + a)Xr+1 + aXk < 0, то количество r самых маленьких концентраций являются выбросами (при уровне значимости \alpha );
г) если Xn+1-r — (1 + a)Xn-r + aXn+1-k > 0, то количество r самых больших концентраций являются выбросами (при уровне значимости \alpha ).
Пример - Предположим, что для некоторой территории в 61 образце были измерены фоновые концентрации ОЗВ. Исходные данные, мг/кг: 1 — 14,57; 2 — 16,05; 3 — 19,3; 4 — 24,8; 5 — 27,5; 6 — 27,8; 7 — 32,4; 8 — 33,4; 9 — 33,8; 10 — 33,9; 11 — 35,1; 12 — 50,9; 13 — 54,85; 14 — 63,95; 15 — 68,3; 16 — 70,9; 17 — 96; 18 — 109,75; 19 — 135,8; 20 — 141,8; 21 — 160; 22 — 184,3; 23 — 14,57; 24 — 16,05; 25 — 17,05; 26 — 18,05; 27 — 19,05; 28 — 20,05; 29 — 21,05; 30 — 33,4; 31 — 33,8; 32 — 33,9; 33 — 35,1; 34 — 50,9; 35 — 54,85; 36 — 63,95; 37 — 68,3; 38 — 70,9; 39 — 96; 40 — 109,75; 41 — 135,8; 42 — 141,8; 43 — 160; 44 — 184,3; 45 — 16,05; 46 — 17,05; 47 — 18,05; 48 — 19,05; 49 — 14,57; 50 — 16,05; 51 — 19,3; 52 — 24,8; 53 — 27,5; 53 — 27,5; 54 — 27,8; 55 — 32,4; 56 — 16,05; 57 — 17,05; 58 — 18,05; 59 — 296,9; 60 — 728,9; 61 — 105,2.
Анализируя исходные данные, можно предположить, что число потенциальных выбросов r равно 1 (измерение 60 (728,9 мг/кг)). В соответствии с уравнением (Т.1) величина c равна 12, величина k равна 13. Если принять уровень значимости \alpha , равным 0,1, то величина b2 равна 10. В соответствии с уравнением (Т.3) величина b равна 3,16, а величина a равна 2,35.
Используя уравнение в пункте г), получаем, что Xn+1-r — (1 + a)Xn-r + aXn+1-k равно минус 18,1, что меньше 0. Таким образом, измерение с самым высоким значением не является выбросом.
ОПРЕДЕЛЕНИЕ ВЕРХНЕЙ ДОВЕРИТЕЛЬНОЙ ГРАНИЦЫ СРЕДНЕГО ЗНАЧЕНИЯ РФК, ИМЕЮЩЕЙ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ ПРИ УРОВНЕ ЗНАЧИМОСТИ 0,05, С ПОМОЩЬЮ КРИТЕРИЯ СТЬЮДЕНТА [9]
При нормальном распределении выборки ВДГ для среднего рассчитывают на основе t-распределения Стьюдента. Предварительно оценивают статистическое распределение данных с использованием формальных критериев и проводят проверку на наличие выбросов:
а) сначала вычисляют среднее арифметическое значение выборки \overline{x} и ее стандартное отклонение s;
б) используя таблицу С.1, находят t-величину Стьюдента для уровня доверия (1 - \alpha)\% (необходимо принимать \alpha , равной 0,05) и степени свободы n — 1. Эта величина обозначается t_{1 - \alpha,n - 1} ;
в) затем вычисляют одностороннюю (1 - \alpha)\% ВДГ для среднего арифметического в соответствии с уравнением
\text{ВДГ}_{1 - \alpha} = \overline{x} + t_{1 - \alpha,n - 1} \cdot \frac{s}{\sqrt{n}} . (У.1)
Пример — Предположим, что на некоторой территории в 24 образцах были измерены фоновые концентрации суммы ПАУ, мкг/кг. Исходные данные в порядке возрастания составляют: 1 — 14,57; 2 — 16,05; 3 — 19,3; 4 — 24,8; 5 — 27,5; 6 — 27,8; 7 — 32,4; 8 — 33,4; 9 — 33,8; 10 — 33,9; 11 — 35,1; 12 — 50,9; 13 — 54,85; 14 — 63,95; 15 — 68,3; 16 — 70,9; 17 — 96; 18 — 109,75; 19 — 135,8; 20 — 141,8; 21 — 160; 22 — 184,3; 23 — 296,9; 24 — 728,9. Вычисленная на основе этого массива данных величина среднего арифметического равна 102,54 мкг/кг. При этом величина стандартного отклонения равна 149,54 мг/кг. Величина коэффициента Стьюдента для уровня доверия 95%, найденная в таблице У.1 для 23 степеней свободы, равна 1,714. В соответствии с выражением С.1 величина 95% ВДГ равна 154,87 мкг/кг. Если из исходного массива данных удалить два самых максимальных значения, которые можно рассматривать как выбросы, то величина коэффициента Стьюдента для уровня доверия 95%, найденная в таблице У.1 для 23 степеней свободы, равна 1,721. В соответствии с уравнением (У.1) величина 95% ВДК равна 83,83 мкг/кг.
Величины t_{n - 1,\alpha} для \alpha , равной 0,05
ОПРЕДЕЛЕНИЕ ВЕРХНЕЙ ДОВЕРИТЕЛЬНОЙ ГРАНИЦЫ СРЕДНЕГО АРИФМЕТИЧЕСКОГО РФК, ИМЕЮЩЕЙ ЛОГНОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ ПРИ УРОВНЕ ЗНАЧИМОСТИ 0,05, С ПОМОЩЬЮ МЕТОДА ЛЭНДА
Процедура вычисления ВДГ по методу Лэнда [10] приведена ниже:
а) если в выборке имеются измерения ниже предела обнаружения, то их заменяют на величину половины предела обнаружения (если количество измерений ниже предела обнаружения не достигает 50%). Затем вычисляют натуральный логарифм каждого измерения, при этом трансформированное значение y будет равно ln(x);
б) затем вычисляют среднее значение (\overline{y}) и стандартное отклонение (sy) логарифмически преобразованного набора данных;
в) в таблице Ф.1 для \alpha = 0,05 находят H_{\alpha - 1} . Это значение зависит от размера выборки (n) и стандартного отклонения логарифмически преобразованных данных (sy). Если число измерений и стандартное отклонение не показаны в таблице, то величину H_{\alpha - 1} интерполируют, используя соседние ячейки таблицы;
г) для вычисления (1 - \alpha)\% ВДГ среднего используется следующее уравнение:
\text{ВДГ}_{1 - \alpha} = exp[\overline{y} + \frac{s_{y}^{2}}{2} + \frac{s_{y} \cdot H_{1 - \alpha}}{\sqrt{n - 1}}]. (Ф.1)
Величины для расчета H0,95 в методе Лэнда
Если полученный ВДГ больше норматива, то необходимо сделать вывод о том, что среднее РФК выше данного норматива. Если ВДГ меньше норматива, то необходимо сделать заключение, что среднее РФК ниже данного норматива.
Пример — Предположим, что для некоторой территории в 15 образцах были измерены фоновые концентрации ОЗВ, мг/кг. Исходные данные: 1 — 3,20; 2 — 27,70; 3 — 2,57; 4 — 9,98; 5 — 6,38; 6 — 2,12; 7 — 2,80; 8 — 12,11; 9 — 6,92; 10 — 5,38; 11 — 23,19; 12 — 7,02; 13 — 7,32; 14 — 28,62; 15 — 2,59. Предположим, что оценка показала, что этот набор данных распределен логнормально. Применяя методологию Лэнда получаем: \overline{y} равным 1,92; s_{y}^{2} равным 0,76; sy равным 0,87; H0,95 равным 2,545. С помощью уравнения (Ф.1) вычисляем 95% ВДГ: величина в квадратных скобках уравнения (Ф.1) равна 2,90, а величина экспоненты этой величины (то есть величина 95% ВДГ) составляет 18,2 мг/кг.
ОПРЕДЕЛЕНИЕ ВЕРХНЕЙ ДОВЕРИТЕЛЬНОЙ ГРАНИЦЫ МЕДИАНЫ РФК ДЛЯ ВЫБОРКИ, ИМЕЮЩЕЙ НЕПАРАМЕТРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ
Для выборок, которые не являются ни нормальными, ни логнормальными, используют следующий метод вычисления ВДГ. При этом доверительную границу определяют не для среднего, а для медианы. Чтобы построить доверительные границы для медианы при непараметрическом распределении данных по доверительной вероятности p находят U(p). U(p) — число, заданное равенством Ф(U(p)) = (1 + p)/2, где Ф(x) — функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Например, при p, равной 95% (т.е. при p равной 0,95), имеем U(p), равным 1,96.
Чтобы построить доверительные границы для медианы, по доверительной вероятности p находят U(p). Затем вычисляют натуральное число C(p) = [\frac{n}{2} - \frac{U(p)n^{1/2}}{2}] , где [,] — знак целой части числа. Нижняя доверительная граница для медианы имеет вид (при C(p) более 1; если p равно 0,95 и U(p) равно 1,96, то C(p) более 1 при n более 8)
где Xi — член с номером i вариационного ряда, построенного по исходной выборке (т.е. i-я порядковая статистика).
Верхняя доверительная граница для медианы имеет вид
Пример - Предположим, что на некоторой территории в 50 образцах были измерены фоновые концентрации суммы ПАУ, мкг/кг. Расчет проводят в следующей последовательности:
а) располагаем данные выборки в ряд от наименьшего значения до наибольшего и помечаем измерения x(1), x(2) ... x(n), где x(1) является наименьшим измерением и x(n) является наибольшим.
Исходные данные в порядке возрастания составляют: 1 — 9; 2 — 17,5; 3 — 21; 4 — 26,5; 5 — 27,5; 6 — 31; 7 — 32,5; 8 — 34; 9 — 36; 10 — 36,5; 11 — 39; 12 — 40; 13 — 41; 14 — 42,5; 15 — 43; 16 — 45; 17 — 46; 18 — 47,5; 19 — 48; 20 — 50; 21 — 51; 22 — 53,5; 23 — 55; 24 — 56; 25 — 56; 26 — 56,5; 27 — 57,5; 28 — 58; 29 — 59; 30 — 59; 31 — 60; 32 — 61; 33 — 61,5; 34 — 62; 35 — 63; 36 — 64,5; 37 — 65; 38 — 67,5; 39 — 68,5; 40 — 70; 41 — 72,5; 42 — 77,5; 43 — 81; 44 — 82,5; 45 — 90; 46 — 96; 47 — 101,5; 48 — 117,5; 49 — 127,5; 50 — 130;
б) находим медиану выборки численностью n, которая равна 56,25;
в) для доверительной вероятности p, равной 0,95, рассчитываем
C(p) = [50/2 - 1,96 \sqrt{50/2}] = [18,07] = 18.
Отсчитываем от упорядоченного набора данных число рангов, равное 18. Это и будет нижней 95% доверительной границей медианы. То есть нижняя доверительная граница медианы является X(18), которая равна 47,5 мкг/кг;
г) для верхней 95% доверительной границы медианы рассчитываем: X(50 + 1 — 18) = X(33). И получаем 95% ВДГ, равную 61,5 мкг/кг.
БИБЛИОГРАФИЯ
| Ключевые слова: региональный фон, органические загрязнители, почва, статистические характеристики |
|---|