Р 50.1.086-2013. Рекомендации по стандартизации. Статистические методы. Примеры применения. Часть 6. Анализ выборочных оценок среднего и стандартного отклонения
(утв. и введены в действие Приказом Росстандарта от 22.11.2013 № 1663-ст)
Примечание
Документ введен в действие с 01.12.2014.
Утверждены и введены в действие Приказом Федерального агентства по техническому регулированию и метрологии от 22 ноября 2013 г. № 1663-ст
РЕКОМЕНДАЦИИ ПО СТАНДАРТИЗАЦИИ
АНАЛИЗ ВЫБОРОЧНЫХ ОЦЕНОК СРЕДНЕГО И СТАНДАРТНОГО ОТКЛОНЕНИЯ
Statistical methods. Examples of application. Part 6. Consideration of sample mean and sample standard deviation
Дата введения 1 декабря 2014 года
1 РАЗРАБОТАНЫ Автономной некоммерческой организацией «Научно-исследовательский центр контроля и диагностики технических систем» (АНО «НИЦ КД»)
2 ВНЕСЕНЫ Техническим комитетом по стандартизации ТК 125 «Применение статистических методов»
3 УТВЕРЖДЕНЫ И ВВЕДЕНЫ В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 22 ноября 2013 г. № 1663-ст
Информация об изменениях к настоящим рекомендациям публикуется в ежегодном указателе «Национальные стандарты», а текст изменений и поправок — в ежемесячно издаваемых информационных указателях «Национальные стандарты». В случае пересмотра (замены) или отмены настоящих рекомендаций соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет
Серия рекомендаций по стандартизации «Статистические методы. Примеры применения» включает разъяснения применения статистических методов в простой и доступной форме.
В рекомендациях представлены способы применения простых статистических методов и приемов, показано, как знание процесса производства может способствовать его улучшению, повышению эффективности, производительности и повышению качества изготавливаемой продукции.
Термин «статистический» обычно применяют по отношению к методам, связанным с обработкой числовых данных, относящихся к контролю качества продукции, управлению технологическими процессами, увеличению выпуска продукции и продаж, снижению затрат, и как следствие, стоимости продукции, а также к заработной плате. До применения конкретного статистического метода необходимо четко понимать его назначение.
В настоящих рекомендациях рассмотрены методы статистического анализа оценок среднего и стандартного отклонения, полученных по выборочным данным. В рекомендациях приведены примеры и даны рекомендации по применению этих методов.
В серии рекомендаций «Статистические методы. Примеры применения» приведены пояснения к использованию статистических методов, применяемых в менеджменте, контроле и улучшении процессов с учетом требований ГОСТ Р ИСО/ТО 10017.
В настоящих рекомендациях рассмотрены методы статистического анализа выборочных данных, а также полученных на их основе оценок среднего и стандартного отклонения совокупности.
Применение представленных в настоящих рекомендациях методов позволяет повысить достоверность оценок и таким образом способствует принятию более объективных решений исследуемых параметров.
В настоящих рекомендациях использованы нормативные ссылки на следующие документы:
ГОСТ Р 50779.10-2000 Статистические методы. Вероятность и основы статистики. Термины и определения
ГОСТ Р 50779.11-2000 Статистические методы. Статистическое управление качеством. Термины и определения
ГОСТ Р ИСО 9000-2008 Системы менеджмента качества. Основные положения и словарь
ГОСТ Р ИСО/ТО 10017-2005 Статистические методы. Руководство по применению в соответствии с ГОСТ Р ИСО 9001
ГОСТ Р ИСО 11453-2005 Статистические методы. Статистическое представление данных. Проверка гипотез и доверительные интервалы для пропорций
ГОСТ Р ИСО 16269-6-2005 Статистические методы. Статистическое представление данных. Определение статистических толерантных интервалов
ГОСТ Р ИСО 16269-7-2004 Статистические методы. Статистическое представление данных. Медиана. Определение точечной оценки и доверительных интервалов
ГОСТ Р ИСО 16269-8-2005 Статистические методы. Статистическое представление данных. Определение предикционных интервалов
Р 50.1.040-2002 Статистические методы. Планирование экспериментов. Термины и определения
Р 50.1.073-2010 Статистические методы. Примеры применения. Часть 2. Анализ данных на соответствие установленным требованиям
Р 50.1.074-2010 Статистические методы. Примеры применения. Часть 3. Анализ данных контроля
Р 50.1.082-2012 Статистические методы. Примеры применения. Часть 4. Прямые статистические приемы анализа данных
Примечание - При пользовании настоящими рекомендациями целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
В настоящих рекомендациях применены термины по ГОСТ Р 50779.10, ГОСТ Р 50779.11, Р 50.1.040 и ГОСТ Р ИСО 9000.
Для обеспечения однозначности трактовки формул и выводов, приведенных в рекомендациях, следует учитывать различия в обозначениях, используемых для характеристик совокупности (партии) и выборки, отобранной из этой совокупности. Обычно для совокупности содержащей № элементов, среднее обозначают \mu , а стандартное отклонение \sigma . Для выборки, содержащей n элементов, выборочное среднее обозначают \overline{x} , а выборочное стандартное отклонение s. Значения характеристик для различных выборок идентифицируют при помощи нижних индексов, например:
\overline{x_{1}} , s1 — выборочные среднее и стандартное отклонение первой выборки объема n1;
\overline{x_{2}} , s2 — выборочные среднее и стандартное отклонение второй выборки объема n2;
\overline{x_{3}} , s3 — выборочные среднее и стандартное отклонение третьей выборки объема n3;
\overline{x_{4}} , s4 — выборочные среднее и стандартное отклонение четвертой выборки объема n4.
Если из совокупности отобрано много случайных выборок объема n, то стандартное отклонение выборочных средних \overline{x} является мерой ошибки при использовании выборочного среднего одной выборки из n элементов в качестве оценки среднего совокупности \mu . Это стандартное отклонение выборок \overline{x_{1}} , \overline{x_{2}} и т.д. называют стандартной ошибкой среднего. Аналогично стандартное отклонение выборочных стандартных отклонений s1, s2, ..., и т.д., называют стандартной ошибкой стандартного отклонения при использовании s в качестве оценки \sigma .
Математическая статистика позволяет определить оценки указанных стандартных ошибок по результатам одной выборки. Далее предполагается, что объем выборки n существенно меньше объема совокупности N, например n \leq \frac{1}{20} N .
5 Изменчивость выборочных средних
Математическое ожидание (среднее) среднего арифметического (выборочного среднего), рассчитанного по выборке объема n, отобранной из совокупности, равно истинному среднему совокупности, т.е.
Стандартное отклонение выборочного среднего \overline{x} равно истинному стандартному отклонению совокупности, деленному на корень из n, т.е.
\sigma_{x} = \frac{\sigma}{\sqrt{n}} . (2)
В большинстве случаев при n >= 5 распределение выборочных средних может быть аппроксимировано нормальным распределением.
Если предположить, что выборка содержит приблизительно 20 или более элементов, можно сделать следующее заключение. Так как \overline{x} изменяется в соответствии с нормальным распределением со средним \mu и стандартным отклонением \frac{\sigma}{\sqrt{n}} , то маловероятно, что в любой случайной выборке разность (\overline{x} - \mu) будет больше 2\sigma \sqrt{n} и почти невероятно, что она будет больше 3\sigma \sqrt{n} . Следовательно, скорее всего выборочное среднее не будет отличаться от истинного среднего соответствующей совокупности больше чем на \pm 3\sigma \sqrt{n} . В тех случаях, когда стандартное отклонение \sigma неизвестно, часто используют его оценку, полученную по выборке.
6 Изменчивость стандартных отклонений
Квадрат стандартного отклонения является дисперсией, т.е. s2 — выборочная дисперсия, \sigma^{2} — дисперсия совокупности. Математическое ожидание выборочных дисперсий для выборки объема n равно дисперсии совокупности, т.е.
\mu_{s}^{2} = \sigma^{2} . (3)
Однако математическое ожидание выборочного стандартного отклонения s для объема выборки n меньше \sigma , т.е. s является смещенной оценкой \sigma . В данном случае смещение отрицательно. Смещение зависит от объема выборки и уменьшается с увеличением объема выборки.
Коэффициенты, используемые при вычислении границ доверительных интервалов для среднего и стандартного отклонения совокупности
Математическое ожидание выборочного стандартного отклонения по выборке объема n имеет вид:
где c4 — коэффициент, учитывающий смещение и зависящий от n.
Примечание - Соотношение (4) справедливо только в случае, когда наблюдения подчиняются нормальному распределению.
Значения c4 для объемов выборки от 2 до 30 приведены в таблице 2. Значение c4 приблизительно равно 4 (n — l)/(4n — 3).
Значения коэффициентов, позволяющих учесть смещение выборочных стандартных отклонений
Устранение смещения особенно важно в ситуациях, когда выборочное стандартное отклонение используют в качестве оценки стандартного отклонения совокупности. Для устранения смещения оценку стандартного отклонения определяют по формуле \sigma = s/c_{4} .
Относительно устранения смещения необходимо учитывать следующее.
а) При малом объеме выборки n смещение является существенным.
б) Если n мало, никакая единственная оценка \sigma не может быть удовлетворительной. Можно лишь получить нижнюю и верхнюю ( \sigma_{1} и \sigma_{2} ) границы доверительного интервала для \sigma (см. таблицу 1). Этот интервал характеризует неопределенность оценки \sigma по малому количеству наблюдений.
в) Устранение смещения в случае, когда \sigma оценивают по большому количеству малых выборок, позволяет получить объективную несмещенную оценку.
В соответствии с (2) существует приближение теоретического выражения для стандартной ошибки стандартного отклонения s (т.е. стандартной ошибки выборочного стандартного отклонения)
\sigma_{s} = \frac{\sigma}{\sqrt{2(n - 1)}} (5)
Применение этого приближения имеет несколько ограничений:
а) наблюдения x должны подчиняться нормальному распределению или распределению близкому к нормальному;
б) в случае, когда \sigma не известно, вместо \sigma в правой части (5) используют s, при этом выборка должна состоять не менее чем из тридцати наблюдений.
Пример — Данные таблицы 3 иллюстрируют изменчивость \overline{x} и s по выборкам из одной и той же совокупности. Через каждые два часа с конвейера отбирают одну банку консервированных томатов и взвешивают ее содержимое. Таким образом, за смену (8 ч) получают четыре результата взвешивания. В таблице 3 приведены результаты наблюдений в течение 40 смен.
Результаты взвешивания содержимого банок консервированных томатов, г
Общий анализ данных таблицы 3 в соответствии с Р 50.1.074 показывает, что изменчивость в выборке от элемента к элементу является устойчивой в течение всего периода наблюдений.
Среднее и стандартное отклонение по 160 наблюдениям составили \mu = 403,84\text{г} и \sigma = 1,909\text{г} .
Выборочные средние и стандартные отклонения \overline{x} и s для сорока выборок по четыре наблюдения в каждой приведены в таблице 4. В таблице 5 они представлены в сгруппированном виде (см. таблицу 6 из Р 50.1.082).
Данные взвешивания консервированных томатов. Выборочные средние и стандартные отклонения по четырем наблюдениям за смену, г
Данные взвешивания консервированных томатов. Частота появления значений выборочных средних и стандартных отклонений по четырем наблюдениям
Если принять среднее и стандартное отклонение по всем (160) имеющимся данным за истинное, можно проверить выполнение соотношений (1), (2), (4) и (5). Результаты приведены в таблице 6.
Данные взвешивания консервированных томатов. Сравнение полученных результатов с теоретическими
Репрезентативная выборка является важным расширением предыдущих результатов, когда контролируемые элементы отобраны из нескольких источников, каждый из которых находится в статистически управляемом состоянии, но имеет собственное среднее процесса.
Предположим, что совокупность (партия) состоит из большого количества элементов, причем p1 — доля элементов, полученных из первого источника, p2 — из второго и т.д., и pk — из k-го источника. Предположим, что среднее и стандартное отклонение характеристики качества продукции из первого источника \mu_{1} и \sigma_{1} , из второго источника \mu_{2} и \sigma_{2} и т.д. Среднее для всей совокупности в этом случае:
\mu = p_{1}\mu_{1} + p_{2}\mu_{2} + ... + p_{k}\mu_{k} . (6)
Репрезентативная выборка из n элементов может быть отобрана путем случайного отбора n1 элементов из первого источника, n2 элементов из второго источника, и так далее, где:
n1 = n·p1, n2 = n·p2, ..., nk = n·pk, (7)
Если \tilde{x} — среднее характеристики по репрезентативной выборке из n элементов, то это среднее может быть использовано в качестве оценки истинного среднего совокупности \mu . Стандартная ошибка (стандартное отклонение выборочных средних) имеет вид:
\sigma_{x} = \frac{1}{n} \sqrt{n_{1}\sigma_{1}^{2} + n_{2}\sigma_{2}^{2} + ... + n_{k}\sigma_{k}^{2}} . (8)
На практике часто стандартные отклонения характеристик продукции из различных источников приблизительно совпадают, т.е. \sigma_{1} = \sigma_{2} = ... = \sigma_{k} = \sigma . Тогда (8) принимает вид:
\sigma_{x} = \frac{\sigma}{\sqrt{n}} . (9)
Результаты (8) и (9), а также (1) - (3) не зависят от предположений о нормальности распределения и позволяют сделать следующие выводы:
а) если может быть отобрана репрезентативная выборка путем отбора подвыборок, удовлетворяющих условию (7), изменчивость оценки \overline{x} зависит только от изменчивости наблюдаемой характеристики в пределах каждого источника, а не от различия между средними \mu_{1} , \mu_{2} , ..., \mu_{k} ;
б) если значения \sigma_{1} , \sigma_{2} , ..., \sigma_{k} неизвестны, их можно оценить в виде выборочных стандартных отклонений по подвыборкам. В частности, если \sigma_{1} = \sigma_{2} = ... = \sigma_{k} = \sigma то в качестве оценки \sigma может быть использован размах оценок стандартных отклонений подвыборок;
в) если нет возможности отобрать репрезентативную выборку, удовлетворяющую условиям (7), то оценка среднего совокупности будет иметь более низкую точность. Всю совокупность элементов в этом случае следует рассматривать как единственную группу, имеющую стандартное отклонение \sigma\prime . Выборочному среднему \overline{x} по n наблюдениям выборки, отобранной случайным образом из совокупности, соответствует стандартная ошибка
\sigma_{x} = \frac{\sigma\prime}{\sqrt{n}} . (10)
В этом случае можно показать, что
\sigma\prime = \sqrt{p_{1}\sigma_{1}^{2} + p_{2}\sigma_{2}^{2} + ... + p_{k}\sigma_{k}^{2} + p_{1}(\mu_{1} - \mu)^{2} + p_{2}(\mu_{2} - \mu)^{2} + ... + p_{k}(\mu_{k} - \mu)^{2}} (11)
Если \sigma_{1} = \sigma_{2} = ... = \sigma_{k} = \sigma , то
\sigma\prime = \sqrt{\sigma^{2} + p_{1}(\mu_{1} - \mu)^{2} + p_{2}(\mu_{2} - \mu)^{2} + ... + p_{k}(\mu_{k} - \mu)^{2}} . (12)
По величине \sigma\prime больше или равно \sigma . Следовательно, если \mu_{1} , \mu_{2} , ..., \mu_{k} не все равны \mu , то среднее процесса меняется от источника к источнику. Оценка общего среднего будет иметь больший разброс и меньшую точность.
г) даже при отсутствии попыток определения оценок значений \sigma_{1} , \sigma_{2} ,..., \sigma_{k} репрезентативную выборку часто используют, чтобы гарантировать, что оценка среднего совокупности максимально достоверна. Другими словами, при отсутствии каких-либо вычислений, отбор репрезентативной выборки фактически спланирован так, что стандартная ошибка соответствует (8) или (9), а не (10), (11) или (12).
Изложенное, может быть проиллюстрировано на примере анализа качества кирпичей.
Пример - Свойства кирпича зависят до некоторой степени от его размещения в печи во время обжига. Исследование показало, что в конкретном случае стандартное отклонение прочности всей партии сухих кирпичей, изготовленных в единственной печи, составило:
\sigma\prime = 1283\text{н}/\text{см}^{2} .
Если поперечное сечение печи для обжига разделить на девять секторов, среднее стандартных отклонений прочности кирпича всех секторов печи составляет:
\sigma\prime = 737\text{н}/\text{см}^{2} .
Из этого следует, что изготовитель, отбирая случайным образом четыре кирпича из каждого сектора, может получить для оценки среднего 36 результатов со стандартной ошибкой
\frac{\sigma\prime}{\sqrt{36}} \approx 123\text{н}/\text{см}^{2} .
Примечание - Тот же результат может быть получен следующим образом. Стандартная ошибка для среднего по четырем наблюдениям в каждом секторе печи составляет 737/ \sqrt{4} = 368,5\text{н}/\text{см}^{2} . Стандартная ошибка среднего по 36 наблюдениям путем усреднения девяти средних составляет 368,5 \sqrt{9} = 123\text{н}/\text{см}^{2} .
С другой стороны у пользователя нет возможности получить репрезентативную выборку. Чтобы получить оценку среднего с такой же стандартной ошибкой, какая соответствует оценке по 36 кирпичам, пользователь должен проверить n = 110 кирпичей, поскольку:
\frac{\sigma\prime}{\sqrt{110}} \approx 123\text{н}/\text{см}^{2} .
Необходимо понимать, что приведенные соображения важны только в случае, когда среднее характеристики используют для управления процессом.
Для некоторых видов продукции на практике не измеряют характеристики каждой единицы продукции в выборке, а записывают единственное значение, которое является общим показателем для всей выборки. Например, определяют общую массу выборки из n элементов, а не результаты взвешивания каждого элемента. Для отбора выборки нештучных материалов, таких как уголь, цемент и нефть, методы отбора выборки могут быть связаны с измерением лишь общей меры. Однако без дополнительной информации невозможно определить достоверность этого показателя. Это вызвано тем, что изменения показателя могут быть следствием изменения среднего, а не ошибками измерений элементов выборки.
Единственный метод, позволяющий оценить процедуры отбора выборки, состоит в независимом повторении процедуры отбора выборки, выполняемой несколько раз на одной и той же партии, что позволяет получить стандартные отклонения этих независимых результатов. Если процесс является устойчивым, то процедура отбора выборки может быть первоначально исследована, а затем периодически проверена. Экономичный метод обеспечения адекватности процесса состоит в независимом отборе повторных выборок. Например, для некоторых видов продукции как описано в Р 50.1.83, на примере отбора выборки железной руды, количество порций руды может быть отобрано равномерно с конвейера и разделено на две части, которые помещают в две отдельные емкости, а затем перемешивают, взвешивают и т.д. Окончательный анализ выполняют независимо два раза.
Предположим, что x1 и x2 — два результата измерений характеристики, используемой для оценки качества продукции. Из статистической теории известно, что стандартное отклонение разности d = x1 — x2 может быть выражено через стандартное отклонение x:
\sigma_{d} = \sqrt{2\sigma_{x}} . (13)
Этот результат справедлив, даже если среднее процесса изменяется от партии к партии при условии, что:
а) изменчивость характеристики вокруг среднего в частях отобранного объема — приблизительно одинакова во всей массе материала;
б) повторные выборки независимы, например, если x1 выше среднего значения, то x2, с равной вероятностью может быть и выше и ниже среднего значения.
Из (13) следует, что если эти условия выполнены, \sigma_{d}/ \sqrt{2} может быть использовано в качестве оценки \sigma_{x} , стандартной ошибки оценок x1 и x2. Поскольку известно, что стандартная ошибка среднего x1 и x2 равна \sigma_{x}/ \sqrt{2} , то \sigma_{d}/ \sqrt{2} может быть использовано в качестве стандартной ошибки оценки \overline{x} = (x_{1} + x_{2})/2 . При контроле процесса последовательные значения d = x1 — x2 могут быть графически показаны на контрольной карте (см. [2]).
9 Пример использования среднего и наименьшего веса в выборке установленного объема стандартных образцов ткани
Ниже приведен пример использования стандартной ошибки среднего, т.е. \sigma/ \sqrt{n} . В примере 2 из Р 50.1.073 приведены веса 128 стандартных образцов ткани, взятых из рулона ткани. Оптовый покупатель обычно сначала изучает качество тканей, а затем определяет свои требования и метод контроля. Например, изготовитель получает штраф, если средний вес образца ткани составляет \mu = 100\text{г} , а стандартное отклонение \sigma = 3,5\text{г} . В этом случае изготовитель стремится поднять качество ткани выше этого уровня и получать штрафы реже. Покупатель намерен ввести в контракт положение об отклонении рулона ткани, из которого взята выборка, если образцы не соответствуют этим требованиям. Для этого необходимо определить, сколько образцов (4, 8 или 16) следует отбирать из рулона ткани и каким должен быть минимальный средний вес n образцов, используемый в качестве критерия для отклонения рулона ткани. Проблема состоит в определении этого минимального среднего веса в каждом случае.
Если производственный процесс находится в состоянии статистической управляемости, выборочные средние по n образцам подчиняются приблизительно нормальному распределению со средним \mu и стандартным отклонением \frac{\sigma}{\sqrt{n}} .
Квантили нормированного нормального распределения
Анализ таблицы 7 показывает, что в среднем:
10% выборочных средних (т.е. 1 из 10) будут менее (\mu - 1,2816\sigma/ \sqrt{n}) ;
5% выборочных средних (т.е. 1 из 20) будут менее (\mu - 1,6449\sigma/ \sqrt{n}) ;
1% выборочных средних (т.е. 1 из 100) будут менее (\mu - 2,3263\sigma/ \sqrt{n}) ;
0,5% выборочных средних (т.е. 1 из 200) будут менее (\mu - 2,5758\sigma/ \sqrt{n}) .
Покупатель решает установить минимум так, чтобы изготовитель, продукция которого соответствует \mu = 100 , \sigma = 3,5 , мог принять только один рулон из 20. В результате установлены следующие приемочные значения:
Для выборок объема 4: L_{4} = 100 - 1,6449 \times 3,5/ \sqrt{4} = 97,12 .
Для выборок объема 8: L_{8} = 100 - 1,6449 \times 3,5/ \sqrt{8} = 97,96 .
Для выборок объема 16: L_{16} = 100 - 1,6449 \times 3,5/ \sqrt{16} = 98,56 .
Эти значения приведены в левой стороне таблицы 8 вместе с количеством рулонов, которые были отклонены при проведении контроля.
Если бы было принято решение, что средний вес образца должен быть не менее 103 г со стандартным отклонением не более \sigma = 3,5\text{г} , то приемочные значения увеличились бы, они приведены в правой стороне таблицы 8 вместе с количеством принятых рулонов.
Правило контроля на основе выборочного среднего веса образца ткани
Преимущества изменения приемочного значения для покупателя очевидны. Выборочные среднее и стандартное отклонение для 128 результатов наблюдений равны 99,91 г и 3,49 г соответственно. Изменив правила контроля, покупатель может защитить себя от получения материала низкого качества.
Рассмотрим ситуацию, когда предложенное правило принятия решения применяют к минимальному значению в выборке. Если веса образцов подчиняются нормальному распределению со средним \mu и стандартным отклонением \sigma , то приемочное значение может быть определено по следующей формуле
Значение коэффициента k зависит от объема выборки n и вероятности отклонения или принятия партии.
Значения коэффициента k для уровня доверия 95% приведены в таблице 9. В таблице также приведены значения L для \mu = 100 и \mu = 103 .
Правило контроля на основе наименьшего допустимого веса образца ткани
Сопоставление данных таблиц 8 и 9 является полезным, однако не следует делать общие выводы на основе единственного практического примера.
10 Доверительные интервалы для средних и стандартных отклонений
По выборке могут быть определены оценки для среднего и стандартного отклонения совокупности, из которой отобрана выборка, т.е. оценки \overline{x} и s для параметров \mu и \sigma . Если выборка не содержит много элементов, то эти оценки могут быть не очень точны. Погрешность измерений оценивают с помощью стандартных ошибок. Для некоторых практических целей может потребоваться более точный метод определения неопределенности оценки. Этот метод может быть обоснован статистической теорией, но только на основе определенных предположений, которые рассмотрены ниже и должны быть учтены при использовании таблицы 1. Задача и ее решение могут быть представлены в следующей форме.
На основе выборки из n наблюдений измеримой характеристики определяют выборочные среднее \overline{x} и стандартное отклонение s, а затем определяют:
а) границы \mu_{1} и \mu_{2} доверительного интервала, который с заданной вероятностью накрывает среднее совокупности \mu ;
б) границы \sigma_{1} и \sigma_{2} доверительного интервала, который с заданной вероятностью накрывает стандартное отклонение совокупности \sigma .
Доверительные границы вычисляют следующим образом:
для среднего совокупности \mu_{1} = \overline{x} - as , \mu_{2} = \overline{x} + as ; (14)
для стандартного отклонения совокупности \sigma_{1} = b_{1}s , \sigma_{2} = b_{2}s . (15)
Коэффициенты a, b1 и b2 приведены в таблице 1 для четырех уровней доверия и объемов выборки n от 5 до 30.
Для больших значений n могут быть использованы следующие приближенные формулы
a = \frac{u}{\sqrt{n - 3}} ,b_{1} = \frac{1}{1 + \frac{u}{\sqrt{2n}}} ,b_{2} = \frac{1}{1 - \frac{u}{\sqrt{2(n - 2)}}} .
Эти значения соответствуют двусторонним доверительным интервалам для нормированного нормального распределения (см. таблицу 1).
Например, значение u для вероятности ошибки 10% и двустороннего доверительного интервала равно 1,6449. Для выборки объема 30 значения a, b1 и b2 для вероятности ошибки 10%, вычисленные в соответствии с этими формулами, составляют 0,317, 0,825 и 1,282, достаточно близкие к точным значениям 0,311, 0,825 и 1,280. Если, например, мы имеем выборку из 10 элементов и утверждаем, что в выбранной совокупности среднее значение находится в диапазоне от (\overline{x} - 0,580s) до (\overline{x} + 0,580s) , тогда в соответствии с таблицей 1 такой прогноз будет верен с вероятностью 0,90 и ошибочен с вероятностью 0,1. При этом вероятность того, что этот интервал не накроет среднее совокупности \mu , равна 0,05.
Таблица 1 разработана для двусторонних доверительных интервалов, но может быть использована для определения границ односторонних интервалов, в этом случае вероятность ошибки необходимо умножить на 2. Например, если необходимо определить верхнюю доверительную границу для уровня доверия 99% и объема выборки 15, то вероятность ошибки (1%) надо удвоить (2%) и определить соответствующее значение b2, которым является 1,734. Таким образом, получен односторонний доверительный интервал для \sigma с уровнем доверия 99%, границу которого определяют по формуле 1,734s.
Приведенные формулы справедливы при следующих предположениях:
-
наблюдаемая величина подчиняется распределению, близкому к нормальному (см. Р 50.1.82);
-
выборка отобрана случайным образом из совокупности, объем которой существенно больше объема выборки. Это условие обычно удовлетворено, если объем выборки не превосходит 5% объема совокупности. Если из партии, содержащей 20 элементов, отобрана выборка из 10 элементов, то для \mu и \sigma этой партии на основе \overline{x} и s можно определить более узкие интервалы.
Следующий пример основан на данных взвешивания консервированных томатов, приведенных в таблице 3. Единица измерения — граммы.
Пример — Первая группа из трех выборок дает в общей сложности 12 наблюдений с \overline{x} = 404,16 и s = 1,681. Если процесс находится в статистически управляемом состоянии, то эти значения можно использовать при определении границ доверительных интервалов для среднего и стандартного отклонения процесса. Для уровня доверия 98% (2% ошибки) в соответствии с таблицей 1: a = 0,785, b1 = 0,667 и b2 = 1,899, что дает следующие значения доверительных границ:
для среднего 404,16 +/- 0,785 x 1,681, т.е. от 402,8 до 405,5 г;
для стандартного отклонения процесса 0,667 x 1,681 и 1,899 x 1,681, т.е. от 1,12 до 3,19 г.
Интервал неопределенности является достаточно большим. Увеличение количества наблюдений в выборке позволяет его сузить. Если первый доверительный интервал построен по шести выборкам (12 наблюдений), то удвоение количества наблюдений (24) позволяет в соответствии с таблицей 3 определить, что \overline{x} = 404,22 и s = 1,598.
Для уровня доверия 98% в соответствии с таблицей 1: a = 0,511, b1 = 0,743 и b2 = 1,502. Таким образом, границы доверительных интервалов имеют следующий вид:
для среднего: 404,22 +/- 0,511 x 1,598, т.е. от 403,4 до 405,0 г;
для стандартного отклонения: 0,743 x 1,598 и 1,502 x 1,598, т.е. от 1,19 до 2,40 г.
Дополнительная информация позволила сузить доверительные интервалы. В обоих случаях они накрывают значения \mu = 403,8 и \sigma = 1,91 , вычисленные по первым 160 значениям.
11 Проверка гипотез о среднем и стандартном отклонении
В построении статистических критериев важно точно определить проверяемую гипотезу. Предположения об отсутствии различий или равенстве параметров совокупности обычно принимают в качестве гипотезы и обозначают H0. Гипотезу, которой эту гипотезу противопоставляют, называют альтернативной гипотезой и обозначают H1. Проверку гипотез выполняют на основе статистики, которую вычисляют поданным выборки. Область изменений используемой статистики, соответствующую отклонению нулевой гипотезы, называют критической областью. Вероятность того, что статистика попадает в критическую область в условиях, когда справедлива нулевая гипотеза, (т.е. вероятность ошибочного решения об отклонении нулевой гипотезы в пользу альтернативной гипотезы) называют ошибкой первого рода или уровнем значимости критерия и обозначают \alpha . Вероятность того, что статистика попадает в критическую область в условиях, когда справедлива альтернативная гипотеза, (т.е. вероятность корректного решения об отклонении нулевой гипотезы в пользу альтернативной гипотезы) называют мощностью критерия и обозначают (1 - \beta) . Хорошему критерию соответствует высокая мощность и низкий уровень значимости.
Вероятность отклонения альтернативной гипотезы в условиях, когда справедлива нулевая гипотеза, называют ошибкой второго рода. Из этого следует, что вероятность \beta представляет собой ошибку второго рода.
11.2 Гипотеза о равенстве среднего заданному значению
Гипотезу иллюстрирует следующий пример. Предположим, что стандартное отклонение \sigma нормального распределения известно, среднее — неизвестно. Необходимо проверить гипотезу:
H0: среднее значение нормальной совокупности равно \mu_{0} ;
против альтернативной гипотезы:
H1: среднее значение нормальной совокупности больше \mu_{0} .
Уровень значимости критерия должен составлять 5%. Из совокупности отобрана случайная выборка объема n с выборочным средним \overline{x} .
Интуитивно ясно, что критическая область должна быть расположена справа от (\mu_{0} + c) , где c — некоторая константа больше нуля. Для уровня значимости 5% необходимо, чтобы значение (\mu_{0} + c) было верхней границей одностороннего доверительного интервала для \mu с доверительной вероятностью 0,95. Соответствующий квантиль нормированного нормального распределения для одностороннего доверительного интервала с доверительной вероятностью 0,95 в соответствии с таблицей 1 равен 1,6449. Поскольку \overline{x} подчиняется нормальному распределению со средним \mu_{0} и стандартным отклонением \sigma/ \sqrt{n} , то из этого следует, что c = 1,6449 \times \sigma/ \sqrt{n} .
На рисунке 1 показана критическая область. Область A соответствует ошибке первого рода, в данном случае она равна 0,05. Область (1 — B) соответствует мощности критерия в точке \mu = \mu_{1} . Для вычисления мощности критерия вычисляют нормированную разность (\mu_{0} + c) и \mu_{1} , т.е. {}_{Z =}{_{(\mu_{0} + c) - \mu_{1}})}_{/}(_{\sigma/} \sqrt{n}) . Мощности критерия соответствует области справа от Z под плотностью нормированного нормального распределения, которая может быть найдена с помощью таблицы нормированного нормального распределения.
Рисунок 1 — Односторонний критерий
В более общем случае среднее и стандартное отклонение совокупности неизвестны. В этом случае множитель 1,6449/ \sqrt{n} в приведенном выше примере, заменяют на коэффициент \alpha из таблицы 1, определяемый в соответствии с объемом выборки и вероятностью ошибки 0,1. Таким образом, для объема выборки 9 множитель 1,6449/ \sqrt{9} = 0,5483 можно заменить на 0,620. Увеличение значения множителя отражает увеличение неопределенности, вызванное незнанием значения \sigma .
11.3 Гипотеза о разности двух средних совокупности
Несколько замечаний о понятии числа степеней свободы. Для единственной выборки объема n, не все отклонения от выборочного среднего независимы, поскольку их сумма равна нулю. Если известно (n — 1) отклонение, то n-ое отклонение может быть вычислено. В этом случае число степеней свободы \upsilon = (n - 1) . Если выборочные значения рассматривать как координаты точки в n-мерном пространстве, то все отклонения от \overline{x} будут лежать в (n — 1)-мерной плоскости.
Пример - Самым простым случаем является случай n = 2. Если (x_{1} - \overline{x}) отражать на горизонтальной оси, а (x_{2} - \overline{x}) — на вертикальной оси, то любая пара выборочных значений (x1, x2) даст точку, лежащую на прямой линии с угловым коэффициентом минус 1, проходящей через начало координат.
Число степеней свободы является параметром многих важных статистических распределений и его часто используют при составлении таблиц распределений. Для рассмотренного случая единственной выборки это не имеет особого значения. Однако использование в таблице распределения числа степеней свободы может облегчить использование таблиц в других случаях, например:
а) в случае единственной выборки, когда количество k независимых ограничений больше 1. В таком случае \upsilon = n - k ;
б) в случае k выборок объемов n1, n2, ..., nk с различными средними и равными стандартными отклонениями, которые необходимо объединить для определения оценки стандартного отклонения. В этом случае \upsilon = (n_{1} - 1) + (n_{2} - 1) + ...(n_{k} - 1) = (n - k) , где n = n1 + n2 + ... + nk;
В такой задаче, когда \sigma неизвестно, используют статистику, таблица значений которой приведена в приложении А.
Рассмотрим случай б) с k = 2. Это задача сравнения средних двух совокупностей, когда стандартные отклонения совокупностей неизвестны. Предположим, что гипотезы имеют следующий вид:
H_{0}:\mu_{1} = \mu_{2} против H_{1}:\mu_{1} \neq \mu_{2}
Данные представляют собой случайную выборку объема n1 из первой совокупности и независимую случайную выборку объема n2 из второй совокупности. Выборочные средние \overline{x_{1}} и \overline{x_{2}} . Выборочные дисперсии (т.е. квадраты выборочных стандартных отклонений) s_{1}^{2} и s_{2}^{2} :
s_{1}^{2} = \frac{\sum (x_{1} - \overline{x_{1}})^{2}}{n_{1} - 1} и s_{2}^{2} = \frac{\sum (x_{2} - \overline{x_{2}})^{2}}{n_{2} - 1} .
Рассмотрим статистическую величину d = (\overline{x_{1}} - \overline{x_{2}}) . Предполагается, что объемы выборок малы по сравнению с объемами соответствующих совокупностей. Очевидно, что
\sigma_{d} = \sqrt{\frac{\sigma_{1}^{2}}{n_{1}} + \frac{\sigma_{2}^{2}}{n_{2}}} ,
где \mu_{1} и \mu_{2} — средние совокупностей;
\sigma_{1} и \sigma_{2} — стандартные отклонения совокупностей.
Рассматриваемые гипотезы можно записать в виде: H_{0}:\mu_{d} = 0 и H_{1}:\mu_{d} \neq 0 . Гипотеза является двусторонней, поэтому критическая область должна включать положительные и отрицательные значения d.
Если дисперсии совокупностей совпадают, т.е. \sigma_{1} = \sigma_{2} = \sigma , то
\sigma_{d} = \sigma \sqrt{\frac{1}{n_{1}} + \frac{1}{n_{2}}} .
В качестве оценки сможет быть использована следующая оценка:
\sqrt{\frac{1}{(n_{1} - 1)} \sum (x_{1} - \overline{x_{1}})^{2} + \frac{1}{(n_{2} - 1)} \sum (x_{2} - \overline{x_{2}})^{2}} ,
с числом степеней свободы \upsilon = (n_{1} - 1) + (n_{2} - 1) . Заменяя \sigma в предыдущей формуле его оценкой, получаем:
s_{d} = s \sqrt{\frac{1}{n_{1}} + \frac{1}{n_{2}}} .
Верхний квантиль t_{1 - \alpha/2}(\nu) , соответствующий двустороннему критерию с необходимым уровнем значимости \alpha , может быть определен по таблице А.1 приложения А. Нулевую гипотезу отклоняют в пользу альтернативной гипотезы, если доверительный интервал для \mu_{d} с доверительными границами ( \pm t_{1 - \alpha/2}s_{d}) не включает нуль.
11.4 Мощность критерия
Мощность критерия необходимо оценивать до отбора данных. Часто мощность не анализируют при планировании испытаний, и результаты могут оказаться неокончательными. Если предполагаемая мощность ниже необходимой, для обнаружения различий средних совокупностей следует увеличить один или оба объема выборки. Если это невозможно, может быть принято решение не тратить ресурсы на проведение испытаний или экспериментов, поскольку результат вряд ли даст какую-либо новую информацию. Существует также возможность того, что мощность будет выше, чем необходимо, в этом случае объем испытаний может быть уменьшен.
Во многих случаях определение мощности критерия вызывает существенные трудности, поэтому эти вычисления не всегда выполняют. Однако современные компьютеры позволяют вычислить мощность критерия с применением моделирования.
11.5 Сравнение двух средних в случае парных наблюдений
Увеличение объемов выборки не является единственным способом повышения мощности критерия. Другим способом является устранение или уменьшение влияния различий, вызванных особенностями объектов, на которых выполнялись измерения, или влияния обработки. Например, необходимо сравнить воздействие на урожай зерновых двух видов удобрений A и B. Один из подходов состоит в применении удобрения A к одной случайной выборке из n участков, и удобрения B ко второй случайной выборке из n участков. Обе выборки из n участков отбирают из всего достаточно однородного поля, а затем сравнивают урожаи. Но все отобранные участки неизбежно будут отличаться по дренажу, уровню питательных веществ и т.п. Однако, даже если выборки были аналогичны, изменчивость от участка к участку может быть достаточной для снижения мощности критерия до недопустимого уровня, различия между удобрениями с большой вероятностью могут быть не обнаружены.
Простой способ уменьшить влияние особенностей участка состоит в том, чтобы отбирать смежные пары участков, применяя удобрение A к одному из каждой случайно выбранной пары участков, а удобрение B к другому участку. Предположим, что урожай для i-ой пары участков составил xi для удобрения A и yi — для удобрения B. Затем определяют разности di = (xi — yi) для всех пар, предполагая, что смежные участки почти идентичны по свойствам. Это относится к методу парных сравнений. Если x и y независимы и имеют нормальные распределения, разности d будут подчиняться нормальному распределению с выборочным средним совокупности \mu_{d} и стандартным отклонением совокупности \sigma_{d} . Выборочные среднее и стандартное отклонение разностей d являются оценками этих параметров.
Точность критерия не зависит от нулевой и альтернативной гипотез и уровня значимости. Если эти удобрения являются новыми и не апробированными, может возникнуть необходимость определить, какое из них эффективнее. Это может быть сделано с использованием двусторонней гипотезы H_{0}:\mu_{d} = 0 против альтернативы H_{1}:\mu_{d} \neq 0 , что эквивалентно вычислению двустороннего доверительного интервала для d и определения накрывает ли он нулевое значение. С другой стороны удобрение B может быть стандартом, по отношению к которому проводят проверку более дорогостоящего нового удобрения A. Возможно новое удобрение должно повысить урожай больше чем на c, чтобы оправдать затраты на его приобретение. Это можно установить с помощью одностороннего критерия H_{0}:\mu_{d} = c против альтернативы H_{1}:\mu_{d}>c . Удобрение B может быть проверено на отсутствие улучшений. В этом случае следует применять односторонний критерий H_{0}:\mu_{d} = 0 против альтернативы H_{1}:\mu_{d}>0 . Во всех этих случаях может быть использована таблица 1.
Метод парных сравнений может быть еще более эффективным, если один и тот же элемент используют для сравнения двух методов испытаний или двух измерительных приборов, или двух лабораторий.
Вся информация о предыдущих испытаниях и оценках \sigma_{d} должна быть использована для определения объема выборки n, обеспечивающего достаточную мощность критерия.
11.6 Сравнение стандартных отклонений
Проблема определения границ доверительного интервала для стандартного отклонения совокупности \sigma рассмотрена в 10. Проверка гипотезы о равенстве \sigma заданному значению \sigma_{0} может быть выполнена на основе построения доверительного интервала (\sigma_{1},\sigma_{2}) и определения его положения относительно \sigma_{0} . Рассматриваемая задача представляет собой проверку гипотез о совпадении стандартных отклонений двух совокупностей \sigma_{x} и \sigma_{y} . Для решения задачи рассматривают \sigma_{x}/\sigma_{y} и гипотезу H_{0}:\sigma_{x}/\sigma_{y} = 1 против H_{1}:\sigma_{x}/\sigma_{y} \neq 1 .
При наличии выборки объема n1 из первой совокупности и выборки объема n2 из второй совокупности определяют выборочные стандартные отклонения sx и sy. Двусторонний доверительный интервал для \sigma_{x}/\sigma_{y} , соответствующий доверительной вероятности (1 - \alpha) , имеет вид:
(\frac{s_{x}/s_{y}}{\sqrt{F_{n_{1} - 1,n_{2} - 1,1 - \alpha/2}}} , \frac{s_{x}/s_{y}}{\sqrt{F_{n_{1} - 1,n_{2} - 1,\alpha/2}}}) ,
где F_{n_{1} - 1,n_{2} - 1,1 - \alpha/2} и F_{n_{1} - 1,n_{2} - 1,\alpha/2} — квантили F-распределения уровней (1 - \alpha/2) и (\alpha/2) с (n1 — 1) и (n2 — 1) степенями свободы соответственно.
Пусть выборка объема 10 из первой совокупности дает sx = 10,5, а выборка объема 16 из второй совокупности дает sy = 6,8, sx/sy = 10,5/6,8 = 1,544. Уровень значимости критерия равен 0,05. В соответствии с таблицами F-распределения F9; 15; 0,975 = 3,12 и F9; 15; 0,025 = 0,265. Доверительный интервал для \sigma_{x}/\sigma_{y} имеет вид (1,544 \sqrt{3,12} ,1,544 \sqrt{0,265}) , sx/sy = 10,5/6,8 = 1,544, т.е. (0,874, 3,00).
Так как этот интервал включает значение 1, с вероятностью 0,95 можно утверждать об отсутствии различий между \sigma_{x} и \sigma_{y} .
В случае односторонних критериев вычисляют один из односторонних доверительных интервалов:
(0, \frac{s_{x}/s_{y}}{\sqrt{F_{n_{1} - 1,n_{2} - 1,\alpha}}}) или (\frac{s_{x}/s_{y}}{\sqrt{F_{n_{1} - 1,n_{2} - 1,1 - \alpha}}} ,\infty)
и определяют, накрывает ли он значение 1.
12 Одновременная вариация выборочных среднего и стандартного отклонения
Для наилучшего представления изменчивости среднего и стандартного отклонения часто используют графическое представление данных в виде точки (\overline{x},s) для каждой выборки на графике с осями \overline{x} и s. Такое представление данных примера о консервированных томатах показано на рисунке 2, где каждая из 40 точек представляет выборочные среднее и стандартное отклонение по четырем результатам проверки веса содержимого банок. В центре графика в виде треугольника показана точка (\mu,\sigma) , представляющая выборочные среднее и стандартное отклонение по всем отобранным элементам с использованием всех 160 исходных данных ( \mu = 403,8\text{г} , \sigma = 1,91\text{г} ).
Рисунок 2 — График разброса данных взвешивания консервированных томатов
Точки (\overline{x},s) окружают точку (\mu,\sigma) . Если производство является стабильным, статистическая теория позволяет спрогнозировать плотность распределения этих точек на различных расстояниях и в различных направлениях от (\mu,\sigma) , т.е. оценить вероятность того, что точка (\overline{x},s) попадет в заданную область.
Для этого предназначены стандартизованные (\overline{x},s) - \text{контрольные} карты Канагавы, Аризона и Охота [1]. Эти карты основаны на теории информации и могут быть полезны для определения типа отклонения при рассмотрении \overline{x} и s одновременно. Стандартизованная (\overline{x},s) - \text{контрольная} карта для объема выборки n = 4 с границами, за пределы которых точка (\overline{x},s) может попасть с вероятностью 27/10000, показана на рисунке 3 на примере данных взвешивания консервированных томатов. На карте показано 40 точек [(\overline{x} - \mu_{0})/\sigma_{0},s/\sigma_{0}] и целевые значения \mu_{0} = 404,0\text{г} и \sigma_{0} = 1,90\text{г} .
Рисунок 3 — Стандартная контрольная карта для среднего и стандартного отклонения
Области расположения точек на карте обозначены следующим образом:
B — процесс нестабилен вследствие изменения среднего процесса;
C — процесс нестабилен вследствие изменения стандартного отклонения процесса;
D — процесс нестабилен вследствие небольших изменений среднего и стандартного отклонения процесса;
E — процесс нестабилен и по среднему и по стандартному отклонению процесса.
Все 40 точек находятся в области A. Это указывает на то, что вес содержимого банок консервированных томатов соответствует указанной массе нетто и процесс устойчив.
Карта составлена так, чтобы она могла быть использована для любых значений \mu_{0} и \sigma_{0} . Карта должна быть изменена при изменении объема выборки. Увеличение любого из этих значений приводит к уменьшению границ и приближению их к точке с координатами (\overline{x} - \mu_{0})/\sigma_{0} = 0 , s/\sigma_{0} = \sqrt{n(n - 1)} .
Особенно интересна форма области, в которой расположена большая часть точек с координатами [(\overline{x} - \mu_{0})/\sigma_{0},s/\sigma_{0}] , если процесс находится в статистически управляемом состоянии. При этом чем ближе s к целевому значению \sigma_{0} , тем шире область по \overline{x} . Аналогично, чем ближе \overline{x} к целевому значению \mu_{0} , тем большие изменения допустимы для s. Таким образом, существует баланс между отклонениями \mu от \mu_{0} и \sigma от \sigma_{0} . Традиционные контрольные карты в отличие от данных предназначены для независимого контроля \overline{x} и s. Таким образом, данный подход является логичным, поскольку для выборок из нормального распределения \overline{x} и s должны быть независимыми. Но в нем применена не прямоугольная область отклонений оценок от целевых значений \mu_{0} и \sigma_{0} .
13 Проверка гипотез и доверительные интервалы для пропорций
13.1 Неколичественные характеристики качества
Многие неколичественные характеристики качества изменяются в соответствии с дискретной шкалой. Например, оценка качества услуг по уборке офисных помещений. Комнаты, выбранные случайным образом, осматривают после уборки, проверяя, что мусорные ведра освобождены, шкафы для хранения документов и столы протерты, ковры вычищены с применением пылесоса. Контролер принимает решение, что уборка помещения соответствует установленным требованиям, если по каждому из перечисленных показателей она признана удовлетворительной.
Характеристика, реализация которой представляет собой одно из нескольких состояний (функционирование-отказ, принадлежность к одной из категорий), является альтернативным признаком.
Для критических характеристик, связанных, например, с безопасностью персонала, все усилия должны быть направлены на то, чтобы доля несоответствующих единиц (продукции) в совокупности была близка к нулю, насколько это возможно. В этом случае обычно используют сплошной контроль с заменой несоответствующих единиц продукции соответствующими, тогда доля несоответствующих единиц в совокупности будет равна нулю.
Для некритических характеристик может быть необходимо определить оценку доли несоответствующих единиц (продукции), границы доверительного интервала для этой доли, проверить гипотезу о соответствии ее заданному значению или сравнить две или более оценок.
13.2 Определение оценки пропорции
Если в примере об уборке помещений выполняют уборку № комнат, то объем совокупности составляет N. В определенный день R комнат не были убраны. Пропорция (доля) совокупности несоответствующих объектов составляет:
Значение R неизвестно. Случайным образом из совокупности отбирают n комнат и проверяют их уборку. При этом выявлено r комнат с неудовлетворительно выполненной уборкой. Необходимо определить оценку P.
Предположим, что состояние комнаты характеризуется переменной X, принимающей значение 0, если комната убрана удовлетворительно и 1 в противном случае. Совокупность значений X в этом случае состоит из R единиц и (N — R) нулей, а выборка состоит из r единиц и (n — r) нулей. По результатам проверки
где xi — значение переменной X для i-ой комнаты.
\overline{x} = \sum_{i = 1}^{n} x/n = r/n = p . (16)
\overline{X} = \sum_{i = 1}^{N} X/N = R/N = P . (17)
Выборочное среднее является несмещенной оценкой среднего совокупности. Если n = 50, а r = 2, то 4% комнат в совокупности являются неудовлетворительно убранными.
13.3 Доверительный интервал для пропорции
На основе выборочных данных (объема выборки n и количества несоответствующих объектов в выборке r) определяют интервал с границами P1 и P2, который с доверительной вероятностью (1 - \alpha) накрывает значение P. При этом с вероятностью \alpha интервал (P1, P2) не накрывает истинное значение. Предположим вероятности того, что P < P1 и P > P2 равны, т.е.
- если P < P1 то с вероятностью не более \alpha/2 в выборке объема n может быть обнаружено r или более несоответствующих элементов;
- если P > P2, то с вероятностью не более \alpha/2 в выборке объема n может быть обнаружено r или менее несоответствующих элементов.
Эти вероятности могут быть вычислены с помощью таблиц биномиального распределения.
Поскольку x принимает значения 0 и 1, то
\sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} x_{i} = r .
Выборочное стандартное отклонение x имеет вид:
s = \sqrt{\frac{\sum_{i = 1}^{n} x_{i}^{2} - n\overline{x_{i}^{2}}}{n - 1}} = \sqrt{\frac{r - r^{2}/n}{n - 1}} = \sqrt{\frac{r(1 - \frac{r}{n})}{n - 1}} .
\frac{s}{\sqrt{n}} = \sqrt{\frac{\frac{r}{n} (1 - \frac{r}{n})}{n - 1}} = \sqrt{\frac{p(1 - p)}{n - 1}} .
Границы доверительного интервала для P могут быть получены на основе предположения о том, что распределение p близко к нормальному. Двусторонний доверительный интервал для P в этом случае имеет вид (P1, P2)
P_{1} = p - u \sqrt{\frac{p(1 - p)}{n - 1}} ,P_{2} = p + u \sqrt{\frac{p(1 - p)}{n - 1}} ,
где u — квантиль нормированного нормального распределения уровня (1 - \alpha/2) . Если необходим односторонний доверительный интервал, то для определения P1 или P2 необходимо \alpha/2 заменить на \alpha . Нормальное приближение не следует применять, если значение p близко к 0,5 или объем выборки слишком большой.
13.4 Сравнение пропорции с заданным значением
Задача сводится к определению по выборочным данным соответствия пропорции заданному значению. Например, в выборке объема 30 обнаружено три несоответствующих единицы продукции. С уровнем доверия 0,95 необходимо проверить, что процент несоответствующих единиц продукции в совокупности более 3%. Существует два способа решения этой задачи. Первый способ состоит в определении по выборочным данным нижней границы одностороннего доверительного интервала, соответствующего доверительной вероятности 0,95, для доли несоответствующей продукции в совокупности. Если эта граница будет менее 0,03, то принимают решение о том, что доля несоответствующей продукции в совокупности составляет не менее 3%. Второй способ является своего рода инверсией первого. Необходимо определить вероятность обнаружения трех или более несоответствующих единиц продукции в выборке объема 30, если их доля в совокупности составляет 3%. Если эта вероятность менее 0,05, принимают решение о том, что доля несоответствующих единиц продукции в совокупности составляет не менее 3%. Оба метода эквивалентны.
Для решения задачи первым способом в соответствии с ГОСТ Р ИСО 11453 определяют нижнюю границу одностороннего доверительного интервала, соответствующего доверительной вероятности 0,95, для доли несоответствующих единиц продукции (0,027). Поскольку 0,027 < 0,03 следует принять решение о том, что доля несоответствующих единиц продукции в совокупности составляет не менее 3%. И наоборот вероятность того, что в случайной выборке из 30 элементов будет обнаружено три или более несоответствующих единиц продукции, если их доля в совокупности составляет 3%, равна 0,06. Поскольку это значение больше 0,05, то данные выборки не обеспечивают достаточных доказательств для того, чтобы с уровнем доверия 0,95 утверждать, что доля несоответствующих единиц продукции в совокупности превышает 3%. Фактически можно делать такие выводы лишь с вероятностью 0,94.
Данный пример показывает, насколько большое значение имеет объем выборки в подобных задачах.
13.5 Сравнение двух пропорций
Задача состоит в принятии решения о совпадении (или различии) двух долей в двух совокупностях на основе выборочных данных (см. также ГОСТ Р ИСО 11453). Предположим, что из одной совокупности отобрана случайная выборка объема n1, а из другой совокупности случайная выборка объема n2. В первой выборке обнаружено r1 несоответствующих единиц продукции, а во второй — r2. Таким образом, p1 = r1/n1 и p2 = r2/n2. Если P1 и P2 — неизвестные доли совокупностей, то по выборочным данным можно найти ответы на следующие вопросы:
Если p1 < p2 в случае б) или p1 > p2 в случае в), то на вопросы б) и в) следует ответить, что это маловероятно (без выполнения статистических вычислений). То же можно утверждать, если p1 ~= p2 в случае а). Во всех других ситуациях ответ может быть получен на основе таблиц гипергеометрического распределения. Специальные таблицы разработаны для определения различий между p1 и p2, если n1 и n2 малы. Для больших значений n1 и n2 применяют приближенные методы.
13.6 Определение необходимого объема выборки
Для проверки гипотез о пропорциях важно учитывать мощность критерия. Если объем выборки уменьшен под влиянием технических или экономических причин, следует учитывать влияние сокращения объема выборки на мощность критерия. Совместное рассмотрение необходимых мощности и уровня значимости критерия позволяет определить необходимый объем выборки по соответствующим таблицам или формулам.
Например, необходимо проверить гипотезу H0: P1 = P2 против альтернативы H1: P1 > P2 с равными объемами выборок из обеих совокупностей. Объем выборки должен обеспечить вероятность (1 - \alpha) принятия гипотезы, когда она верна, и мощность критерия (1 - \beta) , т.е. вероятность принятия альтернативы, когда P1 > P2. Приближенный объем выборки может быть найден, как решение следующего уравнения
n = \frac{1}{2} (\frac{u_{1 - \alpha} + u_{1 - \beta}}{sin^{- 1} \sqrt{P_{1} - 1/(2n) - sin^{- 1} \sqrt{P_{1} + 1/(2n)}}})2 , (18)
где u_{1 - \alpha} и u_{1 - \beta} — квантили нормированного нормального распределения уровней (1 - \alpha) и (1 - \beta) соответственно. Пусть P1 = 0,8, P2 = 0,6, \alpha = 0,05 , \beta = 0,10 . Подставляя в (18) значения квантилей получим:
n = \frac{1}{2} (\frac{1,6449 + 1,2816}{sin^{- 1} \sqrt{0,8 - 1/(2n) - sin^{- 1} \sqrt{0,6 + 1/(2n)}}})2 . (19)
Уравнение (19) решают итеративным методом. Сначала задают значения n, а затем вычисляют правую часть, новое значение n и повторяют расчеты до тех пор, пока значения n на предыдущем и последующем шаге не будут близки друг к другу.
Предположим, что начальное значение n = 50. Последовательные итерации в соответствии с (19) дают значения n: 109, 96, 98, 98. Дальнейшие расчеты не нужны. Таким образом, n = 98 соответствует установленным требованиям и является необходимым объемом случайной выборки из каждой совокупности.
Данный приближенный метод обеспечивает быстрое получение решения с хорошей точностью. Формулу (18) можно также использовать для двусторонних гипотез. Для этого \alpha необходимо заменить на \alpha/2 .
14.1 Односторонний предикционный интервал для следующих m наблюдений
Иногда необходимо определить такое значение TU на основе данных случайной выборки объема n из нормальной совокупности, для которого с заданным уровнем доверия ни одно из следующих m случайных наблюдений (из той же нормальной совокупности) не превышает TU. (TU — верхняя граница предикционного интервала в соответствии с ГОСТ Р ИСО 16269-8).
Это значение определяют по формуле
где \overline{x} и s — выборочные среднее и стандартное отклонения;
q — коэффициент, который зависит от объема выборки n, количества m следующих наблюдений и уровня доверия.
В таблице 10 приведены значения этого коэффициента для диапазона значений n и m от 5 до 200 и уровня доверия 0,95.
Значения коэффициента q для вычисления односторонних предикционных интервалов с уровнем доверия 0,95
Значения q убывают с увеличением n и m (вследствие уменьшения информации для прогноза).
Из симметрии нормального распределения следует, что значения q должны быть симметричны для верхней и нижней границ предикционного интервала одного и того же уровня доверия и одинаковых значений n и m:
Пример — Продавец предъявил претензию поставщику, что 12 женских джемперов определенного фасона имели размер объема груди выше номинала (92,5 см). У поставщика осталось 1100 джемперов в партии этого размера и фасона, причем все были изготовлены в одних и тех же условиях. Поставщик решает проверить размер объема груди джемперов в случайной выборке объема 100. Ни один из этих 100 джемперов не имел объем груди более 92,5 см. Данные прошлых проверок поставщика показывают, что размер объема груди джемперов подчиняется приблизительно нормальному распределению. Выборочные среднее и стандартное отклонения составили \overline{x} = 90,1\text{см} и s = 0,4 см соответственно. Коэффициент q для одностороннего предикционного интервала с n = 100 и m = 1000 в соответствии с таблицей 10 равен 4,0517. Поставщик, таким образом, может быть уверен с вероятностью 0,95, что ни один из оставшихся 1000 джемперов не имеет размер объема груди более 90,1 + 4,0517 x 0,4 = 91,7 см.
Так как 91,7 см < 92,5 см поставщик продолжает поставлять в розничную сеть джемперы этой партии.
14.2 Двусторонний предикционный интервал для следующих m наблюдений
Двусторонний предикционный интервал для следующих m наблюдений представляет собой интервал с границами TL и TU, построенный на основе выборки из n наблюдений так, что с заданным уровнем доверия ни одно из следующих m наблюдений не окажется вне интервала (TL, TU). Границы двустороннего предикционного интервала имеют вид:
где r — коэффициент, который зависит от n, m и уровня доверия. В таблице 11 приведены значения r для двусторонних предикционных интервалов и уровня доверия 0,95.
Значение коэффициента r для вычисления двусторонних предикционных интервалов с уровнем доверия 0,95
Пример — Необходимо проверить по выборочным данным, что в партии из 250 мужских брюк размера L, поставляемых в комплекте с ремнем, длина ремня составляет от 86 до 92 см. Случайная выборка из 50 брюк дала \overline{x} = 88,8\text{см} и s = 0,78 см. При этом не было обнаружено ремней, длина которых выходила бы за указанный диапазон. В соответствии с таблицей 11 для n = 50 и m = 200 r = 3,9502. Поскольку длина ремня подчиняется нормальному распределению, то двусторонний предикционный интервал имеет вид (88,8 +/- 3,9502 x 0,78), т.е. составляет от 85,7 см до 91,9 см. Так как нижняя граница этого интервала не соответствует допустимым размерам (85,7 < 86), поставщик решает проверить оставшиеся 200 брюк до их поставки.
Более подробная информация о предикционных интервалах приведена в ГОСТ Р ИСО 16269-8.
14.3 Односторонние и двусторонние предикционные интервалы для среднего следующих m наблюдений
Предикционные интервалы для среднего следующих m наблюдений могут быть определены с помощью стандартных таблиц, поскольку они основаны на t-распределении. Верхняя граница одностороннего предикционного интервала для среднего с уровнем доверия (1 - \alpha) имеет вид:
T_{U} = \overline{x} + t_{n - 1,1 - \alpha}s \sqrt{(\frac{1}{n} + \frac{1}{m})} ,
где t_{n - 1,1 - \alpha} — квантиль t-распределения уровня (1 - \alpha) с (n — 1) степенями свободы. Соответствующая нижняя граница одностороннего предикционного интервала для среднего следующих m наблюдений имеет вид:
T_{L} = \overline{x} - t_{n - 1,1 - \alpha}s \sqrt{(\frac{1}{n} + \frac{1}{m})} .
Следует заметить, что t_{n - 1,1 - \alpha} зависит только от двух величин (объема выборки и уровня доверия). Границы двусторонних предикционных интервалов для среднего (TL, TU) имеют вид:
T_{L} = \overline{x} - t_{n - 1,1 - \alpha/2}s \sqrt{(\frac{1}{n} + \frac{1}{m})} ,
T_{U} = \overline{x} + t_{n - 1,1 - \alpha/2}s \sqrt{(\frac{1}{n} + \frac{1}{m})} .
Следует помнить, что при отклонении распределения от нормального применение приведенных формул может привести к существенным ошибкам, особенно когда прогноз распространяется на область, расположенную далеко за диапазоном выборочных данных.
15 Статистические толерантные интервалы
15.1 Статистические толерантные интервалы для нормальной совокупности
Статистический толерантный интервал определяют по выборке. Он представляет собой интервал, в пределах которого указанная доля значений совокупности находится с заданной вероятностью.
Границы статистического толерантного интервала изменяются от выборки к выборке. Поскольку статистический толерантный интервал накрывает долю совокупности, альтернативное его наименование, которое иногда используют — статистический интервал покрытия.
Для совокупностей, имеющих нормальное распределение, границы толерантных интервалов определяют аналогично границам предикционных интервалов. Границы толерантных интервалов могут быть четырех видов:
а) границы односторонних толерантных интервалов при известном стандартном отклонении вида (\overline{x} - b_{1}\sigma) или (\overline{x} + b_{1}\sigma) ;
б) границы двусторонних толерантных интервалов при известном стандартном отклонении вида (\overline{x} - b_{2}\sigma,\overline{x} + b_{2}\sigma) ;
в) границы односторонних толерантных интервалов при неизвестном стандартном отклонении вида (\overline{x} - b_{3}\sigma) или (\overline{x} + b_{3}\sigma) ;
г) границы двусторонних толерантных интервалов при неизвестном стандартном отклонении вида (\overline{x} - b_{4}\sigma,\overline{x} + b_{4}\sigma) , где константы b1, b2, b3 и b4 зависят от объема выборки и уровня доверия.
Пример - Потребитель приобрел 12000 бобин хлопковой пряжи и намерен проверить распределение ее разрывной нагрузки. Для этого он отбирает случайную выборку из 24 бобин и вырезает из каждой образец нити для испытаний длиной 50 см на расстоянии приблизительно 5 м от свободного конца. Центральную часть каждого образца испытывают на разрывную нагрузку. Единицы измерения — сантиньютон. Выборочные среднее и стандартное отклонения составили \overline{x} = 249,8\text{сН} и s = 31,4 сН. Из предыдущего опыта известно, что распределение разрывной нагрузки близко к нормальному распределению. В соответствии с таблицей константа для определения одностороннего статистического толерантного интервала для объема выборки 24, уровня охвата 95% и уровня доверия 95% имеет вид b3 = 2,310. Нижняя граница толерантного интервала 249,8 — 2,310 x 31,4 = 177,3. Потребитель с вероятностью 0,95 может быть уверен, что не менее 95% бобин имеют разрывную нагрузку нити выше 177,3 сН.
Потребитель знает на основе предыдущего опыта, что среднее изменяется от партии к партии и, что разрывная нагрузка хлопковой нити имеет постоянное стандартное отклонение. Таким образом, соответствующая константа b1 = 1,981. Это значение существенно меньше, чем соответствующее значение b3 (2,310) для случая неизвестного стандартного отклонения. Предположим, что \sigma = 33,2 . Тогда граница статистического толерантного интервала 249,8 — 1,981 x 33,2 = 184,0. Потребитель теперь с вероятностью 0,95 может утверждать, что не менее 95% разрывных нагрузок превосходят 184,0 сН.
Если имеются сомнения относительно постоянства \sigma , следует считать \sigma неизвестным и применять соответствующий алгоритм.
15.2 Статистические толерантные интервалы для совокупностей с неизвестным видом распределения
Для определения толерантных интервалов для среднего или дисперсии при неизвестном виде распределения применяют порядковые статистики, т.е. отдельные выборочные значения после их расположения в порядке возрастания. Любая единственная пара порядковых статистик может быть использована для определения статистического толерантного интервала, но наибольшее и наименьшее значения охватывают наибольшую долю совокупности. При неизвестном виде распределения статистический толерантный интервал является более широким, чем в ситуации, когда вид распределения известен. Например, чтобы быть уверенным с вероятностью 0,95, что интервал, сформированный из наибольшего и наименьшего наблюдений, накрывает 95% совокупности, необходима выборка из 93 наблюдений. Для охвата 99% совокупности необходимо 473 наблюдения, а для охвата 99,9% совокупности — 4742 наблюдения.
Таблицы значений коэффициентов для определения границ толерантных интервалов приведены в ГОСТ Р ИСО 16269-6.
16 Методы точечной и интервальной оценки медианы при неизвестном виде функции распределения
Методы оценки характеристик совокупности при неизвестном виде функции распределения называют непараметрическими. Преимущество этих методов состоит в том, что их можно применять, когда имеются сомнения в виде функции распределения. Недостатком метода является то, что при равных объемах выборок непараметрические статистические интервалы существенно шире параметрических.
При определении доверительного интервала для медианы непараметрическим методом элементы случайной выборки объема n располагают в порядке возрастания x[1], x[2], ..., x[n]. Симметрично расположенная пара порядковых статистик (x[k], x[n+1-k]]) может быть использована в качестве доверительных границ для медианы.
Чем меньше значение k, тем больше вероятность того, что медиана совокупности будет накрыта этим интервалом. Например, k = 1 соответствуют доверительные границы x[1] и x[n]. Эти границы не накроют медиану совокупности в случае, когда вся выборка из n наблюдений лежит либо выше, либо ниже медианы. Поскольку для каждого наблюдения вероятность быть меньше медианы совокупности равна 0,5, а вероятность быть больше медианы также равна 0,5, то вероятность того, что медиана не будет накрыта интервалом (x[k], x[n+1-k]]) равна (1/2)n + (1/2)n = (1/2)n-1.
Таким образом, доверительная вероятность, соответствующая данному интервалу, равна 1 — (1/2)n-1. Поскольку n принимает значения 2, 3, 4, 5... и т.д., соответствующая доверительная вероятность равна 0,50, 0,75, 0,875, 0,9375 ... и т.д. Могут быть построены односторонние доверительные интервалы в виде (a, x[n]) или (x[1], b), где a и b — наименьшее и наибольшее наблюдения в совокупности, если они известны.
Очевидно, доверительная вероятность не зависит от вида распределения совокупности. Единственное сделанное предположение: вероятность того, что выборочное значение лежит справа или слева от медианы совокупности равна 0,5. Это означает, что распределение должно быть непрерывно в этой точке. Следует отметить, что с увеличением k длина доверительного интервала уменьшается вместе с уменьшением доверительной вероятности.
В ГОСТ Р ИСО 16269-7 приведены таблицы для объема выборки k от 5 до 100. Для больших выборок используют следующую приближенную формулу для доверительной вероятности (1 - \alpha)
k = \frac{1}{2} (n + 1 - u(1 + \frac{0,4}{n}) \sqrt{n - c}) ,
где u — квантиль нормированного нормального распределения для одностороннего доверительного интервала уровня (1 - \alpha/2) или двустороннего интервала уровня (1 - \alpha) ;
c — константа, зависящая от u.
Значение k необходимо округлить в меньшую сторону до ближайшего целого числа.
Формула дает корректное значение k для объемов выборки до 280000.
Пример - Необходимо определить двусторонний доверительный интервал с доверительной вероятностью 0,99, u = 2,57582930 и c = 1,74. Таким образом, для выборки с объемом 200 единиц
k = \frac{1}{2} (200 + 1 - 2,57582930 \times (1 + \frac{0,4}{200}) \sqrt{200 - 1,74}) = 1/2(201 - 36,3415) = 82,33 .
После округления в меньшую сторону k = 82. Таким образом, можно утверждать с доверительной вероятностью 0,99, что доверительный интервал (x[82], x[119]) накрывает медиану совокупности.
Восемь десятичных разрядов для u позволяют получить k с высокой точностью для выборки большего объема. Для средних объемов выборки достаточно двух или трех десятичных знаков после запятой.
Аналогичные методы могут быть использованы для определения доверительных интервалов для других квантилей совокупности.
| [1] | KANAGAWA, A., ARIZONO, I., and OHTA, H. Design of the (\overline{x},s) control chart based on Kuliback-Leibler Information. In: Lenz H.J. et al, eds. Frontiers in Statistical Quality Control 5, 1997. Heidelberg, Physica-Verlag, 183 — 192 |
|---|---|
| [2] | Р 50.1.087-2013 Статистические методы. Примеры применения. Часть 8. Статистическое управление процессами |