РСТ РСФСР 589-78. Республиканский стандарт РСФСР. Качество протезно-ортопедических изделий. Оценка уровня качества. Номенклатура показателей качества

(утв. и введен в действие Постановлением Госплана РСФСР от 05.06.1978 № 72)

РЕСПУБЛИКАНСКИЙ СТАНДАРТ РСФСР

КАЧЕСТВО ПРОТЕЗНО-ОРТОПЕДИЧЕСКИХ ИЗДЕЛИЙ

ОЦЕНКА УРОВНЯ КАЧЕСТВА

НОМЕНКЛАТУРА ПОКАЗАТЕЛЕЙ КАЧЕСТВА

РСТ РСФСР 589-78

Группа 00

Постановлением Госплана РСФСР от 5 июня 1978 года № 72 срок введения установлен

с 1 января 1979 года

Разработан Министерством социального обеспечения РСФСР.

Исполнители:

    К.И. Казаченко                  исполнитель
    О.Н. Демин                      исполнитель.

Внесен Министерством социального обеспечения РСФСР.

Барыбин В.П.

Утвержден и введен в действие Постановлением Госплана РСФСР от 5 июня 1978 г. № 72.

Настоящий стандарт устанавливает порядок оценки уровня качества, номенклатуру и методы определения количественных значений показателей качества протезно-ортопедических изделий, полуфабрикатов к ним, ортопедической обуви, а также оборудования и инструмента.

На основе и в развитие настоящего стандарта головная и базовые организации по стандартизации должны разрабатывать руководящие технические материалы (РТМ) по номенклатуре единичных показателей качества и величинам их коэффициентов весомости (значимости), а также по количественным значениям базовых показателей на закрепленные виды изделий.

1. ОБЩИЕ ПОЛОЖЕНИЯ

1.1. Оценка уровня качества протезно-ортопедических изделий осуществляется по настоящему стандарту при решении следующих задач управления качеством:

планировании и прогнозировании уровня качества;

выборе оптимального варианта при разработке новых изделий;

разработке нормативно-технической документации;

аттестации качества;

моральном и материальном стимулировании работников за повышение качества;

изучении изменения уровня качества во времени;

отчетности и информации о качестве продукции.

Определение понятий «качество продукции» и «уровень качества продукции» — по ГОСТ 15467-70.

1.2. Для оценки качества продукции используют единичные, обобщенные, относительные и комплексные показатели, представляющие собой количественные характеристики основных, наиболее существенных свойств продукции на этапах ее создания и эксплуатации.

1.3. При определении количественных значений показателей качества в зависимости от цели оценки используют следующие методы:

экспериментальный, осуществляемый техническими измерительными средствами или на основе обнаружения и подсчета количества событий или объектов, выражаемого целым числом;

расчетный, осуществляемый при помощи вычислений с использованием значений параметров, найденных другими методами;

органолептический, основанный на анализе восприятий органов чувств без применения технических измерительных или регистрирующих средств;

экспертный, основанный на учете мнений группы специалистов-экспертов.

1.4 Уровень качества оценивают по следующим основным группам показателей:

назначения;

надежности;

эргономическим;

технологичности;

эстетическим;

патентно-правовым.

1.5. Оценка уровня качества продукции проводится по величинам единичных или обобщенных показателей путем сопоставления единичных или обобщенных показателей качества оцениваемых изделий с соответствующими базовыми показателями или с показателями качества аналогов.

Термины «обобщенный показатель качества» и «единичный показатель качества» — соответственно по ГОСТ 16431-70 и ГОСТ 15467-70.

1.6. Источником информации по базовым показателям качества являются соответствующие РТМ, утверждаемые в установленном порядке.

1.7. При отсутствии утвержденных РТМ по численным значениям базовых показателей источником информации об аналогах могут быть:

стандарты, нормативно-техническая и конструкторская документация;

акты и протоколы ведомственных (государственных) испытаний;

акты и отчеты о контрольных испытаниях, проводимых в соответствии с ГОСТ 16468-70;

отзывы и предложения потребителей;

материалы учета работы и ремонта изделий и оборудования на протезно-ортопедических предприятиях;

патентная информация.

По зарубежным образцам изделий и оборудования источниками информации могут быть:

каталоги, проспекты и стандарты фирм;

акты и протоколы испытаний по определению количественных значений показателей качества;

отчеты специалистов о посещении зарубежных фирм;

отзывы и предложения потребителей;

материалы учета работы и ремонта изделий на протезно-ортопедических предприятиях;

патентная информация.

При использовании показателей качества аналогов в качестве базовых, не внесенных в соответствующие РТМ, при оценке качества следует указывать источник информации об этих аналогах.

2. НОМЕНКЛАТУРА ПОКАЗАТЕЛЕЙ КАЧЕСТВА

2.1. Оценка качества изделий проводится по номенклатуре единичных показателей, приведенной в Приложении 1 (Справочное). Для конкретных изделий эта номенклатура уточняется в соответствующих РТМ. Разрешается исключать или вводить новые единичные показатели качества, отражающие специфику конкретных изделий.

2.2 Показатели назначения

2.2.1. Показатели назначения обуславливают область применения изделий и являются одним из основных видов показателей, характеризующих качество изделий и полезный эффект от их использования.

2.2.2. При оценке качества изделий показатели назначения должны применяться совместно с показателями других видов.

2.3 Показатели надежности

2.3.1. Показатели надежности характеризуют безотказность, ремонтопригодность, сохраняемость и долговечность изделий. Выбор показателей надежности для конкретных видов изделий проводится с учетом рекомендаций, указанных в методических указаниях Госстандарта МУ 3-69, и по ГОСТ 16503-70.

2.3.2. Количественные значения единичных показателей надежности определяются по ГОСТ 13377-75.

2.3.3. Сбор информации о надежности изделий осуществляют разработчик и изготовитель в соответствии с ГОСТ 16468-70 и ГОСТ 17510-72.

2.4 Эргономические показатели

2.4.1. Эргономические показатели используют при определении соответствия изделия требованиям, предъявляемым к размерам, форме, цвету изделия и элементов его конструкции, к взаимному расположению элементов конструкции, к характеру взаимодействия человека, изделия и окружающей среды.

2.4.2. Единичные эргономические показатели определяют в основном экспертным методом по балльной шкале. Примерный перечень эргономических показателей приведен в Приложении 1 (Справочное).

2.5 Показатели технологичности

2.5.1. Показатели технологичности характеризуют простоту монтажа изделий, трудоемкость и материалоемкость их производства.

Основными показателями технологичности протезно-ортопедических изделий могут быть трудоемкость изготовления, технологическая себестоимость изделия.

Дополнительными показателями технологичности могут быть относительная трудоемкость ремонтов изделия, относительная себестоимость ремонтов изделия, коэффициент унификации изделия, коэффициент унификации сборочных единиц, коэффициент унификации деталей, коэффициент стандартизации сборочных единиц, коэффициент стандартизации деталей, коэффициент сборности, коэффициент повторяемости, масса изделия.

Определение показателей технологичности — по ГОСТ 18831-73.

2.5.2. Трудоемкость изготовления изделия \text{Т}_{\text{и}} характеризуется количеством времени, затраченного на изготовление единицы изделия, и выражается в нормо-часах.

2.5.3. Технологическая себестоимость изделия С характеризуется суммой затрат на изготовление изделия без учета покупных изделий.

Технологическую себестоимость изделия вычисляют по формуле:

\text{С } = \text{С}_{\text{м}} + \text{С}_{\text{пф}.} + \text{С}_{\text{з}} + \text{С}_{\text{п}.\text{р}.} + \text{С}_{\text{в}.\text{р}.} , (1)

где \text{С}_{\text{м}} — стоимость сырья и материалов;

\text{С}_{\text{пф}.} — стоимость полуфабрикатов;

\text{С}_{\text{з}} — основная заработная плата производственных рабочих;

\text{С}_{\text{п}.\text{р}.} — общепроизводственные расходы;

\text{С}_{\text{в}.\text{р}.} — внепроизводственные расходы.

2.5.4. Относительную трудоемкость ремонтов изделия \text{Т}_{\text{р}.\text{о}} за определенный период эксплуатации определяют по формуле:

где \text{Т}_{\text{в}} — время ремонта.

2.5.5. Относительную себестоимость ремонтов изделия \text{С}_{\text{р}.\text{о}} за определенный период эксплуатации определяют по формуле:

\text{С}_{\text{р}.\text{о}} = \frac{\text{С}_{\text{р}}}{\text{С}} , (3)

где \text{С}_{\text{р}} — суммарная себестоимость ремонтов изделия.

2.5.6 Коэффициент унификации изделия \text{К}_{\text{у}} вычисляют по формуле:

где \text{Е}_{\text{у}} — число унифицированных сборочных единиц изделия и его унифицированных деталей, не вошедших в состав сборочных единиц;

\text{Е}_{\text{об}} — общее число соответственных составных частей изделия без учета стандартных крепежных деталей.

К унифицированным составным частям изделия относятся заимствованные, покупные и стандартные непокупные сборочные единицы и детали изделия.

2.5.7 Коэффициент унификации сборочных единиц \text{К}_{\text{у}.\text{сб}} определяют по формуле:

где \text{Е}_{\text{у}.\text{сб}} — число унифицированных сборочных единиц изделия;

\text{Е}_{\text{об}.\text{сб}} — общее число сборочных единиц изделия.

2.5.8 Коэффициент унификации деталей \text{К}_{\text{у}.\text{д}} определяют по формуле:

\text{К}_{\text{у}.\text{д}} = \frac{\text{Е}_{\text{у}.\text{д}}}{\text{Е}_{\text{об}.\text{д}}} , (6)

2.5.9 Коэффициент стандартизации изделия \text{К}_{\text{ст}} вычисляют по формуле:

\text{К}_{\text{ст}} = \frac{\text{Е}_{\text{ст}}}{\text{Е}_{\text{об}}} , (7)

где \text{Е}_{\text{ст}} — число стандартных сборочных единиц изделия и его стандартных деталей, не вошедших в состав сборочных единиц.

2.5.10 Коэффициент стандартизации деталей \text{К}_{\text{ст}.\text{д}} вычисляют до формуле:

\text{К}_{\text{ст}.\text{д}} = \frac{\text{Е}_{\text{ст}.\text{д}}}{\text{Е}_{\text{об}.\text{д}}} , (8)

\text{Е}_{\text{об}.\text{д}} — общее число деталей изделия.

2.5.11. Коэффициент сборности (блочности) \text{К}_{\text{сб}} представляет собой долю специфированных частей изделия в общем количестве составных частей этого же изделия (сборочные единицы и детали, не входящие непосредственно в сборочные единицы).

Коэффициент сборности (блочности) вычисляют по формуле:

\text{К}_{\text{сб}} = \frac{\text{Е}_{\text{сб}}}{\text{Е}_{\text{сб}.\text{о}}} , (9)

\text{Е}_{\text{сб}.\text{о}} — общее число составных частей изделия.

2.5.12. Коэффициент повторяемости характеризует степень унификации составных частей изделия.

Коэффициент повторяемости \text{К}_{\text{п}} вычисляют по формуле:

\text{К}_{\text{п}} = \frac{\text{Е}_{\text{об}.\text{шт}.}}{\text{Е}_{\text{об}}} , (10)

Под типоразмером понимается изделие определенной конструкции, характеризующейся определенными параметрами, размерами и исполнением (правое, левое исполнение, материал, покрытие, шероховатость поверхности и др.), записываемое отдельной позицией в спецификацию.

2.6 Эстетические показатели

2.6.1. Эстетические показатели характеризуют степень соответствия формы изделия его функции с учетом окружающей среды.

2.6.2. Единичные эстетические показатели определяют экспертным методом по специальной балльной шкале. Примерный перечень эстетических показателей приведен в Приложении 1 (Справочное).

2.7 Патентно-правовые показатели

2.7.1. Патентно-правовые показатели характеризуют патентную защиту и патентную чистоту изделия.

2.7.2 При определении показателей патентной защиты и патентной чистоты следует учитывать:

• наличие в изделии отечественных изобретений, защищенных авторскими свидетельствами в СССР и патентами за рубежом;
• степень значимости (весомость) этих изобретений для данного изделия с точки зрения выполнения его основных или вспомогательных функций;
• степень и время известности технических решений, заложенных в изделии, по источникам, доступным неограниченному кругу лиц;
• наличие патентной чистоты изделия (включая изобретения, полезные модели, промышленные образцы и товарные знаки) в отношении СССР и других стран с учетом значимости нарушаемых патентов для изделия в целом;

2.7.3. Показатель патентной защиты характеризует количество и весомость новых отечественных изобретений, реализованных в данном изделии (в том числе и созданных при его разработке), т.е. характеризует степень защиты изделия принадлежащими советским предприятиям и учреждениям авторскими свидетельствами в СССР и патентами за рубежом с учетом значимости отдельных технических решений.

Исходя из этих данных показатель патентной защиты изделия авторскими свидетельствами в СССР вычисляют по формуле:

\text{П́}_{\text{п}.\text{з}} = \frac{\sum_{i = 1}^{S} K_{i}\prime N_{i}\prime}{N} , (11)

где: K_{i}\prime — коэффициенты весомости составных частей, защищенных авторскими свидетельствами в СССР, по группам значимости;

N_{i}\prime — количество составных частей, защищенных авторскими свидетельствами в СССР, по группам значимости;

2.7.4. Показатель патентной защиты изделия принадлежащими советским предприятиям и организациям патентами за рубежом вычисляют по формуле:

\text{П́}_{\text{п}}\prime_{.\text{з}} = \delta \frac{\sum_{i = 1}^{S} K_{i}\prime\prime N_{i}\prime\prime}{N} , (12)

где: \delta — коэффициент весомости, зависящий от числа стран, в которых получены патенты, и важности этих стран для экспорта изделия или продажи лицензий;

K_{i}\prime\prime — коэффициент весомости составных частей, защищенных принадлежащими советским предприятиям и организациям патентами за рубежом, по группам значимости;

N — общее количество составных частей в изделии;

N_{i}\prime\prime — количество составных частей изделия, защищенных патентами за рубежом;

S — число групп значимости.

Коэффициенты весомости K_{i}\prime и K_{i}\prime\prime определяют экспертным методом.

Если какой-либо элемент изделия одновременно защищен авторским свидетельством в СССР и патентом за рубежом, то K_{i}\prime = K_{i}\prime\prime .

Общий показатель патентной защиты вычисляют по формуле:

\text{П}_{\text{п}.\text{з}} = \text{П́}_{\text{п}.\text{з}} + \text{П́}_{\text{п}}\prime_{.\text{з}} . (13)

2.7.5. Показатель патентной чистоты характеризует возможность беспрепятственной реализации изделия как в СССР, так и за рубежом.

При определении показателя патентной чистоты необходимо учитывать, что изделие, выпускаемое для реализации только внутри страны, не должно нарушать действующие патенты исключительного права, выданные в СССР, а изделие, которое может стать объектом экспорта, не должно нарушать действующие патенты третьих лиц, выданные в предполагаемых странах экспорта.

2.7.6 Показатель патентной чистоты изделия вычисляют по формуле:

где: N — общее количество составных частей в изделии;

N_{i} — количество составных частей изделия, подпадающих под действие патентов в данной стране, по группам значимости;

K_{i} — коэффициент весомости составных частей, подпадающих под действие патентов в данной стране, по группам значимости;

S — число групп значимости.

Показатель патентной чистоты для изделий, обладающих патентной чистотой в отношении данной страны, равен единице.

2.7.7. Учитывая территориальный характер действия патента, показатель патентной чистоты изделия следует определять отдельно для СССР и для каждой страны предполагаемого экспорта.

При разработке новых изделий показатель патентной чистоты определяют для СССР и стран, в которых наиболее развиты соответствующие отрасли техники.

2.8. При отсутствии данных по отдельным показателям допускается включать их в карту технического уровня и качества продукции на последующих стадиях освоения производства и эксплуатации изделий.

3. БАЗОВЫЕ ПОКАЗАТЕЛИ КАЧЕСТВА

3.1. Головная и базовые организации по стандартизации разрабатывают РТМ по базовым показателям и коэффициентам весомости единичных и обобщенных показателей качества по закрепленной продукции.

3.2. РТМ по базовым показателям качества согласовываются с основными изготовителями и утверждаются министерством на срок не более 3 лет. По истечении установленного срока РТМ должны быть переработаны с учетом развития отрасли и вновь согласованы и утверждены министерством.

3.3. При установлении количественных значений базовых показателей необходимо исходить из высшего достигнутого уровня качества в отрасли с учетом перспективы развития ее на ближайшие 3 — 5 лет.

3.4. Базовые показатели качества должны устанавливаться на основе анализа данных о требованиях потребителей, достижений науки и техники, анализа показателей качества экспериментальных изделий и обосновываться технико-экономическим расчетом.

3.5. Выбор аналогов для сопоставления с вновь разрабатываемыми изделиями проводят их разработчики. Аналоги согласовывают с основными изготовителями, головной и базовыми организациями по стандартизации при разработке карт технического уровня и качества продукции (КУ).

3.6. Выбор аналогов для сопоставления серийно выпускаемых изделий проводят их изготовители. Аналоги согласовывают с головной и базовыми организациями по стандартизации при заполнении, корректировке или разработке КУ.

3.7. В качестве аналогов могут быть выбраны отечественные и зарубежные образцы, представляющие высший достигнутый уровень качества и составляющие значительный объем производства.

3.8 Аналоговые образцы должны удовлетворять следующим требованиям:

быть аналогичными по назначению, классу и условиям применения;

представлять продукцию, которая составляет значительную часть производимой и реализуемой продукций внутри страны или за рубежом;

4. МЕТОДЫ ОЦЕНКИ УРОВНЯ КАЧЕСТВА ПРОДУКЦИИ

4.1. Для оценки уровня качества продукции используют чаще всего дифференциальный метод, заключающийся в сопоставлении величин единичных показателей качества оцениваемых изделий с величинами соответствующих базовых показателей или показателей аналоговых образцов.

4.2. Уровень качества характеризуется совокупностью величин относительных показателей качества или величиной относительного обобщенного показателя.

4.3. При сопоставлении единичных показателей качества оцениваемого изделия с соответствующими базовыми показателями вычисляют относительные показатели по формулам:

где P_{i} — значение i-го единичного показателя оцениваемого изделия;

P_{i\text{б}} — значение i-го базового показателя или показателя аналога;

i = 1, 2,..., n, где n — число показателей.

Из формул (15) и (16) выбирают ту, в которой увеличению относительного показателя соответствует улучшение качества оцениваемого изделия. Например, относительный показатель для наработки на отказ, ресурса, срока службы вычисляют по формуле (15), так как увеличение числового значения единичного показателя указывает на улучшение качества.

Относительный показатель для трудоемкости изготовления, технологической себестоимости, материалоемкости изделия вычисляют по формуле (16), так как в этом случае улучшение качества определяется уменьшением числового значения единичного показателя оцениваемого изделия.

4.4. По отдельным группам показателей (см. п. 1.4) в случае необходимости вычисляют комплексные показатели по формуле:

\text{П}_{\text{г}} = \sum_{i = 1}^{n} m_{i}q_{i} , (17)

где q_{i} — величина i-го единичного относительного показателя; i = 1, 2,..., n, где n — количество единичных показателей в данной группе;

4.5 Обобщенный показатель по всем группам показателей определяют по формуле:

\text{П}_{\text{об}} = \sum_{j = 1}^{N} M_{j}\text{П}_{\text{г}j} , (18)

где M_{j} — коэффициент весомости j-го комплексного показателя; j = 1, 2,..., N, где N — количество комплексных показателей по группам.

4.6. Комплексную оценку уровня качества проводят в тех случаях, когда часть наиболее важных относительных показателей больше единицы, а часть их меньше единицы. Об уровне качества в этом случае судят по величине обобщенного показателя.

4.7. Величины коэффициентов весомости единичных и комплексных показателей качества берут по РТМ «Базовые показатели качества протезно-ортопедических изделий».

4.8. В тех случаях, когда невозможно определение количественных значений единичных показателей объективными методами путем непосредственного измерения или путем наблюдения количества событий или объектов, используют экспертный метод определения их величин по специальной балльной шкале.

4.9. Определение количественных значений показателей качества, коэффициентов весомости единичных и комплексных показателей экспертным методом возлагается на экспертные комиссии головной и базовых организаций по стандартизации по закрепленной продукции.

4.10. Состав экспертных комиссий утверждается руководством соответственно головной и базовых организаций по стандартизации.

4.11. Для исключения большой вероятности принятия случайного решения число экспертов, входящих в комиссию, должно быть не менее 7 человек. В состав экспертной комиссии не рекомендуется вводить авторов изделия для исключения субъективного влияния на оценку.

4.12. Порядок комплектования и работы экспертных комиссий определяется специальной методикой, Приложение 2 (Рекомендуемое).

ПРИМЕРНЫЙ ПЕРЕЧЕНЬ ПОКАЗАТЕЛЕЙ, КОТОРЫЕ ИСПОЛЬЗУЮТСЯ ПРИ ОЦЕНКЕ КАЧЕСТВА ПРОТЕЗНО-ОРТОПЕДИЧЕСКИХ ИЗДЕЛИЙ

Приложение 2 Рекомендуемое

МЕТОДИКА ЭКСПЕРТНОЙ ОЦЕНКИ И КАЧЕСТВА ПРОТЕЗНО-ОРТОПЕДИЧЕСКИХ ИЗДЕЛИЙ

При определении качества наряду с объективными методами широко применяют экспертный метод, заключающийся в вынесении суждения, основанного на опыте и компетенции специалистов-экспертов.

1. ОБЩИЕ ПОЛОЖЕНИЯ

1.1. Методика составлена на основании и в развитие «Методики оценки уровня качества промышленной продукции», «Методики применения экспертных методов для оценки качества продукции» и «Методики оценки медико-технического уровня и качества протезно-ортопедических изделий МО 1-75. Методические указания» и может быть использована при оценке качества протезно-ортопедических изделий.

1.2 Назначение методики

1.2.1. Экспертный метод применяют в тех случаях, когда невозможно или затруднительно использование объективных методов для определения количественных значений показателей, экономической эффективности повышения качества и т.д.

1.2.2. Экспертный метод используют при определении коэффициентов весомости показателей качества, при количественном определении и оценке показателей качества органолептическим методом, при определении комплексных показателей на различных уровнях комплексности, при аттестации качества изделий.

1.2.3. Настоящая методика предназначена для оценки качества протезно-ортопедических изделий на различных стадиях их создания.

1.2.4 Основные операции экспертной оценки качества изделий и их последовательность представлены на нижеследующей схеме:

2. ФОРМИРОВАНИЕ РАБОЧЕЙ ГРУППЫ

2.1. Рабочая группа организует процедуру опроса экспертов, обрабатывает и анализирует экспертные оценки.

2.2. В состав рабочей группы входят: организатор, специалист по оцениваемому изделию, технические работники.

2.2.1. Организатор осуществляет методическое руководство работой на всех этапах, формирует рабочую группу, принимает участие в формировании экспертной группы, составляет программу работ, участвует в опросе экспертов, анализирует результаты каждой операции для корректирования дальнейшей работы и окончательные результаты, формулирует выводы и рекомендации.

2.2.2. Специалист по оцениваемой продукции выбирается из числа высококвалифицированных работников организации, в которой формируется экспертная группа. Знания специалиста по оцениваемому изделию должны по возможности носить универсальный характер, т.е. охватывать различные стороны производства и эксплуатации (потребления) данных изделий.

Основной задачей специалиста должны быть анализ информации, полученной от экспертов, для корректирования программы дальнейшей работы.

Функции специалиста желательно возложить на руководителя службы, которая занимается вопросами качества изделий.

2.2.3. Технические работники назначаются из числа лиц, занятых в службе контроля качества изделий, в расчете один работник на 7 — 10 экспертов. Технические работники проводят опрос экспертов и обработку полученной информации. В процессе опроса технический работник не должен высказывать эксперту свои суждения о его ответах, чтобы не внушать ему свое мнение по данному вопросу.

3. ФОРМИРОВАНИЕ ЭКСПЕРТНОЙ ГРУППЫ

3.1. Эксперт должен удовлетворять ряду требований. Эти требования состоят из следующих групп: информированность, заинтересованность в результатах экспертизы, деловитость и объективность.

В информированность эксперта входят профессиональное знание оцениваемых изделий и знание основ квалиметрии.

Заинтересованность в результатах экспертизы необходима для использования этих результатов в работе эксперта и для повышения его информированности.

Под собранностью понимается подвижное и эластичное внимание, которое позволяет быстро переключаться с оценки одного показателя на оценку другого. Под контактностью понимается умение работать с людьми при решении вопросов в конфликтной ситуации. Нонконформизм — это способность противостоять мнению большинства при уверенности в своей правоте.

Объективность должна проявляться при самостоятельном назначении оценок и в корректировании своих оценок при поступлении информации от других экспертов.

3.2. В экспертную группу включают высококвалифицированных специалистов по оцениваемым изделиям (ученых, конструкторов, производственников и др.). В состав экспертной комиссии не рекомендуется включать специалистов, имеющих отношение к разработке, проектированию, изготовлению оцениваемых изделий.

3.3. Число экспертов, входящих в группу (комиссию), должно быть не менее 7 человек. При необходимости повышения точности оценок состав группы может быть увеличен до 15 — 20 человек.

3.4. При отсутствии достаточного числа высококвалифицированных специалистов допускается в исключительных случаях число экспертов, входящих в комиссию, снижать до 5 человек.

3.5. Работу экспертной группы оформляют приказом или распоряжением, где указывают цель проводимой работы, состав экспертной группы и ее руководителя, сроки заполнения экспертами анкет, сроки выполнения работ.

3.6. Для повышения эффективности экспертизы экспертную группу создают как постоянно действующий орган со стабильным составом экспертов.

4. СОСТАВЛЕНИЕ СТРУКТУРНОЙ СХЕМЫ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

4.1. Рабочая группа предлагает экспертам перечень показателей качества, составленный разработчиками изделия или специалистами по данному виду изделий. Вместе с перечнем показателей экспертам предлагают анкету для заполнения и пояснительную записку, в которой изложена методология работы (см. анкету № 1 в конце данного Приложения).

4.2. Рекомендуется следующий перечень показателей в порядке их значимости: назначения, надежности, эргономические, технологичности, эстетические, патентно-правовые. В зависимости от оценки конкретного изделия этот порядок может быть иным и должен быть определен путем вынесения решения экспертной группой.

4.3. Эксперты могут изменять предложенный перечень показателей качества конкретного изделия, дополняя его по своему усмотрению новыми показателями или исключая некоторые показатели, роль которых по их мнению при оценке качества данного изделия незначительна. При изменении перечня необходимо указать причину и обоснование этого изменения.

4.4. Заполненные анкеты передают в рабочую группу, которая составляет по этим анкетам уточненный перечень показателей качества и групп, в которые они объединены.

4.5. Рабочая группа строит далее структурную схему показателей в соответствии с уточненным перечнем по схеме.

Аналогично составляют структурную схему по другим видам показателей качества: назначения, технологичности и т.д.

4.6. Структурная схема, построенная рабочей группой по всем группам показателей, поступает к экспертам для дальнейшего ее уточнения. После изучения структурной схемы каждый эксперт приходит к одному из следующих выводов:

• в схеме есть показатели качества, весомость которых незначительна и их можно не учитывать при оценке качества, — эти показатели эксперт вычеркивает;
• в схему не включены достаточно важные показатели — эти показатели эксперт вносит в схему;
• схема должна быть откорректирована — в этом случае эксперт вычеркивает показатели, которые считает маловажными, и одновременно дополняет схему показателями, которые считает достаточно важными;
• структурная схема составлена правильно.

Мотивы своих действий эксперт излагает на отдельном листе или сообщает их рабочей группе.

4.7. После анализа мнений экспертов членами рабочей группы структурная схема корректируется и вновь поступает к экспертам для вынесения суждения.

4.8. В случае разногласий в мнениях экспертов структурная схема открыто обсуждается экспертами и суждение выносится путем голосования (2/3 голосов).

4.9. Скорректированную и обсужденную структурную схему предлагают экспертам для определения коэффициентов весомости показателей качества.

5. ОПРЕДЕЛЕНИЕ КОЭФФИЦИЕНТОВ ВЕСОМОСТИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

5.1. Рабочая группа предлагает экспертам структурную схему показателей качества вместе с анкетой и пояснительной запиской (см. анкету № 2 в конце данного Приложения).

5.2. Эксперты проводят ранжировку показателей по каждому виду, если их четыре или больше.

Наиболее важному показателю присваивают ранг 1, следующему по важности показателю — ранг 2 и т.д. Если эксперт считает, что весомость двух или более показателей одинакова, то он присваивает им одинаковые ранги. Если показателей менее четырех, ранжировку можно не проводить.

5.3. Эксперты определяют коэффициенты весомости по каждой группе показателей качества, начиная с самого низкого уровня, на котором располагаются единичные показатели. При этом наиболее важному показателю присваивается коэффициент весомости 10. Коэффициент весомости следующего по важности показателя определяется как доля важности первого показателя. При определении коэффициента весомости третьего показателя учитывается его важность по сравнению с первым и вторым показателями. Дальнейшее сравнение проводится с первым и любым из определенных показателей.

Для назначения коэффициентов весомости используют ряд чисел от 10 до нуля с интервалом через 0,5.

Аналогичной операцией определяют затем коэффициенты весомости и комплексных показателей более высокого уровня вплоть до 0-го уровня между группами однородных показателей качества (между показателями назначения, надежности и т.д.).

5.4. Полученные значения коэффициентов весомости, лежащие в интервале от 0 до 10, нормируются рабочей группой в следующем порядке. Первоначально по группе экспертов вычисляют среднее арифметическое значение коэффициента весомости каждого показателя по формуле:

где: N — число экспертов;

a_{ij} — коэффициент весомости i-го показателя, определенный j-м экспертом;

i = 1, 2,..., n, где n — число показателей качества.

Затем в каждой группе показателей проводят нормирование коэффициентов весомости по формуле:

где: m_{i} — нормированный коэффициент весомости i-го показателя;

n — количество показателей в группе.

При этом должно выполняться условие:

\sum_{i = 1}^{n} m_{i} = 1\text{и }m_{i} \geq 0 .

5.5. Согласованность мнений экспертов о весомости отдельных показателей качества определяется с помощью коэффициента вариации по формулам:

где: S_{i} — среднее квадратическое отклонение коэффициентов весомости i-го показателя качества;

m_{i} — коэффициент весомости i-го показателя качества.

Рекомендуются следующие значения коэффициентов вариации:

V <= 0,10 — согласованность высокая;

V = 0,16 — 0,30 — согласованность средняя;

V > 0,35 — согласованность низкая.

5.6. При низкой согласованности проводят дополнительный анализ. Для выявления причины низкой согласованности проводят повторное определение коэффициентов весомости данного показателя с обсуждением, т.е. проводят 2-й тур опроса экспертов, и вновь рассчитывают коэффициент вариации. Если после данной процедуры коэффициент вариации не улучшится или улучшится незначительно, проводят обсуждение полученных значений коэффициентов весомости с обоснованием мнений экспертов.

Все эксперты кратко аргументируют свои суждения о значении коэффициента весомости каждого показателя и критикуют другие мнения. Для исключения возможного влияния служебного положения на мнения экспертов желательно, чтобы эксперты высказывались в последовательности от младшего к старшему по служебному положению. При этом следует иметь в виду, что цель обсуждений состоит в стремлении выработать общее понимание всеми экспертами характера работы и вопросов и выявить истинное мнение эксперта, а не в стремлении сблизить значения коэффициентов весомости, которые назначают эксперты. Коэффициент вариации в значительной степени является не мерой «неблагополучия» в мнениях, а мерой различия требований отдельных групп потребителей к оцениваемому изделию.

5.7. Если согласованность мнений экспертов о весомости отдельных показателей средняя или выше средней, то можно перейти к оценке согласованности мнений экспертов о весомости всех показателей.

5.8. Если эксперты назначали коэффициент весомости, а не ранги, то согласованность мнений по всей группе экспертов оценивается с помощью критерия, основанного на определении алгебраической разности между значениями коэффициентов весомости, назначенными отдельными экспертами, и средними значениями по формуле:

\rho_{j} = \frac{1}{n} \sum_{i = 1}^{n} [m_{ij} - \overline{m_{i}}] , (4)

где: m_{ij} — коэффициент весомости i-го показателя качества, назначенный j-м экспертом;

\overline{m_{i}} — среднее значение коэффициента весомости i-го показателя качества.

Здесь 0 \leq \rho_{j} \leq 1 .

Среднее расстояние по группе экспертов определяют по формуле:

\overline{\rho} = \frac{1}{N} \sum_{j = 1}^{N} \rho_{j} , (5)

где N — число экспертов в группе.

Величину оценки согласованности мнений экспертов вычисляют по формуле:

D = 1 - \overline{\rho} , (6)

причем 0 <= D <= 1.

Если D = 1, то имеет место полная согласованность мнений экспертов.

Если D = 0, то в мнениях экспертов согласованность отсутствует.

Если D > 0,5, согласованность мнений можно считать удовлетворительной.

5.9. Если эксперты назначали ранги показателям, то согласованность мнений группы экспертов определяют с помощью коэффициента конкордации (согласия).

При определении коэффициента конкордации проводят следующие операции:

а) каждый эксперт ранжирует все показатели качества;

б) подсчитывают сумму рангов каждого показателя \sum_{j = 1}^{N} r_{ij} ,

где r_{ij} — ранг i-го показателя у j-го эксперта;

N — число экспертов;

в) подсчитывают отклонение от средней суммы рангов по формуле:

\Delta_{i} = \sum_{j = 1}^{N} r_{ij} - T , (7)

где T — средняя сумма рангов, вычисляемая по формуле:

T = N \cdot (\frac{n + 1}{2}) , (8)

где n — число показателей;

г) подсчитывают сумму квадратов отклонений по формуле:

S = \sum_{i = 1}^{n} \Delta_{i}^{2} . (9)

Коэффициент конкордации определяют по формуле:

причем 0 <= W <= 1.

При W = 0 — отсутствует согласованность в мнениях экспертов;

При W = 1 — имеет место полная согласованность;

при W > 0,5 можно считать согласованность удовлетворительной.

Оценку значимости коэффициента конкордации проводят по критерию X^{2} :

Здесь значение (n — 1) показывает число степеней свободы l.

Числовые значения X^{2} указаны в таблице.

Таблица

Значения X^{2} в зависимости от p и l

\sum_{i = 1}^{6} \overline{a_{i}} = 9,5 + 7,5 + 9 + 8 + 6 + 5 = 45 ;

2. по формуле (2) вычисляем нормированные коэффициенты весомости:

m_{4i} = \frac{8}{45} = 0,178;m_{5i} = \frac{6}{45} = 0,133;m_{6i} = \frac{5}{45} = 0,111 ;

3. вычисляем по формулам (2) и (3) коэффициенты вариации по каждому показателю для отдельных экспертов, получаем:

Для большинства показателей коэффициенты вариации менее 0,15, значит согласованность мнений экспертов о коэффициентах весомости показателей достаточно высока.

Определяем коэффициент конкордации по всей группе экспертов.

Так как в ранжировке показателей по группе экспертов имеются одинаковые (связанные) ранги, коэффициент конкордации вычисляем по формуле (12).

Подсчитаем сначала число групп одинаковых рангов в ранжировке каждого эксперта и число повторений одинакового ранга в каждой из этих групп и вычисляем величину T по формуле (13) для каждого эксперта:

T_{4} = \frac{1}{12} {}^{\cdot}{^{(2^{3} - 2) + (2^{3} - 2)}}_{5}^{= 1,0;T =} \frac{1}{12} \cdot (2^{3} - 2) = 0,5 ;

T_{6} = \frac{1}{12} \cdot (2^{3} - 2) = 0,5;T_{7} = 0 .

Суммируем величины T по группе экспертов:

По формуле (8) вычисляем среднюю сумму рангов, получаем:

T = 24,5.

По формуле (7) вычисляем отклонения от средней суммы рангов для каждого показателя:

\Delta_{1} = - 15,5;\Delta_{2} = 1,0;\Delta_{3} = - 8,5 ;

\Delta_{4} = - 4,5;\Delta_{5} = 12,5;\Delta_{6} = 15,0 .

По формуле (9) подсчитываем сумму квадратов отклонений:

S = 240,25 + 1,0 + 72,25 + 20,25 + 156,25 + 225,0 = 715,0.

Подсчитываем коэффициент конкордации:

W = \frac{715}{\frac{1}{12} \cdot 7^{2} \cdot (6^{3} - 6) \cdot 7 \cdot 3} = 0,86 .

Оцениваем значимость результата по формуле (11):

X^{2} = 7 \cdot (6 - 1) \cdot 0,86 = 30,1 .

По таблице находим величину X^{2} для 5 степеней свободы (l = n — 1) при 1%-ном уровне значимости (p = 0,01):

X_{\text{табл}.}^{2} = 15,09 .

Так как в нашем случае X^{2}>X_{\text{табл}.}^{2} , то вероятность неслучайной согласованности мнений экспертов достаточно высока, следовательно, назначенные экспертами все величины коэффициентов весомости показателей достаточно согласованны.

5.10. Если номенклатура показателей качества изделия содержит комплексные и единичные показатели на различных уровнях, то ранжировку показателей и вычисление коэффициента конкордации, т.е. определение согласованности мнений экспертов, проводят отдельно для каждого уровня комплексности показателей: отдельно для единичных показателей и отдельно для комплексных показателей.

6. ОЦЕНКА ЕДИНИЧНЫХ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

6.1 Шкала для оценки показателей качества

6.1.1. Если от оценки не требуется высокая точность, можно использовать пятибалльную шкалу со следующими градациями качества:

5 — качество отличное,

4 — качество хорошее,

3 — качество среднее (удовлетворительное),

2 — качество плохое,

1 — качество очень плохое.

При пользовании такой шкалой эксперт определяет только градацию качества, которой соответствует определенное число баллов.

6.1.2. Учитывая стремление экспертов не применять крайние значения, и в этом случае пятибалльная шкала практически превращается в грубую трехбалльную, целесообразно использовать семибалльную шкалу:

7 — качество очень высокое,

6 — качество высокое,

6.1.3. Чтобы обеспечить различимость градаций качества, экспертам рекомендуется дать описание, в котором отмечены характерные черты градаций, позволяющие достаточно четко отличать смежные градации.

6.1.4. При оценке однотипных изделий следует пользоваться одной и той же шкалой.

6.2 Оценка показателей качества

6.2.1. Процедура оценки показателей качества состоит из двух основных операций: определение органолептическим методом в баллах количественных значений показателей качества, которые не могут быть определены экспериментально, и оценка значений показателей в соответствии с градациями качества по семибалльной шкале (см. п. 6.1.2).

6.2.2. Количественное определение показателей качества органолептическим методом проводят с помощью анкеты, в которой для оцениваемого изделия перечислены все показатели качества, не поддающиеся измерению объективными методами. В соответствующей графе анкеты эксперт указывает величину каждого показателя в баллах по семибалльной шкале.

6.2.3. Рабочая группа определяет по анкетным результатам коэффициенты вариации и согласованность мнений экспертов для всех показателей. Если коэффициент вариации по какому-либо показателю велик (V > 0,3), проводят следующий тур опроса экспертов. Если и после этого согласованность не достигнута, проводят открытое обсуждение значений показателей. Если не достигнута согласованность мнений при открытом обсуждении путем голосования, то принимают среднее из 50% наибольших значений.

Если V <= 0,3, принимают среднюю величину показателя, назначенную всеми экспертами, и определяют согласованность мнений по всей группе экспертов (см. пп. 5.8, 5.9).

6.2.4. При определении значений показателей, соответствующих каждой градации качества, эксперт заполняет таблицу в анкете в соответствии с пояснительной запиской (см. анкету № 3 в конце данного Приложения). По каждому показателю независимо от метода его определения проставляют в таблице то количество баллов по семибалльной шкале, которое по мнению эксперта соответствует определенной градации качества.

7. АТТЕСТАЦИЯ КАЧЕСТВА ИЗДЕЛИЙ

7.1. При аттестации для отнесения изделий к определенной категории качества используются два метода: «метод границ комплексной оценки» и «метод комиссии».

«Метод границ комплексной оценки» состоит в установлении экспертной группой границ комплексного показателя, определяющих каждую категорию качества. Этот метод позволяет проводить аттестацию конкретных изделий без участия экспертов.

«Метод комиссий» состоит в принятии решения об отнесении изделия к определенной категории качества голосованием членов экспертной группы. Решение принимается, если за него подано не менее 2/3 голосов:

при 7 экспертах — не менее 5 голосов,

при 9 экспертах — не менее 6 голосов,

при 10 экспертах — не менее 7 голосов,

при 11 экспертах — не менее 8 голосов,

при 12 экспертах — не менее 8 голосов и т.д.

7.2. Присвоение категории качества может проводиться после определения значений коэффициентов весомости и относительных показателей качества или без этих предварительных операций.

Пример анкеты и пояснительной записки

АНКЕТА № 1

Фамилия, инициалы эксперта ________________________________________________

Отдел, сектор _____________________________________________________________

Профессия (направленность работы) _________________________________________

Стаж работы в этой области ________________________________________________

Должность _________________________________________________________________

Под качеством изделия понимается совокупность свойств этого изделия, обуславливающих его пригодность для удовлетворения определенных потребностей в соответствии с его назначением.

Свойства изделия характеризуются показателями.

Показатель качества — количественная характеристика свойства изделия, входящего в состав его качества (ГОСТ 15467-70).

Исходя из этого, укажите, пожалуйста, показатели качества протеза предплечья из предлагаемого Вам перечня, которые могут интересовать потребителя (инвалида) и которые целесообразно учитывать при оценке качества таких протезов.

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА

Назначение протеза — возмещение утраченной функции руки после ампутации на уровне предплечья. При этом протез должен быть надежным в работе, удобным в пользовании, включая надевание и снимание с культи предплечья, а также удобным при гигиенической обработке его.

Просим Вас сначала внимательно ознакомиться с перечнем показателей качества, характеризующих основные свойства протеза.

Если Вы считаете перечень показателей неполным, напишите в графе Примечания прилагаемого перечня наименования показателей, которые, по Вашему мнению, следует учесть, и укажите причины, по которым Вы это сделали.

Если Вы считаете некоторые показатели несущественными, вычеркните их из перечня и укажите причину их малой значимости для оценки качества данного изделия.

Если Вы считаете перечень показателей достаточно полным и составленным правильно, укажите это также в графе Примечания перечня показателей.

ПЕРЕЧЕНЬ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПРОТЕЗА ПРЕДПЛЕЧЬЯ

ПРИМЕР СТРУКТУРНОЙ СХЕМЫ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

Пример анкеты и пояснительной записки

АНКЕТА № 2

Фамилия, инициалы эксперта ________________________________________________

Отдел, сектор _____________________________________________________________

Профессия (направленность работы) _________________________________________

Стаж работы в этой области ________________________________________________

Должность _________________________________________________________________

Цель данной анкеты заключается в количественном определении степени важности (значимости) единичных и комплексных показателей качества, т.е. в определении коэффициентов весомости этих показателей. Для этого предварительно была составлена структурная схема показателей качества, т.е. схема, в которой показатели качества располагаются на нескольких уровнях. Степень сложности (комплексности) показателей уменьшается от нулевого уровня к последующим вплоть до такого уровня, на котором располагаются единичные показатели, т.е. показатели, относящиеся к одному отдельному свойству изделия и измеряющиеся объективным или экспертным методом.

Учитывая комплексность показателей качества, укажите коэффициент весомости единичных и комплексных показателей, приведенных в прилагаемой структурной схеме, и укажите ранги этих показателей в соответствующих графах схемы.

Порядок работы указан в приложенной пояснительной записке.

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА

Первый этап работы по определению уровня качества протеза предплечья состоит в назначении коэффициентов весомости (значимости) показателей качества, приведенных в структурной схеме.

Коэффициент весомости любого показателя на любом уровне определяется относительно соответствующего показателя соседнего, более высокого уровня.

Процедура определения коэффициента весомости заключается в следующем. В соответствии с Вашим представлением о важности показателя в структурной схеме в графе «Ранг», начиная со 2-го уровня, проставьте порядковые номера показателей. Номер 1 присваивается наиболее важному показателю, номер 2 — следующему по важности за первым и т.д. Затем в графе «Весомость» проставьте рядом с показателем, имеющим ранг 1, цифру 10. Это будет значение коэффициента весомости самого важного показателя. Затем определите коэффициент весомости показателя с рангом 2 как долю от весомости 1-го показателя (коэффициенты весомости могут иметь значения от 0 до 10 с интервалом через 0,5). Если Вы считаете, что весомости двух или более показателей равны между собой, то поставьте им одинаковые ранги и одинаковые значения коэффициентов весомости. Например, двум показателям Вы присвоили коэффициент весомости 7 и ранги 4, т.е. ставите эти показатели на 4-е место. В этом случае, так как два показателя должны занимать два места, Вы в графе «Ранг» проставляете числа 4, 5 против каждого из этих показателей, т.е. делите сумму мест этих показателей на число этих показателей. Здесь два равнозначных показателя будут занимать 4-е и 5-е места.

Аналогично могут быть обозначены и ранги 3-х и более показателей. Например, если Вы между тремя равнозначными показателями делите 5-е, 6-е и 7-е места, то их сумма мест будет 5 + 6 + 7 = 18 и, как указывалось выше, в графе «Ранг» Вы проставляете число 18: 3 = 6 против этих трех равнозначных показателей, а 5-е и 7-е места оставляете свободными, так что другие показатели следует размещать уже на последующих местах, т.е. с 8-го места и далее. Такими последовательными операциями Вы заполняете графу «Весомость» показателей 2-го уровня. После этого переходите на 1-й уровень, т.е. последней операцией является определение коэффициентов весомости комплексных показателей: назначения, надежности, эргономических и т.д.

Если Вам удобно пользоваться другой последовательностью действий или предложения последовательность вызывает у Вас затруднения, укажите причины этого на последнем листе.

Проставляя ранги и коэффициенты весомости показателей, пожалуйста, не забывайте весьма важное обстоятельство: Вы выполняете данную работу не как потребитель, а как эксперт-специалист в области протезостроения, хорошо знающий функциональные возможности и эксплуатационные характеристики протеза.

В общем, для определения коэффициентов весомости желательно использовать все Ваши знания о различных сторонах производства и использования протезов. Просим Вас заполнить анкету лично или вместе с сотрудниками, не входящими в экспертную группу.

Отнеситесь, пожалуйста, к этой работе внимательно. Если у Вас возникнут какие-либо вопросы или появятся неясности, не заполняйте анкету, пока не получите разъяснений.

Пример карты показателей качества протеза предплечья

ОПРЕДЕЛЕНИЕ КОЭФФИЦИЕНТОВ ВЕСОМОСТИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

                                  ___________
                                  ___________

             П                         P
              2                         12

                                   P
                                    22
                                  ___________
                                  ___________

             П                         P
              3                         13

                                   P
                                    23
                                  ___________
                                  ___________

             П                         P
              4                         14

                                   P
                                    24
                                  ___________
                                  ___________

             П                         P
              5                         15

                                   P
                                    25
                                  ___________
                                  ___________

             П                         P
              6                         16

                                   P<br>
                                    26<br>
                                  ___________<br>
                                  ___________

Пример анкеты и пояснительной записки

ОЦЕНКА ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПРОТЕЗА ПРЕДПЛЕЧЬЯ

АНКЕТА № 3

Фамилия, инициалы эксперта ________________________________________________

Профессия (направленность работы) _________________________________________

Стаж работы в этой области ________________________________________________

Должность _________________________________________________________________

Цель данной анкеты заключается в количественном определении показателей качества, не поддающихся измерению экспериментальным методом. Для этого предварительно была составлена таблица единичных показателей, которые необходимо количественно определить в соответствии с градацией качества и оценить уже имеющиеся количественные характеристики остальных показателей.

Основываясь на собственном опыте работы с протезами верхних конечностей, определите количественно (в баллах) единичные показатели, приведенные в прилагаемой таблице, и оцените остальные показатели.

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА

Уважаемый товарищ эксперт!

Второй этап работы по определению уровня качества протеза предплечья состоит в количественном определении единичных показателей, а также в оценке величин уже измеренных показателей в соответствии с градацией качества.

Процедура количественного определения показателей состоит в следующем. В соответствии с Вашим представлением о величине показателя и в соответствии с градациями качества в графу «Величина» прилагаемой таблицы проставьте то количество баллов по семибалльной шкале, которое Вы считаете нужным:

• качество очень высокое — 7 баллов;
• качество высокое — 6 баллов;
• качество выше среднего — 5 баллов;
• качество среднее — 4 балла;
• качество ниже среднего — 3 балла;
• качество низкое — 2 балла;
• качество очень низкое — 1 балл.

После того как Вы провели количественное определение показателей качества, которые не имели количественной характеристики, переходите к следующему этапу: к оценке показателей, для которых уже есть количественные характеристики.

В соответствии с приведенными выше градациями качества проставьте в графе «Оценка» приложенной таблицы против соответствующего показателя и его величины то количество баллов, которое, по Вашему представлению, соответствует данной величине показателя.