ГОСТ Р ИСО/МЭК 33020-2017. Национальный стандарт Российской Федерации. Информационные технологии. Оценка процесса. Система измерения процесса для оценки возможностей процесса

(утв. и введен в действие Приказом Росстандарта от 26.05.2017 № 447-ст)

ИСТОРИЯ ИЗМЕНЕНИЙ НОРМАТИВНО-ТЕХНИЧЕСКИХ АКТОВ

flowchart LR
  n0["ГОСТ Р ИСО/МЭК 33020-2017"]:::rst
  click n0 "https://bukva.ai/docs/standart-gost-r-isomek-33020-2017" "ГОСТ Р ИСО/МЭК 33020-2017. Национальный стандарт Российской Федерации. Информационные технологии. Оценка процесса. Система измерения процесса для оценки возможностей процесса (утв."
  n1["ГОСТ Р 71438-2024"]:::doc
  click n1 "https://bukva.ai/docs/standart-gost-r-71438-2024" "ГОСТ Р 71438-2024. Национальный стандарт Российской Федерации. Информационные технологии. Оценка процессов. Система измерения процессов для оценки их возможностей (утв. и введен в "
  n0 --> n1
classDef rst fill:#FFEBEB,stroke:#8B0000,color:#000;
classDef doc fill:#EBFFEB,stroke:#006400,color:#000;
classDef notEnt fill:#FFFFEB,stroke:#FF8C00,color:#000;

Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 26 мая 2017 г. № 447-ст

Information technology. Process assessment. Process measurement framework for assessment of process capability

ГОСТ Р ИСО/МЭК 33020-2017

Дата введения 1 марта 2018 года

Предисловие

1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью «Информационно-аналитический вычислительный центр» (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 33020:2015 «Информационные технологии. Оценка процесса. Система измерения процесса для оценки возможностей процесса» (ISO/IEC 33020:2015 «Information technology — Process assessment — Process measurement framework for assessment of process capability», IDT).

ИСО/МЭК 33020 разработан подкомитетом ПК 7 «Системная и программная инженерия» совместного технического комитета СТК 1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

ИСО/МЭК 33020 представляет собой часть множества международных стандартов, обеспечивающих содержательную и последовательную основу для оценки характеристик качества процесса, основанных на объективных данных реализации процессов. Основы оценки охватывают процессы, используемые при разработке, сопровождении и эксплуатации систем из области приложения информационных технологий, а также применяемые при проектировании, передаче, поставке и улучшении услуг. В целом это множество международных стандартов обращается к характеристикам качества процесса любого типа. Результаты оценки могут использоваться для усовершенствования процесса или определения и оперирования рисками, связанными с применением процессов.

Множество международных стандартов, начиная с ИСО/МЭК 33001 и заканчивая ИСО/МЭК 33099, обозначенных как семейство стандартов ИСО/МЭК 330ХХ, определяет требования и ресурсы, необходимые для оценки процесса. В ИСО/МЭК 33001 описаны полная архитектура и содержание множества этих стандартов. Описание общих проблем, имеющих отношение к оценке соответствия и оценке характеристик качества процесса и организационной зрелости процесса, представлено в ИСО/МЭК 29169.

Некоторые международные стандарты семейства ИСО/МЭК 330ХХ по оценке процесса предназначены для замены и расширения частей серии стандартов ИСО/МЭК 15504. Настоящий стандарт заменяет раздел 5 ИСО/МЭК 15504-2:2004. Приложение А в ИСО/МЭК 33001 отражает детальные отличия семейства стандартов ИСО/МЭК 330ХХ от серии стандартов ИСО/МЭК 15504.

1 Область применения

Настоящий стандарт определяет систему измерения процесса, которая поддерживает оценку возможностей процесса в соответствии с требованиями ИСО/МЭК 33003. Система оценки процесса предусматривает схему, которую можно использовать для создания моделей оценки процесса, соответствующих ИСО/МЭК 33004 [4] и применимых при проведении оценки возможностей процесса в соответствии с требованиями ИСО/МЭК 33002 [3]. В контексте настоящего стандарта и сопутствующих стандартов возможности процесса представляют собой качественную характеристику процесса, связанную с возможностью процесса последовательно соответствовать текущим или планируемым бизнес-целям.

Системы измерения процесса, определенные настоящим стандартом, формируют структуру, которая:

a) облегчает оценку процессов;

b) обеспечивает основу для использования с целью совершенствования и определения качества процесса;

c) может быть использована в разных областях и компаниях любых размеров;

d) создает набор рейтингов свойств (возможностей) процесса (профилей процесса);

e) определяет уровень возможностей процесса.

Примечание — Авторские права в отношении выпуска: пользователи настоящего стандарта имеют право на воспроизведение подразделов 5.2, 5.3, 5.4 и 5.6 в рамках любой модели оценки процесса или модели зрелости для использования в собственных целях.

2 Нормативные ссылки

Нормативные документы, полностью или частично упомянутые в настоящем стандарте, обязательны для их применения. Для датированных документов используются только указанные издания. Для недатированных документов используются самые последние издания (с учетом всех изменений).

ISO/IEC 33001:2015 Information technology — Process assessment — Concepts and terminology (Информационные технологии. Оценка процесса. Понятия и терминология)

ISO/IEC 33003:2015 Information technology — Process assessment — Requirements for process measurement frameworks (Информационные технологии. Оценка процесса. Требования к системам оценки процесса)

3 Термины и определения

В настоящем стандарте используются термины и определения из ИСО/МЭК 33001, а также следующие термины с соответствующими определениями:

3.1 возможности процесса (process capability): Характеристика способности процесса соответствовать текущим или планируемым бизнес-целям.

3.2 уровень возможностей процесса (process capability level): Характеристика процесса по порядковой шкале измерения возможностей процесса.

4 Обзор

Возможность выполнения процесса с определенным уровнем результативности зависит от качества определения принципов. В настоящем стандарте приводятся те принципы, которые относятся ко всем областям применения. Система измерения возможностей процесса, описанная в настоящем стандарте, выражается с учетом состава свойств процесса. Каждое свойство процесса определяется в отношении состава результатов свойств процесса, которые доступны для оценки, чтобы указать на степень соответствия свойства процесса. Свойства процесса отражены в различных уровнях возможностей процесса, начиная с Незавершенного (при котором процесс не достигает ожидаемых результатов) до Инновационного (при котором процесс постоянно совершенствуется в соответствии с происходящими в организации изменениями).

Результат оценки с использованием модели оценки процесса, которая включает в себя данную систему оценки, будет представлять собой состав профилей процесса — рейтинги соответствия состава свойств процесса каждому процессу в пределах, охватываемых оценкой. Результат может быть выражен в рейтингах уровней возможностей, которые достигаются каждым процессом в области, охватываемой оценкой. Рейтинг уровня возможностей не гарантирует, что организация сможет выполнить свои процессы на определенном уровне потому, что организация способна выполнять эти процессы на данном уровне.

5 Система измерения возможностей процесса

5.1 Введение

В разделе определяется система измерения процесса, которая поддерживает оценку возможностей процесса в соответствии с требованиями ИСО/МЭК 33003. Эта система измерения процесса обеспечивает схему, которую можно использовать для создания модели оценки возможностей процесса.

В рамках этой системы измерение возможностей процесса основано на составе свойств процесса. Каждое свойство процесса определяет измеряемое свойство возможностей процесса. Степень соответствия свойства процесса определяется по специальной шкале рейтингов. Уровень оценки возможностей процесса определяется по составу рейтингов свойств процесса, представленных в профиле процесса.

Соответствие одного из свойств может быть связано с соответствием другого свойства процесса в системе измерения процесса.

5.2 Уровни возможностей процесса и свойства процесса

Возможности процесса оцениваются по шестизначной порядковой шкале, что позволяет производить оценку с нижнего ее уровня — Незавершенного до верхнего уровня — Инновационного. Шкала отражает расширение возможностей реализованного процесса, начиная с несоответствия цели процесса, проходя стадии его непрерывного улучшения и достижения уровня, при котором процесс получает способность реагировать на изменения, происходящие в организации.

5.2.1 Уровень возможностей процесса «0»: Незавершенный процесс

Процесс не реализован либо не соответствует своей цели.

На этом уровне свидетельства систематического достижения цели процесса незначительны или отсутствуют.

5.2.2 Уровень возможностей процесса «1»: Выполненный процесс

Реализованный процесс достигает своей цели. Следующее свойство процесса (PA-process attribute) демонстрирует достижение этого уровня.

5.2.2.1 PA 1.1 Свойство процесса «Результативность процесса»

Свойство процесса «Результативность процесса» измеряет степень того, насколько достигается цель процесса. В результате полного соответствия этого свойства:

а) процесс достигает ожидаемых результатов.

5.2.3 Уровень возможностей процесса «2»: Управляемый процесс

Описанный ранее Выполненный процесс теперь реализуется в управляемом виде (планируется, отслеживается и корректируется); результаты его работы устанавливаются, контролируются и обновляются соответствующим образом.

Следующие свойства процесса наряду с ранее определенным свойством процесса демонстрируют соответствие данному уровню.

5.2.3.1 PA 2.1 Свойство процесса «Управление производительностью»

Свойство процесса «Управление производительностью» представляет собой измерение степени управляемости производительностью процесса. Для достижения полного соответствия этого свойства процесса осуществляются следующие действия:

a) определяются цели выполнения процесса;

b) планируется производительность процесса;

c) оценивается производительность процесса;

d) регулируется производительность процесса для соответствия планам;

e) определяются необходимые для выполнения процесса обязанности и полномочия с последующим их присвоением и донесением до сведения участников;

f) обеспечивается готовность персонала к выполнению своих обязанностей;

g) определяются ресурсы и информация, необходимые для выполнения процесса, с последующим их выделением, распределением и использованием;

h) осуществляется управление элементами взаимодействия сторон с целью обеспечить эффективные коммуникации и четкое распределение обязанностей.

5.2.3.2 PA 2.2 Свойство процесса «Управление результатами»

Свойство процесса «Управление результатами» представляет собой измерение степени управляемости результатами выполнения процесса. Для достижения полного соответствия этого свойства процесса осуществляются следующие действия:

a) определяются требования к результатам выполнения процесса;

b) определяются требования к документированию и контролю результатов;

c) обеспечивается должная идентификация, документирование и контроль результатов;

d) проверяются результаты выполнения процесса согласно плану и корректируются по мере необходимости для соответствия требованиям.

Примечания

1 Требования к документированию и контролю результатов процесса могут включать в себя требования к идентификации изменений и их статусу, первичному и повторному утверждению результатов, распределению результатов, а также к подготовке соответствующих версий результатов по месту их использования.

2 В данном разделе описываются результаты достижения цели процесса.

5.2.4 Уровень возможностей процесса «3»: Установленный процесс

Описанный ранее Управляемый процесс теперь реализован как определенный процесс, способный приносить соответствующие результаты.

Следующие свойства процесса наряду с ранее определенным свойством процесса демонстрируют соответствие данному уровню.

5.2.4.1 PA 3.1 Свойство процесса «Определение процесса»

Свойство процесса «Определение процесса» измеряет степень обеспечения функционирования стандартного процесса, поддерживающего развертывание определенного процесса. Для достижения полного соответствия этого свойства процесса осуществляются следующие действия:

a) дается определение и обеспечивается функционирование стандартного процесса с соответствующими инструкциями по доработке, которые описывают основные элементы, включаемые в определенный процесс;

b) определяется последовательность действий и взаимодействие стандартного процесса с другими процессами;

c) определяются в рамках стандартного процесса необходимые для выполнения процесса компетентность и обязанности;

d) определяются в рамках стандартного процесса необходимые для выполнения процесса инфраструктура и производственная среда;

e) определяются методы и меры, подходящие для мониторинга результативности и пригодности процесса.

5.2.4.2 PA 3.2 Свойство процесса «Развертывание процесса»

Свойство процесса «Развертывание процесса» измеряет степень, в которой стандартный процесс разворачивается как определенный процесс, ориентированный на достижения соответствующих результатов. Для достижения полного соответствия этого свойства процесса осуществляются следующие действия:

a) оцениваемый процесс разворачивается на базе соответствующего доработанного стандартного процесса;

b) производится распределение и донесение до участников соответствующих компетентностей, обязанностей и полномочий для выполнения определенного процесса;

c) персонал, выполняющий определенный процесс, располагает компетенцией, соответствующей подготовкой, обучением и опытом;

d) определяются ресурсы и информация, необходимые для выполнения процесса, с последующим их выделением, распределением и использованием;

e) определяются инфраструктура и производственная среда, необходимые для выполнения процесса, с последующим их выделением, управлением и обновлением;

f) в качестве основы для понимания хода выполнения процесса производится сбор и анализ соответствующих данных с целью демонстрации пригодности и результативности процесса, а также оценки возможности для непрерывного улучшения процесса.

5.2.5 Уровень возможностей процесса «4»: Предсказуемый процесс

Описанный ранее Установленный процесс теперь осуществляется предсказуемым образом в заданных пределах с целью достижения необходимых результатов. Необходимо идентифицировать количественные параметры управления, произвести сбор и анализ данных измерений с целью выявления и объяснения причин расхождений. Для проработки причин расхождений предпринимаются корректирующие действия.

Следующие свойства процесса наряду с ранее определенным свойством демонстрируют соответствие данному уровню.

5.2.5.1 PA 4.1 Свойство процесса «Количественный анализ»

Свойство процесса «Количественный анализ» измеряет степень определенности информационных потребностей, выявления связей между элементами процесса и наличия собранных данных. Для достижения полного соответствия этого свойства процесса осуществляются следующие действия:

a) процесс приводится в соответствие с количественными бизнес-целями;

b) определяется потребность в информации о процессе для достижения заданных количественных бизнес-целей;

c) цели измерения процесса формируются на базе потребности в информации о процессе;

d) определяются измеряемые отношения между элементами процесса, которые вносят свой вклад в результативность процесса;

e) устанавливаются количественные ориентиры результативности процесса для достижения соответствующих бизнес-целей;

f) определяются нужные измерения и частота их проведения в соответствии с целями измерения процесса и количественными ориентирами результативности процесса;

g) производится сбор и проверка результатов измерений с последующей подготовкой отчетности для отслеживания степени достижения поставленных количественных целей.

Примечания

1 Как правило, информация должна отражать потребности, относящиеся к области управления, техническим вопросам, проектам, процессам и продуктам.

2 Измерения могут проводиться в отношении процессов или продукта, либо того и другого.

5.2.5.2 PA 4.2 Свойство процесса «Количественный контроль»

Свойство процесса «Количественный контроль» измеряет степень объективности данных, используемых для управления предсказуемой результативностью процесса. Для достижения полного соответствия этого свойства процесса осуществляются следующие действия:

a) отбираются методы анализа собранных данных;

b) определяются путем анализа собранных данных объяснимые причины расхождений в ходе выполнения процесса;

c) устанавливаются соответствующие распределения, которые характеризуют производительность процесса;

d) предпринимаются корректирующие действия для проработки причин расхождений;

e) устанавливаются при необходимости отдельные распределения для анализа процесса под влиянием объяснимых причин расхождений.

5.2.6 Уровень возможностей процесса «5»: Инновационный процесс

Описанный ранее Предсказуемый процесс в настоящее время непрерывно совершенствуется, чтобы отражать происходящие изменения в соответствии с бизнес-целями организации.

Следующие свойства процесса наряду с ранее определенным свойством процесса демонстрируют соответствие данному уровню:

5.2.6.1 PA 5.1 Свойство процесса «Инновационность процесса»

Свойство процесса «Инновационность процесса» измеряет степень того, насколько изменения процесса определяются анализом инновационных подходов к определению и развертыванию процесса. Для достижения полного соответствия этого свойства процесса осуществляются следующие действия:

a) определяются цели инновации процесса в соответствии с бизнес-целями;

b) производится анализ соответствующих данных с целью выявить возможности для инноваций;

c) выявляются возможности для инноваций на базе новых технологий и концепций процесса;

d) вводится стратегия реализации для достижения целей инновации процесса.

5.2.6.2 PA 5.2 Свойство процесса «Реализация инноваций процесса»

Свойство процесса «Реализация инноваций процесса» измеряет степень того, насколько изменения в определении, управлении и выполнении процесса помогают в достижении соответствующих целей инновации процесса. Для достижения полного соответствия этого свойства процесса осуществляются следующие действия:

a) оценивается влияние всех предполагаемых изменений с учетом целей определенного и стандартного процессов;

b) достигается управление реализацией всех согласованных изменений с целью обеспечить понимание и проработку любых прерываний выполнения процесса;

c) производится оценка результативности изменений процесса на базе фактического выполнения с учетом определенных требований к продукту и целей процесса.

5.3 Шкала рейтинга свойства процесса

В рамках данной системы измерения процессов свойство процесса представляет собой измеряемое свойство возможностей процесса. Рейтинг (оценка) свойства процесса представляет собой суждение о степени соответствия свойства оцениваемого процесса.

Свойство процесса измеряется с использованием порядковой шкалы, определение которой приводится ниже:

N — не соответствует: свидетельства соответствия определенного свойства оцениваемого процесса незначительны или отсутствуют;

P — частичное соответствие: имеются некоторые свидетельства наличия метода и определенного соответствия свойства определенного процесса в ходе его оценки. Некоторые аспекты соответствия свойства процесса могут быть непредсказуемыми;

L — значительная степень соответствия: имеются свидетельства наличия систематического метода и значительного соответствия свойства определенного процесса в ходе его оценки. В данном свойстве оцениваемого процесса могут присутствовать некоторые недостатки;

F — полное соответствие: имеются свидетельства наличия полного и систематического метода и полного соответствия свойства определенного процесса в ходе его оценки. В данном свойстве оцениваемого процесса отсутствуют недостатки.

Представленная выше порядковая шкала отражает степень соответствия свойства процесса в процентах.

Предусмотрены следующие степени соответствия в процентах:

N — не соответствует: от 0 до 15% соответствия;

P — частичное соответствие: от 15% до 50% соответствия;

L — значительная степень соответствия: от 50% до 85% соответствия;

F — полное соответствие: от 85% до 100% соответствия.

Для определенных ниже измерений P и L порядковую шкалу можно уточнить.

P+ — частичное соответствие: имеются некоторые свидетельства наличия метода и определенного соответствия свойства определенного процесса в ходе его оценки. Некоторые аспекты соответствия свойства процесса могут быть непредсказуемыми;

P- — частичное соответствие: имеются некоторые свидетельства наличия метода и определенного соответствия свойства определенного процесса в ходе его оценки. Многие аспекты соответствия свойства процесса могут быть непредсказуемыми.

L+ — значительное соответствие: имеются свидетельства наличия систематического метода и значительного соответствия свойства определенного процесса в ходе его оценки. В данном свойстве оцениваемого процесса могут присутствовать некоторые недостатки.

L- — значительная соответствие: имеются свидетельства наличия систематического метода и значительного соответствия свойства определенного процесса в ходе его оценки. В данном свойстве оцениваемого процесса могут присутствовать многочисленные недостатки.

Предусмотрены следующие степени соответствия в процентах:

5.4 Метод определения рейтинга свойства процесса

Результат процесса — это наблюдаемый результат успешного достижения цели процесса.

Результат свойства процесса — это наблюдаемый результат соответствия определенному свойству процесса.

Результаты процессов и результаты свойств процессов могут характеризоваться как промежуточный шаг в присвоении рейтинга свойству процесса.

В процессе присвоения рейтинга используемый метод указывается в соответствии с классом оценки. Определяются несколько методов присвоения рейтингов.

В зависимости от класса, охвата и контекста оценки могут использоваться различные методы присвоения рейтингов. Главный оценщик должен принять решение о том, какой (если имеется) метод присвоения рейтинга должен использоваться. Выбранный метод(ы) указывается(ются) в исходных данных оценки и в отчете об оценке.

5.4.1 Рейтинговый метод R1

Этот метод оценки свойства процесса должен удовлетворять следующим условиям:

a) результат каждого процесса в рамках оценки характеризуется для каждой составляющей оцениваемого процесса с учетом подтвержденных данных;

b) результат каждого свойства каждого процесса в рамках оценки характеризуется для каждой составляющей оцениваемого процесса с учетом подтвержденных данных;

c) характеристики результата процесса для каждой составляющей оцениваемого процесса обобщаются с целью получения оценки соответствия свойства результативности процесса;

d) характеристики результата свойства процесса для каждой составляющей оцениваемого процесса обобщаются с целью получения оценки соответствия свойства процесса.

5.4.2 Рейтинговый метод R2

Этот метод оценки свойства процесса должен удовлетворять следующим условиям:

a) свойство каждого процесса в рамках оценки характеризуется для каждой составляющей оцениваемого процесса с учетом подтвержденных данных;

b) характеристики свойства процесса для каждой составляющей оцениваемого процесса обобщаются с целью получения оценки соответствия свойства процесса.

5.4.3 Рейтинговый метод R3

Присвоение рейтинга свойству процесса для каждой составляющей оцениваемого процесса производится без обобщения.

5.5 Метод обобщения

При выполнении оценки рейтинги можно суммировать по одному или двум измерениям. Например, при присвоении рейтинга возможны следующие действия:

• свойству данного процесса можно обобщить рейтинги соответствующих свойств процесса; такое обобщение будет произведено вертикально (одно измерение);
• результату данного процесса (свойству) по нескольким составляющим оцениваемого процесса можно обобщить рейтинги соответствующих составляющих процесса для данного результата процесса (свойства); такое обобщение будет выполнено горизонтально (одно измерение);
• свойству данного процесса можно обобщать рейтинги всех результатов процесса (свойств) для всех составляющих процесса; такое обобщение будет выполняться с помощью матричного исчисления для всех рейтингов (два измерения).

В зависимости от класса, охвата и контекста оценки могут использоваться различные методы обобщения рейтингов. Главный оценщик должен принять решение о том, какой (если имеется) метод обобщения рейтинга должен использоваться. Выбранный(е) метод(ы) обобщения указывается в исходных данных оценки и в отчете об оценке.

Как упоминалось в 5.3, при присвоении рейтингов свойствам процесса используется порядковая шкала. Оценщик может принять решение о вынесении экспертного суждения в отношении обобщения рейтингов без математических расчетов либо использовать альтернативный метод обобщения. Метод обобщения предусматривает преобразование порядковых рейтингов в значения интервалов. Обоснованность такого преобразования из порядковых рейтингов в значения интервалов зависит от двух условий [1]:

a) порядковая шкала должна быть ограничена таким образом, чтобы порядковые значения были распределены равномерно. Шкала рейтингов, определяемая настоящим стандартом, должна соответствовать требованию равномерного распределения;

b) должны быть представлены свидетельства достаточности размера выборки с целью получения требуемой точности порядковых значений. Это условие выполняется для оценок класса 1 и класса 7, жесткие параметры которых требуют использования выборки достаточного размера.

Поскольку эти условия удовлетворяются, порядковые рейтинги можно преобразовать в значения интервалов следующим образом:

N- > 0; P- > 1; L- > 2; F- > 3 или

N- > 0; P- > 1; P+ -> 2; L- -> 3; L+ ->4; F- > 5

5.5.1 Одномерные методы обобщения

После преобразования порядковых рейтингов в значения интервалов можно применить один из следующих методов обобщения по измерениям с целью получения обобщенного рейтинга.

5.5.1.1 Обобщение по одному измерению с использованием математического ожидания

Обобщение можно произвести путем расчета математического ожидания (среднего значения) рейтингов значений интервала, округления результата до ближайшего целого числа (до большего или меньшего значения) и преобразования результата обратно в соответствующий порядковый рейтинг. Если необходимо округление, значение интервала будет округлено до ближайшего меньшего целого числа, если среднее значение будет меньше срединного значения между идущими подряд целыми числами; значение интервала будет округлено в большую сторону, если среднее значение равно срединному значению между двумя идущими подряд целыми числами или превышает его.

5.5.1.2 Обобщение по одному измерению с использованием медианы

Обобщение может быть произведено путем расчета медианы (среднего значения упорядоченного вариационного ряда) рейтингов значений интервала. При этом данные распределяются по порядку от меньших значений к большим. Если количество чисел в данных нечетное, медианой будет срединное значение. Если количество чисел в данных четное, то в качестве математического ожидания (среднего значения) берутся два срединных значения. Если количество рейтингов четное, а процесс получения среднего значения двух срединных чисел дает дробное число, округление производится до целого числа с применением описанных выше правил.

Примечание - Операция получения среднего значения математически действительна, поскольку производятся операции со значениями интервала.

5.5.2 Двухмерные методы обобщения

Если оцениваются сразу несколько составляющих процесса, то возможно суммирование рейтингов по двум измерениям.

Например, для данного процесса результаты нескольких составляющих процесса можно обобщить и сформировать общий рейтинг свойства процесса.

Как указывалось в 5.5.1, этого можно достичь путем вынесения экспертной оценки оценщиком (оценщиками) либо с использованием метода обобщения. Не следует исключать необходимость вынесения экспертной оценки, поскольку возможны ситуации, при которых незначительное количество составляющих процесса могут давать резко отклоняющиеся значения (например, если проекты были инициированы до запуска проекта совершенствования процесса либо когда некоторые проекты не отвечают строгим требованиям формального процесса). После преобразования порядковых рейтингов в значениях интервалов можно применить один из описанных ниже методов обобщения по двум измерениям с целью получения обобщенного рейтинга.

5.5.2.1 Обобщение по двум измерениям с использованием математического ожидания

Обобщение можно осуществить путем расчета математического ожидания по матрице всех рейтингов (выраженных в значениях числовых интервалов) и преобразования результата обратно в имеющийся порядковый рейтинг.

Примечание - При выполнении обобщения не допускается использование средних значений, полученных от средних значений, поскольку этот метод не будет статистически обоснован.

5.5.2.2 Обобщение по двум измерениям с использованием эвристических методов

Обобщение рейтингов может быть выполнено с помощью определенного набора правил (см. пример в таблице 1).

Таблица 1

Рейтинги уровня возможностей процесса

5.6 Модель уровня возможностей процесса

Достигнутый процессом уровень его возможностей определяется по рейтингам свойства данного процесса в соответствии с моделью уровня возможностей процесса, представленным в таблице 1.

Приложение A (справочное)

СООТВЕТСТВИЕ СИСТЕМЫ ОЦЕНКИ ПРОЦЕССА

A.1 Требования к соответствию

Представленные ниже требования к системе измерения процесса взяты из ИСО/МЭК 33003, в котором содержатся нормативные требования к системам измерения процесса. В тех случаях, когда приводится цитата из ИСО/МЭК 33003, текст представляется в виде перечислений, отмеченных буквой со скобкой, для удобства поиска.

A.1.1 Построение концепции

Концепция возможностей процесса не обеспечивает возможность измерения чего бы то ни было, кроме возможностей процесса, сформированных его свойствами. Например, с помощью возможностей процесса нельзя сделать вывод о чем-либо, что касается организационной производительности.

a) Система измерений определяет и характеризует качественное свойство отдельного процесса.

Система измерения определяется для отдельной качественной характеристики процесса, относящегося к программному обеспечению.

b) Качественное свойство процесса в системе измерения определяется на базе многомерной конструкции, которая состоит из набора одномерных конструкций.

Система измерения процесса представляет собой конструкцию, состоящую из девяти свойств процесса.

c) Качественное свойство процесса в системе измерения определяется как набор количественных свойств процесса.

Система измерения процесса представляет собой конструкцию, состоящую из девяти свойств процесса.

d) Каждое качественное свойство процесса определяется набором количественных свойств процесса.

Каждое свойство процесса описано в разделе 5.

e) Каждое свойство процесса, которое не может быть измерено непосредственно, считается конструкцией.

Каждое свойство процесса в данной системе измерения представляет собой конструкцию, определение которой приведено в разделе 5.

f) Свойства процесса в системе измерения процесса определяются как информативные или формирующие.

Количественные свойства процесса данной системы измерения являются формирующими.

g) Системой измерения фиксируются политики и допущения, определяющие ее использование и применение.

Политики и допущения, определяющие использование и применение данной системы измерения процесса, изложены в разделах 1, 4 и 5.

A.1.2 Определение конструкции

a) В определении конструкции содержится определение значения качественного и количественного свойств процесса в системе измерения процесса.

Определение качественных и количественных свойств приводится в разделе 5.

b) Определение конструкции проясняет спецификацию качественного и количественного свойств процесса в качестве измерений.

Спецификации качественного и количественного свойств процесса приводится в разделе 5.

c) Определение конструкции предоставляет инструкции по практическому применению качественного и количественного свойств процесса.

Практическое применение качественного и количественного свойств приводится в разделе 5.

d) Определение конструкции определяет шкалы составных измерений, таких как качественные (например, серии порядковых значений, таких как уровень возможностей) или количественные.

Шкалы составных измерений в данной системе измерений приводятся в разделе 5.

e) По меньшей мере одно из свойств процесса включает в себя достижение определенной цели процесса и результата процесса; это называется свойством результативности процесса.

Свойство результативности процесса (PA 1.1) включает в себя соответствие определенной цели процесса за счет достижения результатов процесса.

A.1.3 Практическое применение

a) Все свойства процесса определяются в соответствии со спецификацией их конструкции.

Определение количественных свойств процесса приводится в 5.2 и соответствуют общему подходу, описанному в 5.1.

b) Соответствие свойствам процесса подтверждается объективными свидетельствами.

В рамках показателя производительности процесса соответствие результатов процесса может демонстрироваться объективными свидетельствами. Для всех других свойств процесса соответствие может демонстрироваться на основе объективных свидетельств с привлечением результатов свойств процесса как базовых измерений.

A.1.4 Проверка спецификации конструкции

Спецификации конструкции качественного свойства процесса и связанные с ним количественные свойства процесса проверяются путем практического использования и логического обоснования.

Каждое свойство процесса применяется на практике в виде состава базовых и производных измерений, исходя из класса оценки (см. 5.3.3).

A.1.5 Свойства процесса присвоения оценок

a) Оценки присваиваются свойствам процесса.

Единица измерения указана в 5.3.

b) Шкалы измерений, т.е. номинальная, порядковая, шкала интервалов, связей, определяются для свойств процесса.

Для базовых измерений используется порядковая шкала, определение которой приводится в 5.3.

c) Определяется метод измерения, с помощью которого производится объективное присвоение значения каждому свойству процесса.

Метод присвоения значения измерению возможностей процесса описан в 5.3.

A.1.6 Обобщение

a) Следует указывать все обобщения, необходимые в рамках системы измерения.

Методы обобщения описаны в 5.5.

b) Необходимо указывать методы обобщения.

Методы обобщения описаны в 5.5.

c) Методы обобщения должны быть проверены статистически.

Обоснования действительности методов обобщения, используемых в настоящем стандарте, приводятся в 5.5.

d) В методах обобщения должны использоваться единообразные шкалы измерений.

В методах обобщения используются согласованные шкалы измерений, описанные в 5.5.

e) Методы обобщения должны соответствовать политикам и допущениям системы измерения.

f) Методы обобщения должны соответствовать спецификациям конструкции.

Соответствие политикам и допущениям, а также спецификациям конструкций описано в 5.5.

A.1.7 Анализ чувствительности

a) Анализ чувствительности выполняется для шкал базовых и производных измерений.

Чувствительность шкалы возможностей процесса тестировалась в ходе испытаний SPICE [5], [6]. В ходе исследований применялось согласование оценок и внутренняя последовательность, причем оба этих показателя были оценены как приемлемые. Возможность улучшения внутренней последовательности исследовалась путем замены шкалы четырех категорий шкалами трех и двух категорий за счет совмещения двух срединных рейтингов [N, (P, L), F] или двух внешних рейтингов [(N, P), (L, F)]. Используемая в данный момент шкала из четырех категорий не может быть усовершенствована путем уменьшения категорий до трех или двух.

Чувствительность рейтингов уровня возможностей процесса исследовалась в ходе испытаний SPICE и была отражена в промежуточном отчете [7]. По результатам общего исследования выяснилось, что нижнее искажение рейтинга возможностей дает больший эффект, чем верхнее искажение. При этом для оценщиков должны быть даны инструкции в отношении потенциальных последствий таких искажений.

b) Анализ чувствительности выполняется для методов обобщения.

Некоторые данные анализа чувствительности, относящиеся к обобщению, представлены в отчетах об испытаниях SPICE [6], [7], но их применимость к используемому здесь методу ограничена. Вопрос обобщений также подробно рассматривался в ходе разработки настоящего стандарта.

c) Анализ чувствительности выполняется для весовых коэффициентов (в зависимости от ситуации).

Весовые коэффициенты в данной системе измерения не используются.

A.2 Требования к утверждению систем измерения процесса

A.2.1 Достоверность и обоснованность

a) Планирование степени достоверности и действительности систем измерения процессов осуществляется на начальном этапе стандартизации. В эти планы входят мероприятия, проводимые после процесса стандартизации.

b) Требования к достоверности и пригодности систем измерения процесса должны соответствовать спецификации конструкции.

c) Согласованность (также именуемая равнозначностью) как мера достоверности анализируется в приложении к свойствам процесса, если речь идет об информативной модели.

d) Области действия проверяются для качественного и количественных свойств процесса в системе измерения процесса.

e) Спецификация конструкции проверяется эмпирически для качественного свойства процесса и его измерений в системе измерения процесса.

f) Внешние факторы (например, цели, критерии и (или) степень соответствия) в системе измерения процесса должны документироваться для последующего анализа пригодности в ходе разработки.

Валидация выполнялась в рамках испытаний SPICE, которые проводились в ходе стандартной разработки.

Метод измерения и шкала возможностей тестировались в ходе испытаний SPICE. Какие-либо изменения в концепции шкалы измерения, в результате которых шкала возможностей процесса или результаты испытаний могли бы считаться недействительными, не вносились.

A.3 Соответствие

Система измерения процесса должна соответствовать требованиям настоящего стандарта.

Если во время испытаний и (или) после публикации системы появятся какие-либо данные, потребуется статистический анализ всех применимых требований с жесткими условиями.

На результаты такого анализа дается ссылка в случае соответствия требованиям, изложенным в A.1 и A.2.

Документальное отражение этих результатов содержится в следующих источниках:

• H.W. Jung, et al., «Findings from Phase 2 of the SPICE trials», Software Process: Improvement and Practice, vol. 6, pp. 205 — 242, 2001 r. [5];
• SPICE Trials (1999), SPICE Phase 2 Trials Final Report, ISO/IEC/JTC1/SC7/WG10 [6];
• SPICE Trials (1998), SPICE Phase 2 Trials Interim Report, ISO/IEC/JTC1/SC7/WG10 [7].

(справочное)

Модель результативности процесса отражает отношения между элементами процесса и его производительностью. Например, результативность большинства процессов оценивается по отсутствию дефектов на выходе процесса. Количество дефектов, возникающих на выходе процесса, а также количество дефектов, которые проникают в следующий процесс, зависит от качества исходного материала, знаний и опыта участников процесса, используемых инструментариев, проводимых мероприятий и проверки результатов.

Для моделей результативности процесса не требуется подтверждения. Необходимо только предоставить объективную модель, с помощью которой проверяются результаты изменений процесса.

Примеры моделей результативности процесса можно найти через общий поиск, введя поисковую строку «модели результативности процесса (process performance models)». В данном приложении приводятся два примера моделей результативности процесса.

Одна из возможных моделей результативности процесса показана на рисунке B.1. С помощью такой модели организация может выносить суждения о текущем состоянии результатов процесса и возможных изменениях элементов процесса, которые могут влиять на результаты.

Некоторые модели процесса можно представить в виде таблиц. В этом случае в модель можно вставлять дефекты и обнаруживать их на разных этапах разработки программного обеспечения.

Приложение ДА (справочное)

Таблица ДА.1

БИБЛИОГРАФИЯ