ГОСТ Р ИСО/МЭК 25021-2014. Национальный стандарт Российской Федерации. Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Элементы показателя качества

(утв. и введен в действие Приказом Росстандарта от 11.06.2014 № 557-ст)

Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 11 июня 2014 г. № 557-ст

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

СИСТЕМНАЯ И ПРОГРАММНАЯ ИНЖЕНЕРИЯ

ISO/IEC 25021:2012 Systems and software engineering — Systems and software

ГОСТ Р ИСО/МЭК 25021-2014

ОКС 35.080

Дата введения 1 июня 2015 года

Предисловие

Введение

Элементы ЭПК являются общими компонентами многих показателей качества. Предполагаемое использование настоящего стандарта состоит в том, что пользователи будут в состоянии выбирать и определять соответствующие достоверные элементы ЭПК для определения показателей внутреннего и внешнего качества, показателей качества данных или показателей качества при использовании. В дальнейшем их можно использовать для определения требований к качеству, оценок продукции и качества, не ограничиваясь ими. Поэтому рекомендуется использовать настоящий стандарт совместно с сериями стандартов ИСО/МЭК 2502n.

	Раздел требований к качеству 2503n	Раздел модели качества 2501n	Раздел оценки качества 2504n
		Раздел менеджмента качества 2500n
		Раздел измерения качества 2502n
Раздел расширения 25050 — 25099

Рисунок 1 — Организация серий международных стандартов SQuaRE

На рисунке 1 показана структура семейств международных стандартов серии SQuaRE. В дальнейшем семейства именуются разделами.

Рисунок 2 — Структура раздела измерения качества

Рисунок 3 — Взаимосвязь стандарта ИСО/МЭК 25021, серии стандартов 9126 и серии стандартов SQuaRE

Серия ИСО/МЭК 9126 состоит из четырех документов, в которых перечислены и описаны характеристики, подхарактеристики и показатели качества, на которые далее ссылаются как на модель качества. Модели качества SQuaRE категорируют качество продукции по характеристикам, которые далее еще подразделяются на подхарактеристики и свойства качества (ИСО/МЭК 25010). Каждый показатель качества в серии ИСО/МЭК 9126 состоит по крайней мере из двух ЭПК. Свойства (продукции) связываются с ЭПК (ИСО/МЭК 25020), используя метод измерений. Серия 2502n проектирует и описывает показатели качества и связанные с ними ЭПК для всех характеристик (подхарактеристик) в модели качества.

1 Область применения

• начальное множество элементов ЭПК, приведенное в виде примеров [таблица A.1 (приложение A)];
• руководство для определения и количественной характеристики свойств продукции (согласно целевому назначению) для ЭПК (приложение B).

Руководство предназначено для разработчиков, приобретателей и независимых оценщиков продукции, особенно тех, кто ответственен за определение требований и оценку качества продукции, но не ограничивается ими. Настоящий стандарт применим, если элементы показателей качества, которые предполагается использовать для формирования показателей качества, определены в соответствии с ИСО/МЭК 25022, ИСО/МЭК 25023 и ИСО/МЭК 25024.

2 Соответствие

При определении показателей качества продукции пользователь должен описать каждый из упоминаемых далее ЭПК по информационным элементам в формате таблицы 1 (см. пункт 6.2). То же самое должно быть сделано для модификации какого-либо существующего ЭПК.

3 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие международные документы.

ИСО/МЭК 25000:2005 Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по SQuaRE (ISO/IEC 25000:2005, Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Guide to SQuaRE)

ИСО/МЭК 25010:2011 Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программного обеспечения (ISO/IEC 25010:2011, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Systems and software quality model)

ИСО/МЭК 25020:2007 Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Эталонная модель и руководство по измерениям (ISO/IEC 25020:2007, Software engineering — Software product quality Requirements and Evaluation (SQuaRE) — Measurement reference model and guide)

ИСО/МЭК 15939:2007 Системная и программная инженерия. Процесс измерений (ISO/IEC 15939:2007, Systems and software engineering — Measurement process)

Руководство ИСО/МЭК 99:2007 Международный словарь по метрологии. Основные и общие понятия и вспомогательные термины (VIM) (ISO/IEC 99:2007, International vocabulary of metrology — Basic and general concepts and associated terms (VIM)).

4 Термины и определения

В настоящем стандарте применены термины по ИСО/МЭК 25000, ИСО/МЭК 25010, ИСО/МЭК 25020, ИСО/МЭК 15939, ИСО/МЭК Руководство 99, а также следующие термины с соответствующими определениями:

4.1 качество данных (data quality): Степень, с которой характеристики данных удовлетворяют заявленным и подразумеваемым требованиям при использовании в заданных условиях (ИСО/МЭК 25012).

4.2 показатель внешнего качества программного обеспечения (external measure of software quality): Показатель степени, с которой программная продукция позволяет поведению (функционированию) системы удовлетворять заявленным и реализованным требованиям к этой системе, включая программное обеспечение при использовании в заданных условиях.

3 Это определение было адаптировано из ИСО/МЭК 25010.

4.3 показатель внутреннего качества программного обеспечения (internal measure of software quality): Показатель степени, с которой множество статических свойств программной продукции удовлетворяет заявленным и подразумеваемым требованиям для этой продукции при использовании в заданных условиях.

Примечания

1 Статические свойства включают в себя те свойства, которые имеют отношение к архитектуре программного обеспечения, его структуре и компонентам.

2 Статические свойства могут быть верифицированы путем визуального анализа, проверки, моделирования и/или с использованием автоматических средств.

3 Это определение было адаптировано из ИСО/МЭК 25010.

4 На основе определения внутреннего качества программного обеспечения в ИСО/МЭК 25000.

Пример - В зависимости от условий использования в качестве показателей внутреннего качества могут быть использованы ошибки спецификации, проектирования и кодирования.

4.4 показатель (measure (noun)): Переменная, в которой значение определено результатом измерения.

Примечание - Термин показатели используют для обобщенной ссылки к основам измерений, показателей и индикаторов (ИСО/МЭК 15939).

4.5 измерять (глагол) (measure (verb)): Проводить измерение (ИСО/МЭК 25000).

4.6 измерение (measurement): Набор операций, с помощью которых определяют значения показателя (ИСО/МЭК 15939).

Примечание - Измерение по типам шкалы может быть номинальным, порядковым, интервальным и относительным.

4.7 функция измерения (measurement function): Алгоритм или вычисление, выполняемое для комбинации не менее чем двух элементов показателя качества.

Примечание - Это определение является модификацией определения метода измерения из ИСО/МЭК 15939.

4.8 метод измерения (measurement method): Логическая организация операций, определенных в целом и используемых в измерении.

4.12 показатель качества при использовании (quality in use measure): Показатель степени, с которой продукция или система могут быть применены определенными пользователями для удовлетворения их требований в достижении целей эффективности (в т.ч. экономической), избегания риска, удовлетворенности и охвата контекста в заданных условиях использования.

Примечание - Основано на определении качества при использовании из ИСО/МЭК 25010:2011.

4.13 показатель качества (quality measure): Показатель, получаемый как функция измерения не менее чем двух значений элементов показателя качества.

4.14 элемент показателя качества (ЭПК) (quality measure element (QME): Показатель, определенный в терминах свойства и метода измерения для количественного определения этого свойства, включая выборочно преобразования с помощью математической функции.

4.15 повторяемость (результатов измерения) (repeatability (of results of measurement)): Близость соответствия между результатами последовательных измерений того же самого показателя, выполненных при тех же самых условиях измерения (ТО ИСО/МЭК, 14143-3).

5 Сокращения

6 Понятие элементов измерения качества

6.1 Представление модели метода измерения

ПК и соответственно ЭПК определяют для понимания и указания характеристик и подхарактеристик качества.

Функция измерения применена к ЭПК для генерации ПК. Метод измерения должен быть применен к свойству для установления и идентификации способа количественного определения ЭПК.

Рисунок 4 — Взаимосвязь между свойством количественного определения, метода измерения и ЭПК

Пользователь метода измерения должен идентифицировать и собирать данные, связанные с количественным определением свойства (см. рисунок 4). В зависимости от контекста использования и целей ЭПК ряд свойств и подсвойств может быть идентифицирован. Они и являются входными данными для метода измерений. Эти свойства определяются и извлекаются из артефактов, компонентов, содержимого или поведения целевого объекта (например, документации, кода).

На рисунке 5 показано, что:

a) качество продукции выражено как множество характеристик качества, которые состоят из подхарактеристик;

На рисунке 6 приведен пример получения ЭПК с применением метода измерения свойства количественного определения.

Рисунок 6 — Пример взаимосвязи свойства количественного определения, метода измерения, ЭПК и ПК

В таблице 1 показаны информационные объекты измерения для ЭПК, которые должны быть использованы при описании ЭПК.

6.2 Табличный формат элементов показателей качества

---

Примечание — Объекты ниже приведенной таблицы структурированы в четыре группы, назначение которых: a) для идентификации ЭПК, b) - d) для определения, что представляет собой ЭПК, e) - k) для определения, как измерить ЭПК и l) - n) для управления приложением ЭПК.

Таблица 1

Табличный формат ЭПК

a) Имя ЭПК	ЭПК должен иметь уникальное имя и при необходимости должен быть идентифицирован порядковым номером. В большинстве случаев, имя начинается с «число... (шкала отношений)».
b) Целевой объект (целевая сущность)	У ЭПК должен быть целевой объект, характеристики которого должны быть получены путем измерения его свойств. Целевой объект должен представлять собой результат работы или поведение системы, программного обеспечения или заинтересованных лиц, таких как пользователи, операторы, разработчики, тестировщики или специалисты по сопровождению.
c) Цели и свойство, которое должно быть выражено количественно	Идентификация свойства, которое должно быть выражено количественно, как правило, связано с именем ЭПК. Выбранным свойством, которое должно быть выражено количественно, должно быть то свойство, которое имеет самое непосредственное отношение к необходимому измерению. Данное свойство может быть включено в несколько измерительных моделей. Например, число отказов программного обеспечения — это ЭПК, а отказ — это свойство программного обеспечения, количественное выражение которого нужно получить. Цель ЭПК должна быть специфицирована вместе с определением свойства, которое нужно выразить количественно. Необходимо ответить на вопросы: - что предполагается узнать с помощью определения свойства, выраженного количественно с использованием ЭПК?; - какую необходимую информацию ожидается получить от этого ЭПК? Из идентификации и определения свойства, которое выражается количественно, следует определение, что должно быть оценено (например, строки кода, дефекты, продолжительность). Полезно определить, какие виды компонентов или событий в указанном целевом объекте должны быть идентифицированы, определены и выражены количественно. Примеры: 1 Могут быть идентифицированы, определены и выражены количественно строки, функции, пути или метки в исходном коде программы, предназначенные для выполнения определенной функции; 2 могут быть идентифицированы, определены и выражены количественно все события тестовых ошибок и случаев при тестировании программного обеспечения; 3 могут быть идентифицированы, определены и выражены количественно все события, когда пользователь системы не в состоянии выполнять предназначенные для него задачи.
d) Релевантный показатель (показатели) качества	Должна быть определена ссылка на определенный показатель (показатели) качества, в которой используется этот ЭПК. Примеры показателей качества можно найти в документах серии ИСО/МЭК 9126, серии 25000 SQuaRE и других документах. Составления исчерпывающего списка показателей качества не требуется
e) Метод измерения	Метод измерения объясняет, как собрать данные и как преобразовать их в значение, количественно определяющее свойство посредством вычислительного правила. В состав метода измерения входит следующее: контекст применения ЭПК, процесс жизненного цикла программного обеспечения, ограничения измерений и вычислительные правила. Измеряющий может дать методу измерения дополнительное имя для того, чтобы было проще отличать его от имени ЭПК и имени свойства для измерения. Например, функциональные измерительные методы могли бы быть иметь имена: IFPUG FPA, COSMIC, Mark II и т.д.
f) Список подсвойств, имеющих отношение к свойству для измерения (не обязательно)	Свойство, определенное для измерения, можно связать, если это необходимо, с различными подсвойствами. Такая связь между свойствами должна быть выражена либо в виде схемы, либо как формула. Это и составляет суть модели метода измерений. Например, в методе COSMIC, процесс функционирования является единым свойством, которое может быть выражено в модели посредством некоторых подсвойств, таких, как вход, чтение, запись и выход. Этот подход может помочь идентифицировать свойство для количественного определения «перемещения данных», которое соответствует показателю, основанному на функциональном размере
g) Определение каждого подсвойства (не обязательно)	Если есть список подсвойств, то должно быть определено и каждое подсвойство
h) Входные данные для ЭПК	Входные данные должны быть описаны настолько подробно, чтобы можно было идентифицировать, какие количественные данные используются для измерения ЭПК. Любые источники входных данных, такие как задокументированные результаты работы, функциональные возможности системы и программного обеспечения, или человеческие функциональные возможности пользователей, операторов, разработчиков, татуировщиков или специалистов по обслуживанию должны также быть идентифицированы. Кроме того, входными данными могут быть подсвойства или относящиеся к ним количественные данные. Например, измеряющий может определить в модели данных информацию, необходимую для отслеживания действий типа чтения (перемещение данных) в единице функциональности COSMIC
i) Единица измерения для ЭПК	Единица измерения и при необходимости используемая формула. Примеры единиц включают в себя значение X, процент и разряд
j) Правила вычисления	Правило преобразования должно быть определено либо с точки зрения практики (как правило, текстовая форма), либо с теоретической точки зрения (как правило, математическое выражение). При определении правил преобразования зачастую сталкиваются с проблемой внутренней непротиворечивости. Важно, чтобы свойства и подсвойства, которые должны быть измерены, не противоречили друг другу. По этой причине при добавлении двух объектов важно подтвердить, что они связаны общим свойством. Например, измерение числа отказов даст количество отказов. Однако, если есть существенные различия в главных и второстепенных отказах, более точные показатели будут получены путем рассмотрения отдельно главных и второстепенных отказов. Преобразование предполагает, что для каждого свойства и подсвойства применимо предельное значение результата
k) Тип шкалы	Должен быть определен тип шкалы. Шкала может быть номинальной, порядковой, интервальной или относительной (см. приложение D)
l) Контекст применения ЭПК	Это информация о планируемом использовании результатов измерений. Полезно понять возможность использования ЭПК для представления характеристик или подхарактеристик качества, определяя типичные примеры характеристик качества, подхарактеристик качества или показателей качества (ПК), для определения которых, главным образом, предназначены результаты измерения ЭПК. Примечание — ЭПК допускается использовать для измерения любых характеристик или подхарактеристик качества несколькими ПК. В данной графе описываются предполагаемые и необходимые условия для целевых объектов (сущностей), их сред и обстоятельств, к которым должен быть применен метод измерения ЭПК
m) Процессы жизненного цикла программного обеспечения	В этой части таблицы должны быть идентифицированы соответствующие типичные процессы жизненного цикла, которые подходят для фактического измерения данного ЭПК относительно целевой сущности, (например, процессы, посредством которых определенный b) Целевой объект (целевая сущность) создан или реализован в степени, достаточной для производства измерения фактического значения ЭПК). Примечания 1 В некоторых случаях в отдельных процессах жизненного цикла на основе исторических данных перед фактическим измерением ЭПК может быть доступна оценка. Однако все процессы жизненного цикла, перечисленные в этом разделе относятся к тем процессам, в которых мы можем получить фактические результаты измерения ЭПК. Связанные процессы жизненного цикла после получения фактических данных, дополнительного фактического измерения или использования измеренных результатов также определяются здесь. Например, число отказов кода может быть фактически измерено с использованием анализа кода, инструментов анализа кода или поблочного тестирования во время процесса разработки (кодирование и поблочное тестирование). Кроме того, число отказов кода может быть измерено дополнительно после исправления ошибок кода в процессе интегрированного или квалифицированного тестирования. Кроме того, число отказов в коде можно оценить на основе исторических данных, исходя из предполагаемого размера кода, опираясь на количество страниц спецификаций требований.
	2 Основные процессы жизненного цикла программного обеспечения, такие, как определение требований правообладателей, анализ требований к программному обеспечению, проектирование архитектуры программных средств, детальное проектирование программных средств, конструирование программных средств, комплексирование программных средств, квалификационное тестирование программных средств, инсталляция программных средств, поддержка приемки программных средств, функционирование программных средств, сопровождение программных средств, прекращение применения программных средств и т.д. определены в ИСО/МЭК 12207. Базовые процессы систем, такие как определение требований правообладателей, анализ требований, проектирование архитектуры, реализация, комплексирование, верификация, передача, валидация, функционирование, сопровождение, прекращение применения и т.д., определены в ИСО/МЭК 15288. 3 Если используют методологию, в которую входят процессы жизненного цикла, не описанные ни в ИСО/МЭК 12207, ни в ИСО/МЭК 15288, то измеряющий может также привести методологию и отдельные используемые процессы.
n) Ограничения измерений (не обязательно)	Любые ограничения, связанные с методом измерения, должны быть описаны по мере необходимости. ЭПК может иметь ограничения измерений, такие как ошибки измерения или отклонения из-за зависимости от таких факторов, как, область применения исследования, способ исследования, изменение спецификации или вариантов использования. Примечания 1 Число отказов кода, например, может быть различным для недавно разработанного кода и для повторно используемого кода в одинаковых условиях. Каждый из различных способов исследования кода, таких как анализ, прогон, проверка, экспертная проверка, парное программирование, инструменты анализа кода, поблочное тестирование, причинный анализ отказов в интеграционном тестировании и т.д. дает свое отличное от других число отказов кода. 2 Например, при подсчете числа дефектов спецификации документ спецификации должен быть доступен и не должен быть изменчивым.

Пример использования формата таблицы 1 приведен в таблице 2.

Таблица 2

Пример использования таблицы 1 для дефекта (кода)

a) Имя ЭПК	Число дефектов (кода)
b) Целевой объект (целевая сущность)	Исходный код программы
c) Цели и свойство, которое нужно измерить количественно	Цель — измерить число дефектов кода относительно спецификаций проекта и/или стандартов программирования. Измерить нужно число ошибочных строк кода. Отказ в данном случае — это свойство, которое нужно определить количественно. Определения отказа: (1) проявление ошибки в программном обеспечении (ИСО/МЭК 24765 Системная и программная инженерия — Словарь) и (2) неправильный шаг, процесс или определение данных в компьютерной программе (ИСО/МЭК 24765 Системная и программная инженерия — Словарь). Необходимо отметить, что ошибка, если она имеет место, может вызвать отказ
d) Релевантные показатели качества	Для определения надежности программного обеспечения, используя плотность ошибок: - оценивается скорость обнаружения ошибок на этапе кодирования; - оценивается скорость устранения ошибок на этапе кодирования. Показатели: уровни завершенности (подхарактеристика) и надежности (характеристика) программного обеспечения
e) Метод измерения	Метод измерения ошибок кода программного обеспечения. Необходимо рассмотреть или проанализировать отличия пересмотренного исходного кода программы и идентифицировать исправления кода, которые состоят из измененных строк, добавленных строк и удаленных строк кода. Примечание — Для исключения дефектов в комплексном тестировании, исходный код программы, как правило, пересматривается в результате таких действий на этапах верификации и валидации как анализ кода, поблочное тестирование, анализ причин.
f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Связанные подсвойства: исполняемые операторы, строки кода с ошибками, исправленные строки кода
g) Определение каждого подсвойства (дополнительно)	Исполняемые операторы: операторы, которые могут быть отнесены к этой категории, такие как операторы с меткой, выражения, операторы выбора, операторы цикла и перехода. Невыполняемые операторы: операторы, к которым относятся спецификации объявлений и объявления. Строки кода с ошибками: строки кода, которые содержат ошибки. Ошибочен ли исходный текст, должна определить спецификация. Корректные строки кода: строки кода без ошибок. Примечание — В отдельных случаях возможно, что строки кода корректны, а спецификация должна быть изменена. В таком случае строки кода не должны считаться ошибочными.
h) Входные данные для ЭПК	Исходный код, спецификации проекта и стандарты программирования
i) Единица измерения ЭПК	Строки кода
j) Правила вычисления	Добавление общего числа ошибочных строк кода. С практической точки зрения числовое правило использует следующие измерительные действия: a) Рассматриваем или анализируем отличия пересмотренного исходного кода программы и идентифицируем исправленные строки кода, в число которых входят измененные, добавленные и удаленные строки кода
k) Тип шкалы	Отношение
l) Контекст применения ЭПК	ЭПК главным образом выбран для того, чтобы измерять уровни завершенности (подхарактеристика) и надежности программного обеспечения (характеристика)
m) Процессы жизненного цикла программного обеспечения	Разработка программного обеспечения (кодирование и тестирование программных модулей), процесс реализации
n) Ограничения измерения (дополнительно)	Исходные коды должны быть доступны, чтобы обеспечивать возможность сравнения фактических строк кода со спецификациями проекта. Кроме того, устоявшиеся спецификации проекта должны быть доступны для того, чтобы обеспечивать вышеуказанное сравнение и идентификацию ошибок. Для проверки соответствия кодов стандартам необходимо наличие соответствующих инструментариев или контрольного списка

Приложение A (справочное)

ПРИМЕРЫ ЭЛЕМЕНТОВ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

Для определения ПК разные ЭПК могут быть использованы совместно и объединены. Некоторые ЭПК появляются из серии ИСО/МЭК 9126, а другие из потребностей промышленного рынка и существующих стандартов, таких как стандарты на измерение функционального размера. Элементы ЭПК, перечисленные в этой выбранной совокупности, связаны с характеристиками (подхарактеристиками) качества для модели качества продукции, определенной в ИСО/МЭК 25010. Данная выбранная совокупность ЭПК предназначена для пользователей настоящего стандарта, чтобы учесть применимость элементов при подготовке ПК для оценки качества продукции.

Таблица A.1

Начальный набор элементов ЭПК

Порядковый номер	ЭПК	Описание
1	a) Имя ЭПК	Число доступных функций
	b) Целевой объект (целевая сущность)	Функции, вызываемые пользователем
	c) Цель и свойство для количественного определения	Знать, сколько функций, доступных для вызова пользователем, доступно пользователям с ограниченными возможностями. Определение функции, доступной для вызова пользователем: функция, доступ, вызов и использование которой предоставляется пользователю системой для выполнения определенных задач
	d) Соответствующие показатели качества	Показатели качества, такие как число доступных (недоступных) функций в определенном контексте использования или под определенный тип пользователя во время тестирования или эксплуатации для покрытия контекста показателей качества при использовании и доступности в показателях практичности
	e) Метод измерения	Просмотр и анализ отдельных функций системы/программного обеспечения, которые доступны пользователю с ограниченными возможностями для вызова и выполнения, и подсчет числа функций, которые не могли быть успешно использованы
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Анализ или проверка результатов испытаний на заданных случаях работы пользователями с ограниченными возможностями, руководства пользователя
	i) Единица измерения ЭПК	Число функции, доступных для вызова пользователем
	j) Правила вычисления	x-y x: число функций, доступных для вызова пользователем, которые рассмотрены или проверены в определенных случаях работы пользователями с ограниченными возможностями; y: число функций, доступных для вызова, которые пользователи с ограниченными возможностями не смогли успешно использовать
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в контексте покрытия характеристики качества при использовании и доступности в характеристике удобства использования
	m) Процесс(ы) жизненного цикла программного обеспечения	Реализация и функционирование
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
2	a) Имя ЭПК	Число пользовательских проблем при функционировании
	b) Целевой объект (целевая сущность)	Пользовательские проблемы при функционировании
	c) Цель и свойство для измерения	Определить, сколько проблем возникло у пользователей во время работы системы/программного обеспечения. Свойство для измерения — это проблема для пользователя при функционировании системы/программного обеспечения. Определение пользовательской проблемы: Каждая жалоба (претензия) пользователя на продукцию регистрируется организацией (как правило, на уровне справочной услуги). Знание претензий может помочь измерить уровень удовлетворенности пользователей в течение определенного периода времени. К примеру, из жалоб пользователей могут быть выявлены технические или функциональные проблемы и проанализированы справочной службой. ЭПК может помочь пользователям определять проблемы, возникающие во время работы программного обеспечения, но не следует ограничиваться этим свойством
	d) Релевантные показатели качества	ПК, такие как число пользовательских проблем, о которых заявлялось в течение недели или количество дней, необходимых для разрешения пользовательских проблем, могут использоваться для измерения удобства использования, надежности и удовлетворенности
	e) Метод измерения	Составление списка проблем из жалоб пользователей, распределение проблем по степени серьезности и их подсчет
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Отчет о жалобах пользователей, отправленных в справочную службу
	i) Единица измерения ЭПК	Число проблем
	j) Правила вычисления	Подсчет числа проблем для каждого уровня жесткости (в применяемых критериях)
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК может быть использован для ПК, в контексте удобства использования, надежности и удовлетворенности
	m) Процесс(ы) жизненного цикла программного обеспечения	Функционирование
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
3	a) Имя ЭПК	Число записей
	b) Целевой объект	Элементы данных, рассматриваемые в качестве единицы или записи
	c) Цель и свойство для измерения	Используется для измерения сложности базы данных. Определение записи: ряд связанных элементов данных, рассматриваемых как единица (ИСО/МЭК 24765 — Системная и программная инженерия — Словарь)
	d) Релевантные показатели качества	Большое количество записей может повлиять на возможность сопровождения
	e) Метод измерения	Перечисление записей и подсчет их
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Элементы данных
	i) Единица измерения ЭПК	Каждая запись
	j) Правила вычисления	Добавление каждой записи
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим к ПК для характеристик качества данных
	m) Процесс(ы) жизненного цикла программного обеспечения	Сопровождение
	n) Ограничения измерений (дополнительно)	Необходимость получения элементов данных
4	a) Имя ЭПК	Продолжительность
	b) Целевой объект (целевая сущность)	Период времени
	c) Цель и свойство для измерения	Определение продолжительности: общее количество рабочих периодов (исключая праздники или другие нерабочие периоды) требуемое для завершения плановой операции или компоненты пооперационного перечня работ. Как правило, выражается в днях, неделях или месяцах. Иногда неправильно отождествляется со всем временем, прошедшим с начала. (Руководство по своду знаний управления проектами, ( PMBOK® Guide). Четвертая редакция)
	d) Релевантные показатели качества	ЭПК полезен для ПК характеристик эффективной производительности. Он также полезен для ПК, таких как время, требуемое для выполнения намеченной задачи пользователя, производительность, среднее время между отказами или среднее время восстановления, определяемое периодом времени, затраченного оператором, пользователем, специалистом по обслуживанию или системой
	e) Метод измерения	Продолжительность основывается на определении общего количества времени и связана с Международной системой величин (VIM)
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Из табеля рабочего времени организации
	i) Единица измерения ЭПК	Дни, недели или месяцы
	j) Правила вычисления	Накопление периодов работы
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	Этот ЭПК применим для каждой ПК, имеющей отношение к времени продолжительности, такой как среднее время безотказной работы и средняя производительность в единицу времени для надежности и эффективности функционирования. Кроме того, в комбинации с трудозатратами обеспечивается мера производительности
	m) Процесс(ы) жизненного цикла программного обеспечения	Все
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
5	a) Имя ЭПК	Трудозатраты (за единицу времени)
	b) Целевой объект (целевая сущность)	Трудозатраты в часах или днях
	c) Цель и свойство для измерения	Для производительности измеряется в часах. Определение трудозатрат: число единиц труда, требуемое для завершения плановой операции или компоненты пооперационного перечня работ плановой операции. Как правило, выражается в днях, неделях или месяцах. ('Руководство по своду знаний управления проектами' ( PMBOK® Guide). Четвертая редакция)
	d) Релевантные показатели качества	ЭПК полезен для ПК характеристик эффективности функционирования. Он также полезен для ПК, таких, как трудозатраты на выполнение намеченной задачи пользователя, на восстановление системы или на сопровождение с использованием людских ресурсов — оператора, пользователя, разработчика, тестировщика или специалиста по обслуживанию
	e) Метод измерения	Трудозатраты основаны на определении общего количества времени и связаны с Международной системой величин (VIM)
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Табель учета рабочего времени организации
	i) Единица измерения ЭПК	Обычно в часах и днях
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	Этот элемент ЭПК для всех ПК, имеющих отношение к тем трудозатратам, которые связаны с результативностью, надежностью, эффективностью функционирования, удобством использования и сопровождаемостью. Кроме того, сочетание с трудозатратами обеспечивает измерение производительности или оценку
	m) Процесс(ы) жизненного цикла программного обеспечения	Все
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
6	a) Имя ЭПК	Число системных отказов
	b) Целевой объект (целевая сущность)	Системный отказ
	c) Цель и свойство для измерения	Счетчик отказов системы предназначен для получения показателей качества, таких как надежность, эффективность и качество программного обеспечения. Он применим к системной и программной инженерии и дисциплинам менеджмента. Свойством в данном случае является отказ. Определение системного отказа: в состав полной системы входят все вспомогательное оборудование, средства, материалы; компьютерные программы, встроенное микропрограммное обеспечение, техническая документация, услуги и персонал, требуемый для операций и поддержки в объеме, необходимом для самодостаточного использования в определенных ранее условиях и определенных пределах. Отказ программного обеспечения: утрата способности продукции выполнять требуемую функцию или неспособность выполнить ее в ранее указанных пределах
	d) Релевантные показатели качества	ПК, такие как системная частота отказа или наработка на отказ во время тестирования или эксплуатации для показателей надежности и эффективности в характеристике качества при использовании
	e) Метод измерения	Добавление числа системных отказов
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Структурные системные сбои: подсистема, компонент системы или фаза системы не выполняют возложенные на них функций Сбои программного/аппаратного обеспечения: это неправильное функционирование, которое вызвано проблемами проектирования и человеческими ошибками. Сбои системы принятия решений: к этому типу сбоев относятся несоответствие между структурой организации и требованиями окружения, а также и противоречия между ценностями и мировоззрением принимающих решения лиц и окружения
	h) Входные данные для ЭПК	См. определение каждого подсвойства (неправильное функционирование, несоответствие, низкая производительность, и т.д.)
	i) Единица измерения ЭПК	Каждый отказ
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	Связан с надежностью, эффективностью системы
	m) Процесс(ы) жизненного цикла программного обеспечения	Тестирование, функционирование и сопровождение
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
7	a) Имя ЭПК	Число отказов
	b) Целевой объект (целевая сущность)	Отказ
	c) Цель и свойство для измерения	Предназначен для использования при измерении пригодности для сопровождения и надежности программного обеспечения. Определение отказа: 1 Утрата способности продукта выполнять требуемую функцию или неспособность выполнять ее в ранее определенных условиях. (ИСО/МЭК 25000, Программная инженерия. Требования и оценка качества программного продукта (SQUARE). Руководство по SQuaRE 4.20.). 2 Событие, при котором система или системный компонент не выполняют требуемую функцию в указанных условиях. Примечание — Отказ может произойти в результате дефекта
	d) Релевантные показатели качества	ПК, такие как плотность отказов или частота отказов во время тестирования или эксплуатации для завершенности и надежности
	e) Метод измерения	Количественная оценка программных ошибок
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Существует несколько категорий отказов. Критический отказ: этот отказ приводит к завершению программы, вся система прекращает выполнение. Однако, не следует смешивать этот отказ с полным остановом системы, т.к. он связан с самим программным обеспечением, а не с аппаратными средствами. Серьезный отказ: важные функции программного обеспечения становятся не доступными без вариантов выполнения. Средний отказ: большинство функций — все еще доступны, но с ограниченной производительностью в альтернативном ограниченном режиме. Несущественный отказ: некоторые функции ограничены в производительности и выполняются в ограниченном режиме Причиной может быть отсутствие переменной, которая должна быть в выходных данных, но такой отказ, в общем, не вызывает серьезных проблем. Приведенные четыре категории программных отказов разделены на две подкатегории согласно состоянию их разрешения: 1 устраненный отказ: отказ обнаружен, а затем и разрешен. 2 неустраненный (фактически обнаруженный) отказ: отказ обнаружен, но не разрешен
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Журнал отказов организации
	i) Единица измерения ЭПК	Отказы по категориям
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	Этот ЭПК особенно полезен для надежности, пригодности, сопровождаемости и переносимости
	m) Процесс(ы) жизненного цикла программного обеспечения	Реализация и сопровождение
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
8	a) Имя ЭПК	Число дефектов
	b) Целевой объект (целевая сущность)	Дефект
	c) Цель и свойство для измерения	Цель ЭПК — измерить число дефектов программного обеспечения. Результат может использоваться в оценке надежности, возможного числа дефектов в завершенном проекте, сборе данных для будущих проектов на основе относительного числа дефектов в законченных проектах. Результат этого измерения может также быть полезен при оценке качества. Определение: дефект — некорректный шаг, процесс или определение данных в программном коде. Необходимо отметить, что дефект, если он имеется, может вызвать отказ
	d) Релевантные показатели качества	ПК, такие как плотность или частота отказов во время обзоров, модификаций, тестирования для определения безотказности, завершенности или тестируемости
	e) Метод измерения	Количественная оценка дефектов программного обеспечения
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Журнал дефектов организации
	i) Единица измерения ЭПК	Может быть дефектом или проявлением ошибки в программном обеспечении, или неправильным шагом, процессом или определением данных в компьютерной программе, или дефектом в устройстве или компоненте, или программного обеспечения, известным как разрушение, или аварийное завершение, при которых программа требует выхода за границы, отведенной для нее памяти компьютера.
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	Данный ЭПК особенно полезен для отказоустойчивости, завершенности, модифицируемости и тестируемости. ПК для таких подхарактеристик качества связаны с качеством кода
	m) Процесс(ы) жизненного цикла программного обеспечения	Кодирование, тестирование, сопровождение
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
9	a) Имя ЭПК	Функциональный размер продукта
	b) Целевой объект (целевая сущность)	Спецификации требований. Детали зависят от метода измерения
	c) Цель и свойство для измерения	Измерять функциональные требования заказчика. Определение функционального размера: размер программного обеспечения, полученный при количественной оценке функциональных требований пользователя. (ИСО/МЭК 14143-1 Информационные технологии. Измерение программного обеспечения. Измерение функционального размера)
	d) Релевантные показатели качества	Данный ЭПК может быть использован для ПК характеристик уровня эффективности функционирования. ЭПК также полезен при нормализации значений и вычислении для сравнения ПК плотностей, таких, как плотность дефектов на функциональный размер
	e) Метод измерения	Проведение общего анализа функциональных требований пользователя в спецификации, классификация их по типу и формирование списка в соответствии с весовыми функциями (см. ИСО/МЭК 14143-1). Примечание — Имеются четыре типовых метода измерения
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	В зависимости от метода измерения. В общем случае на основе требований
	i) Единица измерения ЭПК	В зависимости от метода измерения
	j) Правила вычисления	В зависимости от метода измерения
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК используют для измерения размера программного обеспечения и полезен для вычисления плотностей. После чего этот ЭПК в большой степени применим к завершенности и другим характеристикам качества, представленным ПК, использующими плотности
	m) Процесс(ы) жизненного цикла программного обеспечения	Анализ требований и последующие этапы
	n) Ограничения измерений (дополнительно)	Необходимо наличие корректной документации
10	a) Имя ЭПК	Число прерываний
	b) Целевой объект (целевая сущность)	Прерывание
	c) Цель и свойство для измерения	Сколько контроля имеет пользователь на работу программного обеспечения и как это влияет на его эксплуатацию Определение прерывания: приостановка процесса, чтобы обработать событие, внешнее по отношению к процессу. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь)
	d) Релевантные показатели качества	Показатель качества, такой как надлежащая частота прерываний пользователем обеспечивает пользователя возможностью управлять системой или программным обеспечением, но слишком частые прерывания приводят к неудобствам для пользователей и затрудняют количественные измерения управляемости, удобства, эффективности и результативности в характеристике качества при использовании
	e) Метод измерения	Контроль и считка события прерывания во время работы
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Событие
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Журнал операций
	i) Единица измерения ЭПК	Прерывание
	j) Правила вычисления	Добавить
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	Этот ЭПК количественно определяет управление операциями и применим для удобства использования и управляемости
	m) Процесс(ы) жизненного цикла программного обеспечения	Тестирование, функционирование и сопровождение
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
11	a) Имя ЭПК	Число элементов данных
	b) Целевой объект	Элементы данных
	c) Цель и свойство для измерения	ЭПК измеряет размер структуры базы данных. См. также число записей. Определение элемента данных: самая маленькая идентифицируемая единица информации в определенном контексте, для которой определение, идентификация, допустимые значения и другая информация специфицированы определенными свойствами
	d) Релевантные показатели качества	ПК, такая как относительное количество доступных элементов данных, которые можно использовать даже после изменения или переноса
	e) Метод измерения	Элементы данных
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Для идентификации элементов данных в программном обеспечении могут быть использованы спецификации требований к программному обеспечению, спецификации проектирования программного обеспечения, руководства по программному обеспечению, исходный код, схема базы данных (если применимо)
	i) Единица измерения ЭПК	Элементы данных
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к пригодности для сопровождения и переносимости
	m) Процесс(ы) жизненного цикла программного обеспечения	Начиная с анализа требований к программному обеспечению вплоть до сопровождения
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
12	a) Имя ЭПК	Число сообщений об ошибках
	b) Целевой объект (целевая сущность)	Сообщения об ошибках
	c) Цель и свойство для измерения	Знать, насколько надежна и достаточно ли безопасна система. Определение сообщения об ошибке: сообщение, которое выводится приложением в случае, если вводятся неправильные данные, вводится или проявляется другая ошибка обработки
	d) Релевантные показатели качества	ПК, такие как уровень обнаруженной ошибки входных данных, уровень обнаруженного несанкционированного доступа к системе или уровень преодолимой операционной ошибки пользователя можно применять для квалификации надежности, безопасности и удобства использования
	e) Метод измерения	Сообщения об ошибках
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Заполняется по необходимости
	i) Единица измерения ЭПК	Число сообщений об ошибках
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к надежности, безопасности и удобству использования
	m) Процесс(ы) жизненного цикла программного обеспечения	Реализация и сопровождение
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
13	a) Имя ЭПК	Число ошибок
	b) Целевой объект (целевая сущность)	Ошибка
	c) Цель и свойство для измерения	Метод измерения ошибок можно использовать для тестирования (пригодности для сопровождения). Определение ошибок 1 Человеческая деятельность, которая приводит к неправильному результату, такому как программное обеспечение, содержащее дефект. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь). 2 Неправильный шаг, процесс или определение данных. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь). 3 Неправильный результат. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь). 4 Разница между вычисленным, наблюдаемым или измеренным значением, или условием и истинным, определенным или теоретически корректным значением или условием. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь) Пример — Пропущенные или неверное истолкованные требования пользователя в требованиях к программному обеспечению, неправильный перевод или пропущенные требования в спецификации проекта. См. также: отказ, дефект
	d) Релевантные показатели качества	ПК, такой как число ошибок, проявившихся за тысячу вариантов использования при тестировании
	e) Метод измерения	Подсчет ошибок
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Ошибки компиляции, связывания и выполнения
	g) Определение каждого подсвойства (дополнительно)	Ошибки компиляции: ошибка возникает при преобразовании программы из исходного кода в машинный код. Как правило, это синтаксические ошибки, ошибки проверки типа и ошибки шаблонов. Ошибки связывания: ошибка возникает в процессе связывания скомпилированных исходных кодов. При связывании разрешаются адреса внешних переменных и классов и; проверяются тип внешних переменных. Любая ошибка, проявившаяся на этом этапе идентифицируется как ошибка связывания. Ошибки выполнения: ошибка проявляется во время выполнения программы. Ошибки выполнения, как правило, указывают на ошибки в программе, или же ошибка может также быть вызвана тем, что объем памяти исчерпан. Ошибки выполнения приводят к неожиданному поведению, такому как разрушение программы, вывод неправильных результатов и т.д.
	h) Входные данные для ЭПК	Исходный код для ошибок компиляции
	i) Единица измерения ЭПК	Число ошибок компиляции, число ошибок связывания, число ошибок выполнения
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к надежности, безопасности, удобству использования и пригодности для сопровождения
	m) Процесс(ы) жизненного цикла программного обеспечения	Тестирование и сопровождение
	n) Ограничения измерений (дополнительно)	Кодирование должно быть закончено. Для того чтобы обнаружить ошибки компиляции, подготовка всех кодов должна быть закончена. Для обнаружения ошибок связывания все должны быть идентифицированы и исправлены все ошибки компиляции. Для обнаружения ошибок выполнения должны быть исправлены все ошибки связывания, и программа должна быть работоспособной
14	a) Имя ЭПК	Число сообщений
	b) Целевой объект (целевая сущность)	Сообщения
	c) Цели и свойство для измерения	Не зашифрованные сообщения способствуют лучшему пониманию и эффективному использованию программного обеспечения. Поэтому число сообщений, предназначенных для пользователя, имеет большое значение. Однако это следует рассматривать в широком контексте с учетом размера программного обеспечения. Определение сообщения: информация, предоставленная конечному пользователю системы программного обеспечения для того, чтобы информировать его, подсказать дальнейшие действия или предупредить о чем-либо. Сообщение: передача информации с одного объекта на другой. (IEEE 1320.2-1998 (R2004)) Стандарт IEEE концептуального синтаксиса языка моделирования и семантики для IDEF1X97 (объект IDEF). Сообщение может быть зашифрованным (главным образом, для машины) или достаточно просты для понимания оператором. Примечание — Сообщения включают в себя как запросы ответа, так и просто информацию для оператора
	d) Релевантные показатели качества	ПК, такой как уровень доступности инструкций для обучаемости в процессе пользовательской работы новичка. В некоторых случаях, это может повлиять на удобство использования и эстетику
	e) Метод измерения	Подсчет сообщений
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Процесс функционального сообщения (FMP) является единым понятием, которое может быть выражено в модели с различными подсвойствами, такими как информационное сообщение, сообщение о состоянии, предупреждающее сообщение и сообщение об ошибке
	g) Определение каждого подсвойства (дополнительно)	Информационное сообщение: сообщение компьютерной системы или прикладной программы, не требующее вмешательства оператора. Сообщение о состоянии: сообщение компьютерной системы или прикладной программы, не требующее вмешательства оператора, а просто сообщающее о текущем рабочем состоянии системы. Предупреждающее сообщение: сообщение компьютерной системы или прикладной программы, указывающее на событие или проблему во время работы, при которых требуется вмешательство оператора. Почти всегда, это индикатор того, что происходит что-то не то. В информатике это, как правило, диагностическое сообщение, которое выдается, когда компьютерная программа обнаруживает ошибку или потенциальную проблему, но продолжает обработку. Как правило, предупреждающее сообщение — это модальное диалоговое окно, оперативное сообщение, уведомление или всплывающая подсказка, которая предупреждает пользователя об условии, которое может вызвать проблему в будущем. Сообщение об ошибке: сообщение компьютерной системы или прикладной программы, которое указывает на существенное событие или проблему во время работы, при которых действительно требуется вмешательство оператора. Почти всегда это индикатор того, что происходит что-то не то. Сообщение об ошибке — это информация, выведенная на экран, когда на компьютере или устройстве возникает неожиданное состояние. В современных операционных системах с графическими интерфейсами пользователя, сообщения об ошибках обычно выводятся на экран в диалоговых окнах. Сообщения об ошибках используются, когда необходимо вмешательство пользователя для того, чтобы указать, что работу нужно прекратить или для передачи важных предупреждений (таких как предупреждение пользователю о том, что он почти исчерпал лимит места на жестком диске). Сообщения об ошибках применяются в процессах вычислений и являются частью каждой операционной системы или устройства компьютерного оборудования
	h) Входные данные для ЭПК	Основной концепцией является извлечение сообщения программного обеспечения, которое может быть сделано путем извлечения функциональных требований пользователя из проектной документации, а затем за счет удаления не относящихся к сообщению функциональных требований пользователя. В результате получаются функциональные требования пользователя из сообщения. Каждое извлеченное функциональное требование пользователя из сообщения классифицируется путем идентификации сообщения и обработки функционального сообщения
	i) Единица измерения ЭПК	Сообщения
	j) Правила вычисления	Добавлением числа информационных сообщений, числа сообщений о состоянии, числа предупреждающих сообщений, числа сообщений об ошибке
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к удобству использования (удобству обучения)
	m) Процесс(ы) жизненного цикла программного обеспечения	Проектирование, кодирование, тестирование и сопровождение
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
15	a) Имя ЭПК	Число шагов (процедуры)
	b) Целевой объект (целевая сущность)	Шаги (процедуры)
	c) Цель и свойство для измерения	Иметь представление о сложности процедуры. Предполагается, что чем больше шагов, тем сложнее процедура. Определение шага: 1 Один элемент (пронумерованный пункт списка) в процедуре, которая требует от пользователя выполнения действия (или действий). ИСО/МЭК 26514 Системная и программная инженерия. Требования для разработчиков и разработчиков пользовательской документации 4.47. 2 Одновременное выполнение конечного набора нескольких переходных режимов, которые могут быть выполнены одновременно. (ИСО/МЭК 15909-1 Системная и программная инженерия. Сети Петри высокого уровня. Часть 1. Понятия, определения и графическая нотация 2.1.26.4). 3 Абстракция действия, используемого в процессе, который может сохранить состояние неуказанных объектов, которые участвуют в этом действии. (ИСО/МЭК 15414 Информационные технологии. Открытая распределенная обработка. Эталонная модель Предпринимательский язык 6.3.6). Примечание — Шаг содержит одно или более действий. Ответы программного обеспечения не считаются шагами
	d) Релевантные показатели качества	ПК, такой как число шагов процедуры эксплуатации или процедуры технического сопровождения, для количественного определения удобства использования, эффективности и пригодности для сопровождения
	e) Метод измерения	Подсчет идентифицированных шагов
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Различные процедуры из требований и проекта
	i) Единица измерения ЭПК	Шаг
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к удобству использования, эффективности и пригодности для сопровождения
	m) Процесс(ы) жизненного цикла программного обеспечения	От анализа требований до сопровождения
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
16	a) Имя ЭПК	Сложность задачи
	b) Целевой объект (целевая сущность)	Задача
	c) Цель и свойство для измерения	Понять сложность задачи. Сложность программного продукта может влиять на удобство использования программного обеспечения, главным образом, на надежность и пригодность для сопровождения. Определение сложности конкретной задачи показывает нам трудность выполнения этой задачи. Определение задачи: задача — функция, которая должна быть выполнена в определенном промежутке времени. В данной публикации задача рассматривается с точки зрения программного обеспечения, поэтому упомянутая функция является самим программным обеспечением. Институт инженеров по электротехнике и электронике (IEEE) определяет сложность как степень трудности понять и проверить проект или реализацию системы или компонента. В этой публикации в качестве взаимодействующей стороны рассматривается пользователь, и трудность выполнения задачи определяется вводом данных или запроса, в программу и извлечением результата из системы. Примечание — Задача: 1 В проектировании программного обеспечения — это компонент программного обеспечения, который может работать параллельно с другими компонентами программного обеспечения. 2 Параллельный объект с его собственным потоком управления. 3 Последовательность инструкций, обрабатываемых, как основная единица работы программой под управлением операционной (ИСО/МЭК/IEEE 24765 Системы и программная инженерия. Словарь). (4) Требование, рекомендация или разрешенное действие, предназначенные для содействия достижению одного или более выходов процесса (ИСО/МЭК 12207 Системная и программная инженерия. Процессы жизненного цикла программного обеспечения) (ИСО/МЭК 15288 Системная и программная инженерия. Процессы жизненного цикла систем)
	d) Релевантные показатели качества	ПК, такой, как уровень сложности задачи программы, чтобы управлять функциями пользовательского интерфейса или уровень сложности задачи программы для измерения удобства использования, надежности и пригодности для сопровождения
	e) Метод измерения	Сложность задачи
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Переменные и параметры
	g) Определение каждого подсвойства (дополнительно)	Число переменных, определенных и используемых в системе программного обеспечения. Исходный код, который использует больше переменных, чем можно понять, отладить и поддержать. Число аргументов (параметров), включенных в каждый вызов функции в исходном коде. Аргументы функции (параметры) можно считать переменными. Функцию с большим количеством параметров трудно понять, отладить и поддержать
	h) Входные данные для ЭПК	Каждая используемая переменная в операторе будет добавлять одну единицу к индексу сложности. Для параметров функции: каждый вызов функции будет добавлять n единиц к индексу (n = число параметров)
	i) Единица измерения ЭПК	Сложность задачи
	j) Правила вычисления	Например: низкая, средняя и высокая
	k) Тип шкалы	Порядковый
	l) Контекст применения ЭПК	ЭПК применим в особенности к удобству использования, надежности и пригодности для сопровождения
	m) Процесс(ы) жизненного цикла программного обеспечения	От проекта до сопровождения
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
17	a) Имя ЭПК	Число тестовых сценариев
	b) Целевой объект (целевая сущность)	Тестовый сценарий
	c) Цель и свойство для измерения	Позволяет определять для теста величину: проход/сбой. Определение тестового сценария: минимальная независимая исполнимая часть тестового комплекта системы программного обеспечения, которая дает два возможных результата (сбой, проход). Более точно: тестовый сценарий: (1) совокупность тестовых входных данных, условий выполнения и ожидаемых результатов, разработанных для определенной цели, например, обеспечить определенный порядок выполнения программы или проверить соответствие специальным требованиям. (IEEE 1012-2004 — Стандарт верификации и подтверждения правильности программного обеспечения); (2) документация, определяющая входные данные, предсказанные результаты и ряд условий выполнения для тестового изделия. (IEEE 1012-2004 — Стандарт верификации и подтверждения правильности программного обеспечения)
	d) Релевантные показатели качества	ПК, такой как число тестовых автоматически исполнимых сценариев или число обнаруженных отказов за тысячу тестовых сценариев обработки ошибок для измерения пригодности для сопровождения (тестируемости) и надежности (отказоустойчивости)
	e) Метод измерения	Тестовые сценарии
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Тестовый сценарий и результаты
	i) Единица измерения ЭПК	Тестовые сценарии
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к пригодности для сопровождения (тестируемости) и надежности (отказоустойчивости)
	m) Процесс(ы) жизненного цикла программного обеспечения	Тестирование
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
18	a) Имя ЭПК	Число вариантов использования
	b) Целевой объект (целевая сущность)	Варианты использования
	c) Цели и свойство для измерения	Это показатель для измерения вариантов использования. Ее, главным образом, следует использовать в модели производительности, она может помочь определять количественно относительное использование ресурсов. Какое количество ресурса задействует вариант использования относительно его размера. Определение варианта использования: описание взаимодействия между агентом (инициатором взаимодействия) и самой системой. Вариант использования представляется как последовательность простых шагов. Свойством является функциональный размер, но с точки зрения варианта использования. Вариант использования в UML: полноценная задача системы, которая обеспечивает измеримый результат значения для агента. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь). Примечания 1 Более формально, вариант использования определяет набор реализаций варианта использования или сценариев. Спецификация варианта использования: Документ, который определяет вариант использования. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь). 2 Основными составными частями спецификации варианта использования, являются название варианта использования, краткое описание, предварительное условие, основное течение, постусловие и альтернативное течение
	d) Релевантные показатели качества	ПК, такой как конкретное количество вариантов использования можно использовать для того, чтобы полностью выполнить задачу, определенную пользователем; смягчить определенные риски; - управляться некоторым пользователем с ограниченными возможностями для измерения возможностей продукта, таких как свобода от риска, эффективность, покрытие контекста и удобство использования. Она также может быть использована для ПК, связанных с производительной эффективностью (использованием ресурса)
	e) Метод измерения	Правила выделения различных типов действий для различных сценариев следующие: — упорядочите последовательно описания действий (а, следовательно, их уникальные идентификаторы номера) так, чтобы для основного сценария получилась строгая последовательность действий; — итерации и параллельные действия могут быть представлены в этом же разделе варианта использования, тогда как альтернативные действия должны быть записаны в другом разделе. Для альтернативных путей и расширений необходимо рассмотреть все возможности. Примечание — Для измерения программного обеспечения и определения связей необходимо определить число вариантов использования. В некоторых случаях для описания варианта использования со многими правилами и условиями следует использовать условную логику или схемы действия
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Действие
	g) Определение каждого подсвойства (дополнительно)	Действие: (1) «Определенный объем работы, который необходимо выполнять, включая и требуемые ввод и вывод информации». (2) Совокупность согласованных задач процесса (ИСО/МЭК 12207 Системы и программная инженерия. Процессы жизненного цикла программного обеспечения)
	h) Входные данные для ЭПК	Варианты использования
	i) Единица измерения ЭПК	Действие
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к свободе от риска, эффективности, покрытию контекста и удобству использования
	m) Процесс(ы) жизненного цикла программного обеспечения	Требования
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
19	a) Имя ЭПК	Число операций
	b) Целевой объект (целевая сущность)	Работа
	c) Цель и свойство для измерения	Обеспечить приемлемый показатель операционной сложности эксплуатации интерактивного программного обеспечения большого объема. Во многих средах операторы сталкиваются с задачей повторного использования одних и тех же наборов функций приложений. В таких средах минимизация операционной сложности может привести к значительному снижению усталости, увеличению удобства использования и эффективности качества использования. Как правило, операторы в таких условиях имеют обширный опыт с программным обеспечением и для выполнения необходимых операций выбирают наиболее эффективный способ взаимодействия с программным обеспечением. Определение работы: продолжающееся выполнение действий, результатом которых является один и тот же продукт или повторяющаяся услуга. Более точно работа: (1) процесс выполнения компьютерной системы в соответствующей среде для выполнения намеченных функций. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь). (2) Действие, необходимое, чтобы осуществлять деятельность. (ИСО/МЭК 15940 Информационные технологии. Услуги среды разработки программного обеспечения)
	d) Релевантные показатели качества	Уровень свободы от операционных ошибок, который определяет соотношение числа имевших место операционных ошибок к общему количеству операций во время работы для измерения удобства использования (работы)
	e) Метод измерения	Работа
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Список средств управления, которые будут доступны оператору
	i) Единица измерения ЭПК	Работа
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к удобству использования и эффективности качества в использовании
	m) Процесс(ы) жизненного цикла программного обеспечения	Приобретение программного обеспечения — не функциональная спецификация требований: как пороговое значение требования удобства использования. Приобретение программного обеспечения — выбор/сравнение COTS: как фактор выбора. Разработка программного обеспечения — проект UI: как предопределение операционной сложности. Тестирование — не соответствие функциональным требованиям: как основание сравнения с требованиями. Сопровождение — определение возможности улучшения: как средство идентификации улучшения UI
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
20	a) Имя ЭПК	Число фатальных ошибок
	b) Целевой объект (целевая сущность)	Фатальные ошибки
	c) Цель и свойство для измерения	Знать надежность программного обеспечения. Определение фатальной ошибки: ошибка, которая приводит к полной неспособности функционирования системы или компонента. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь)
	d) Релевантные показатели качества	Число фатальных ошибок, вызывающих падение системы, для представления отказоустойчивости, восстанавливаемости или числа фатальных ошибок, при которых возможно восстановление данных, для представления восстанавливаемости в надежности
	e) Метод измерения	Необходимы мониторинг системы или программного обеспечения во время тестирования или эксплуатации и запись фактов проявления фатальных ошибок, при которых падает система или приостанавливается услуга
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Заполняется по необходимости
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	Тестирование и работа
	i) Единица измерения ЭПК	Фатальные ошибки
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к надежности (отказоустойчивости, восстанавливаемости) и исключению рисков
	m) Процесс(ы) жизненного цикла программного обеспечения	Тестирование и работа
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
21	a) Имя ЭПК	Размер базы данных
	b) Целевой объект	База данных
	c) Цель и свойство для измерения	Определение размера базы данных: число вхождений (экземпляров) в базе данных. ЭПК может быть полезен для измерения устанавливаемости нового программного обеспечения в случае вхождения необходимости передачи данных. База данных: (1) набор взаимосвязанных данных, совместно хранимых в одном или нескольких компьютерных файлах. (ИСО/МЭК 24765 Системная и программная инженерия. Словарь). (2) набор данных, организованных согласно концептуальной структуре, описывающей характеристики данных и отношения между соответствующими объектами, и поддерживающий одну или более прикладных областей. (ИСО/МЭК 2382-1 Информационные технологии. Словарь. Часть 1. Фундаментальные термины). (3) набор данных, описывающих определенную целевую область, который используется и обновляется одним или более приложениями. (ИСО/МЭК 29881 Информационные технологии. Системная и программная инженерия. Часть 1.1. Методика определения функциональных размеров)
	d) Релевантные показатели качества	Переносимость (устанавливаемость)
	e) Метод измерения	Размер базы данных
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Вхождение
	g) Определение каждого подсвойства (дополнительно)	Заполняется по необходимости
	h) Входные данные для ЭПК	База данных
	i) Единица измерения ЭПК	Число вхождений
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	ЭПК применим в особенности к переносимости (устанавливаемости)
	m) Процесс(ы) жизненного цикла программного обеспечения	Сопровождение
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости
22	a) Имя ЭПК	Размер памяти
	b) Целевой объект (целевая сущность)	Емкость памяти
	c) Цели и свойство для измерения	Знать необходимое количество энергозависимой и постоянной памяти, необходимой для выполнения программного обеспечения должным образом
	d) Релевантные показатели качества	Определение размера памяти: объем памяти для хранения данных компьютера или компьютерного устройства (выражается в байтах). Определение памяти: адресуемое место для хранения в процессоре и в другой внутренней памяти, которое используют для выполнения инструкций. (ИСО/МЭК 2382-1 Информационные технологии. Словарь. Часть 1. Фундаментальные термины). Эффективность по производительности (использование ресурсов)
	e) Метод измерения	Емкость памяти
	f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Постоянная память, энергозависимая память, память произвольного доступа (RAM), видеопамять, профилировщик памяти
	g) Определение каждого подсвойства (дополнительно)	Постоянная память: место, где данные хранятся в электромагнитной или оптической форме для доступа компьютерным процессором. Зачастую термин «хранилище» используют для обозначения устройств и данных, связанных с компьютером посредством операций ввода/вывода; т.е. жесткий диск, ленточные системы и другие формы хранения и которые не включают собственно память компьютера и другие внутренние ресурсы хранения в компьютере. Энергозависимая память: память компьютера, которая для поддержи хранения информации требует электропитания, в отличие от постоянной памяти непрерывного электропитания не требуется. RAM: оперативная память (RAM) — форма энергозависимой памяти. На сегодняшний день, она выполнена на интегральных схемах, организация которых обеспечивает доступ к хранящимся данным в произвольном порядке (т.е., случайным образом). Под случайностью в данном случае подразумевается, что любая часть данных может быть получена за постоянный интервал времени, независимо от физического расположения данных и от ранее полученной порции данных. Видеопамять: разновидность энергозависимой памяти, установленной в видеоадаптере. Перед тем, как изображение отправляется на монитор, оно сначала представляется в виде двоичного отображения в области видеопамяти, называемой буфером кадра. Видеопамять рассматривается как отдельная вспомогательная концепция с целью определить требования к видеопамяти программ более точно. Профилировщик памяти: инструмент для исследования образцов памяти программы с использованием собранной информации во время выполнения программы
	h) Входные данные для ЭПК	Характерная особенность языков программирования — использование памяти. На этапе выполнения программы она позволяет создавать объекты любого размера. Размер выделяемой памяти влияет на производительность и размер программы, а, следовательно, и на качество программного обеспечения. Программист ответственен за отслеживание памяти, которая выделена во время выполнения, и освобождение его каждый раз, когда она больше не требуется. Для выделения минимального объема физической памяти, требуемого программным обеспечением, необходимо знать максимальное пространство памяти, которое является точкой максимума. Программы обеспечивают это главным образом через операционную систему
	i) Единица измерения ЭПК	Единицей измерения будут байты. В качестве единицы измерения допускается также использовать килобайты, мегабайты и гигабайты, поскольку они получаются из байтов умножением на 1024
	j) Правила вычисления	Добавление
	k) Тип шкалы	Отношение
	l) Контекст применения ЭПК	Использование ресурсов
	m) Процесс(ы) жизненного цикла программного обеспечения	Главным образом сопровождение
	n) Ограничения измерений (дополнительно)	Заполняется по необходимости

Приложение B (справочное)

РУКОВОДСТВО ПО РАЗРАБОТКЕ ЭЛЕМЕНТА ПОКАЗАТЕЛЯ КАЧЕСТВА

В настоящем приложении представлена процедура применения метода измерения, согласно ИСО/МЭК 15939. Метод измерения формирует элемент измерения качества (ЭПК), основываясь на свойстве, предназначенном для измерения. Назначение документа состоит в том, чтобы помочь пользователям серии ИСО/МЭК 9126 (ТО ИСО/МЭК 9126-2, ТО ИСО/МЭК 9126-3, ТО ИСО/МЭК 9126-4) и пользователям серии стандартов SQuaRE (ИСО/МЭК 25022, ИСО/МЭК 25023 и ИСО/МЭК 25024) применять метод измерения. Настоящее приложение будет полезным при выборе и использовании различных показателей качества для оценки качества продукта в разных стадиях жизненного цикла продукта. Пользователь настоящего стандарта может просто заполнить шаблон таблицы элементов ЭПК, приведенной в 6.2, не вникая в текст настоящего приложения, если ему не интересна логика заполнения таблицы, которая объясняется в этом приложении.

Как показано на рисунке 4 (пункт 6.1), для измерения ЭПК разработчику метода измерения предлагается идентифицировать и собирать данные, связанные с количественным измерением свойства ЭПК. В зависимости от контекста использования и цели(ей) ЭПК, может быть идентифицирован ряд подсвойств, которые и являются входными данными метода измерений. Эти свойства извлекаются и определяются из артефактов программного обеспечения (например, жизненного цикла программного обеспечения). В результате действий разработчика метода измерения получают различные выходные данные, которые и являются идентификацией свойств и подсвойств. Кроме того, разрабатываются правила измерения и описание методики их применения для реализации арифметических правил присвоения.

В настоящем приложении описана процедура (по шагам), необходимая разработки метода измерения, начиная с идентификации ЭПК и заканчивая арифметическим присвоением (единица измерения). Далее приведены примеры «законченных» ЭПК при использовании этой процедуры измерения.

Для разработки ЭПК предлагается выполнить следующие шаги:

1 Идентификация ЭПК и целей (см. раздел B.1).

2 Идентификация свойства, которое предполагается измерить и которое связано с ЭПК (см. раздел B.2).

3 Определение свойства и подсвойств (см. раздел B.3).

4 Разработка модели свойств, которые нужно определить количественно (см. раздел B.4).

5 Назначение единицы измерения (формула) и типа масштаба (см. раздел B.5).

Во избежание случайного неправильного употребления ЭПК пользователи настоящего приложения могут рассмотреть каждый перечисленный в этом разделе шаг для разработки или проверки проекта метода измерения для определенного ЭПК. Теоретически ЭПК может быть применен к любому показателю качества и на любом этапе всего жизненного цикла продукта. В настоящем приложении для реализации метода измерения использовался процесс разработки, независимый от ЭПК и технологии. Однако при разработке конкретного ЭПК могут быть определены соображения, связанные с целями измерения. Это необходимо по той причине, что конкретный ЭПК связан с показателем качества, который связан с подхарактеристикой. При этом допускается использование ЭПК для различных характеристик и подхарактеристик при неизменной цели измерения.

Примечание - При прочих равных условиях, результаты измерений должны быть повторимыми и восстанавливаемыми для разных измерений, для разных групп, производящих измерения тех же показателей качества программного обеспечения, а кроме того, и для разных организаций. Предлагаемые шаги для разработки ЭПК должны помочь достичь тех же целей, что и использование метода измерений.

B.1 Идентификация элементов показателей качества и целей

Список ЭПК был сформирован из показателей качества (приблизительно 250) в серии ИСО/МЭК 9126, части 2, 3 и 4. Для каждого перечисленного ЭПК было идентифицировано свойство (продукта). Работа по выявлению ЭПК подразумевает также и непрерывное обновление из-за зависимости от новых идентифицированных характеристик и подхарактеристик (см: ИСО/МЭК 25010), которые приводят к возникновению новых показателей качества и потенциально новых ЭПК с их соответствующими свойствами. Наконец, идентификация ЭПК в контексте использования важна потому, что дает информацию о цели измерения и предполагаемом использовании результатов измерений. После того, как выявлен ЭПК, можно идентифицировать постоянное использование свойства ЭПК.

Следовательно, проект измерений должен содержать: название ЭПК, целевую сущность, цель и свойство, подлежащее измерению, релевантные показатели качества (используется соответствующим показателем качества), метод измерения, список подсвойств, связанных со свойством для измерения, определение каждого подсвойства, входные данные для ЭПК, арифметические правила для ЭПК, тип масштаба, контекст ЭПК, этапы жизненного цикла программного обеспечения и измерительных ограничений. Кроме того, при определении цели разработчик должен разъяснить, будет ли измерение свойства выполняться с точки зрения пользователя или разработчика. Например, в ИСО/МЭК 9126 определены три точки зрения: изнутри (разработчик), извне (пользователь) и с точки зрения качества при использовании (когда программное обеспечение эксплуатируется пользователем). Документ должен разъяснять, на каком этапе жизненного цикла разработки программного обеспечения лучше всего применять метод измерения. Этапы жизненного цикла программного обеспечения могут быть различными в зависимости от этапа жизненного цикла программного обеспечения. В ИСО/МЭК 12207 основные этапы жизненного цикла определены как: анализ требований, проектирование, кодирование, тестирование и сопровождение (ИСО/МЭК 12207 Системная и программная инженерия. Процессы Жизненного цикла программного обеспечения).

B.2 Идентификация свойства для измерения, связанного с элементами показателей качества

Программное обеспечение — неосязаемый продукт, но тем не менее, оно может быть сделано видимым посредством многочисленных представлений. Набор экранных форм и отчетов для пользователя, набор строк кода для программиста, ряд представлений модели программного обеспечения для разработчика программного обеспечения являются хорошими примерами элементов программного обеспечения (IEEE 1233-1998). Чтобы определить количество свойства, связанного с ЭПК, измеряющий может иметь в виду существование тех элементов. Одно основное свойство для измерения связано с одним ЭПК. Например, если в качестве ЭПК рассматривать число ошибок, то «ошибка» является основным свойством для количественного измерения.

Выбор свойства в организации будет непосредственно связан с выбором ЭПК. Выбор ЭПК должен быть связан с целью программы измерений в организации (какие характеристики и подхарактеристики в организации подлежат количественному определению?). Каждый ЭПК, используемый организацией, может быть определен непосредственно в организации, если он не определен стандартами.

B.3 Определение свойства и подсвойств

Выбранное свойство для измерения ЭПК может быть разбито на измеримые подсвойства. Например, свойство для измерения «ВАРИАНТ ИСПОЛЬЗОВАНИЯ» можно разделить на три подмножества подсвойств таких, как «основной сценарий», «альтернативные пути» и «исключения». Разработчик метода измерения должен произвести всесторонний анализ публикаций, чтобы выяснить, насколько свойства, связанные с ЭПК, определены и измерены в предыдущих исследованиях. Разработчик должен проанализировать общие черты и различия между определениями свойств в модели качества и другими библиографическими источниками. Главным образом это зависит от цели и использования контекста ЭПК (см. раздел B.2). Результаты анализа должны соотноситься с целью и использованием ЭПК.

Для таких свойств на первом этапе определения может быть неявно установлено, каким образом свойство разделяется на подсвойства. Это разделение описывает, какую роль каждое подсвойство играет в составе свойства. Поэтому на этом этапе должно быть описано как свойства разделяются.

Вот пример разложения свойства. Метод COSMIC в ИСО/МЭК 19761 (COSMIC) состоит из свойства «перемещение данных» и некоторых других свойств (уровни, граница и функциональный процесс), что помогает понять и определить «перемещение данных». В этом случае мы можем также считать, что подсвойства (перемещения данных) идентифицированы как: типы записи, выхода, чтения и записи. Далее, эти подсвойства могут быть использованы для создания модели (см. раздел B.5) и расчета «перемещения данных» для получения числа (количества) CFP (см. раздел B.6).

B.4 Построение модели свойства, которое будет определено количественно

Свойство для измерения ЭПК используют для получения свойства в модели. Отношения между определенными свойствами или подсвойствами, которые представляют программное обеспечение или часть программного обеспечения, составляют модель. Модель описывает, как распознать свойства и/или подсвойства в измерительном методе.

На данном этапе должны быть идентифицированы источники данных, используемых в измерительном методе. Например, элементы «документ спецификации требований», «документ описания тестирования», обеспечивают важную информацию, которая помогает найти измеримые свойства.

Входной источник данных, которые используют для измерения ЭПК, должен быть определен. Например, элементом может быть текст, из которого человек должен извлечь необходимую для измерения ЭПК информацию. Метод измерения ЭПК может включать в себя действия человека (например, подсчет вручную число отказов) или инструментальные средства (например: подсчет числа отказов после автоматизированного теста).

B.5 Назначение единицы измерения (формулы) и типа шкалы

Назначение арифметических правил является частью процесса проектирования. Арифметические правила преобразования могут быть описаны как с практической точки зрения (как правило, в виде текста), так и с теоретической (как правило, математическое выражение). При назначении правил преобразования часто возникает проблема внутренней непротиворечивости. Непротиворечивость между двумя свойствами, которые должны быть измерены, имеет важное значение. При добавлении двух свойств (или подсвойств) важно показать, что они связаны общим свойством. Например, добавление яблок и апельсинов может быть оправдано при рассмотрении свойства «фрукты» с результатом количество плодов. Преобразование должно также учитывать ограничения результата. В окончательном результате мы ничего не знаем о числе яблок и апельсинов, а знаем только общее число фруктов.

Преобразование связано также с типом шкалы (см. приложение E) значений и математическим отношением между величинами. Если они не определены, то преобразование может быть ошибочным. Если тип шкалы порядковый, то единственное преобразование связано с оценкой нижнего или верхнего значения относительно двух результатов. Удовлетворенность пользователей 3 ниже удовлетворенности пользователей 5, предполагая, что единица является самой низкой, а пять — самой высокой оценкой.

Приложение C

C.1 Пример ЭПК с шаблоном таблицы

Таблица C.1

Пример 1: Число записей

Примечание — Таблица — пример для показателя качества данных в соответствии с таблицей 1 в 6.2.

a) Имя ЭПК	Число записей
b) Целевой объект (целевая сущность)	Записи
c) Цель и свойство для измерения	Цель состоит в том, чтобы определить качество целевых данных. Запись — это ряд связанных элементов данных, обрабатываемых как элемент (ИСО/МЭК 24765)
d) Релевантные показатели качества	Мера точности Название показателей качества данных: синтаксическая правильность записей Измерительная функция A/B Элементы измерения качества: A = число синтаксически корректных записей B = число записей
e) Метод измерения	Рассмотрите и проанализируйте записи данных
f) Список подсвойств, имеющих отношение к свойству для измерения (дополнительно)	Элемент данных: наименьший компонент группы данных Файл: набор связанных записей
g) Определение каждого подсвойства (дополнительно)	Элемент данных: наименьший компонент группы данных Указание о физическом файле: измеряющий предполагает наличие словаря данных для поиска физических файлов
h) Входные данные для ЭПК	Физические файлы базы данных
i) Единица измерения ЭПК	Число записей
j) Правила вычисления	Добавление общего числа записей
k) Тип шкалы	Отношение
l) Контекст применения ЭПК	ЭПК, главным образом, предназначен для измерения точности и полноты групп данных или для создания показателя, включающего в себя совокупную информацию о качестве элементов данных
m) Процессы жизненного цикла	Процессы жизненного цикла программного обеспечения (ИСО/МЭК 12207): процесс квалификационного тестирования программных средств (см. 7.1.7); процесс обеспечения гарантии качества программных средств (см. 7.2.3); процесс верификации программных средств (см. 7.2.4) Процесс валидации программных средств (см. 7.2.5); процесс аудита программных средств (см. 7.2.7); процесс решения проблем в программных средствах (см. 7.2.8); процесс менеджмента повторного применения активов (см. 7.3.2); процессы жизненного цикла систем (ИСО/МЭК 15288); процесс менеджмента информации (см. 6.3.6); процесс измерений (см. 6.3.7); процесс квалификационного тестирования системы (см. 6.4.6); процесс сопровождения программных средств (см. 6.4.10)
n) Ограничения измерений (дополнительно)	Прежде чем сравнить результаты, полученные в различных технологических средах, предлагается проверить влияние технологии на число записей, сгенерированных для того же элемента информации

C.2 Набор расширения элементов измерения качества

Таблица C.2

Список набора расширения элементов ЭПК, понятия для определения количества, высокоуровневое определение

Порядковый номер	Набор расширения ЭПК	Определение и понятия, относящиеся непосредственно к ЭПК
1	Время обработки	Время обработки — время между стартовой точкой и точкой конца указанной задачи системы или программного обеспечения. Процесс — совокупность взаимосвязанных или взаимодействующих видов деятельности, преобразующих входы в выходы (ИСО 9000, ИСО/МЭК 25000) (Edition: 1) Время действия: время в календарных единицах между запуском и концом действия запланированного действия [Руководство по своду знаний управления проектами ( PMBOK® Guide Четвертая редакция]. Фактическая продолжительность: время в календарных единицах между фактической датой начала плановой операции и текущей датой, если процесс продолжается, или фактической датой окончания, если действие завершено. ( PMBOK® Guide Четвертая редакция). Продолжительность (DU или DUR): общее число периодов работы (не включая праздники или другие нерабочие периоды), требуемых для завершения запланированного действия или компонента перечня. Обычно выражается как в рабочих днях, так и в рабочих неделях. Иногда неправильно ассоциируется с прошедшим временем. ( PMBOK® Guide, четвертая редакция). Обработка данных (DP): систематическое выполнение операций над данными. (ИСО/МЭК 2382-1 Информационные технологии. Словарь. Часть 1. Фундаментальные термины). Пример — Арифметические или логические операции с данными, объединение или сортировка данных, сборка или компиляция программ, операций над текстом, такие как редактирование, сортировка, слияние, хранение, получение, отображение или печать. Примечание — Термин «обработка данных» не следует использовать в качестве синонима для обработки информации. Синоним: автоматическая обработка данных
2	Время доступности услуги (система в рабочем состоянии)	Время доступности услуги: период, в течение которого система работает в режиме, приемлемом для его оператора или пользователя
3	Время реакции (ответа)	Услуга: выполнение действий, работы или обязанностей, связанных с продуктом (ИСО/МЭК 12207 Разработка программного обеспечения. Процессы жизненного цикла систем и программного обеспечения) (ИСО/МЭК 15939 Разработка программного обеспечения Процесс измерения систем и программного обеспечения), см. также: продукт, результат, поставляемый компонент. Время реакции (время ответа, отклика). Время реакции: Промежуток времени между временем, когда инициирована отправка запроса ответа и временем, когда ответ на него получен ролевым объектом подтверждения ответа. (ИСО/МЭК 10164-22 Информационные технологии. Взаимодействия открытых систем Управление системами: Функция контроля времени реакции. Редакция: 1). Время реакции: время, прошедшее между концом запроса или команды интерактивной компьютерной системе и началом ответа системы (ИСО/МЭК 24765 Системная и программная инженерия. Словарь) См. также: время от порта к порту, время реакции, срок выполнения работы
4	Время работы оператора	Время работы оператора: период времени работы между временем, когда указанная совокупность задач запущена под управлением оператора и временем завершения
5	Время работы	Время работы: Действия, необходимые для выполнения деятельности. Примечание — Одна или более необходимых операций, чтобы выполнить действие. Работа может состоять и из других операций. (ИСО/МЭК 15940 Редакция: 1)
6	Время восстановления	Время восстановления: время, когда главная часть прерванной обработки была восстановлена и чрезвычайная ситуация, очевидно, закончилась. Некоторые прерванные операции могут быть не восстановлены из-за локальных проблем
7	Время перемещения системы	Время перемещения системы: период времени между временем, когда указанное перемещение начато и временем ее завершения
8	Время изменения	Время изменения: период времени между временем, когда указанное изменение начато и временем завершения. Изменение: замена предложения в информационной базе или концептуальной схеме другим, тем самым, возможно, изменяя набор предложений, которые выводятся (ИСО/ТР 9007:1987 Системы обработки информации. Понятия и терминология для концептуальной схемы и информационных баз. Редакция: 1)
9	Число пользователей (Запросы пользователя)	Число пользователей (Запросы пользователя): Число запросов на обработку системой, полученных от источника — человека или организации, которые используют систему, чтобы выполнять определенную функцию. Пользователь: человек или организация, которые используют систему, чтобы выполнять определенную функцию. Примечание — В числе пользователей могут быть операторы, потребители результатов программного обеспечения, разработчики или специалисты по обслуживанию программного обеспечения. (ИСО/МЭК 15939, ИСО/МЭК 25000 Редакция: 1)
10	Число пользователей (число авторизованных пользователей)	Число пользователей (число авторизованных пользователей): Число людей или организаций, которые уполномочены для использования системы, чтобы выполнить определенную функцию
11	Количество интерфейсов	Интерфейс: именованный набор операций, который характеризуют функциональные возможности элемента. [ИСО/МЭК 19501 (приложение: 1)]. ЭПК включает следующие подкатегории: Число защищенных интерфейсов. Примечание — Сюда включены любые виды интерфейсов, существующих между функциями, объектами, программным обеспечением, системами и человеком
12	Размер журнала (Количество журналов)	Журнал: документ, предназначенный для записи, описания или отметки выбранных пунктов, идентифицированных во время выполнения процесса или действия. Обычно используется с модификатором, таким как проблема, контроль качества, действие или дефект (Руководство PMBOK, 4 издание)
13	Число документов (включая журнал)	Документ: (1) однозначно определенная единица информации для человеческого использования, такая как отчет, спецификация, руководство или книга, в распечатанной или электронной форме (ТО ИСО/МЭК 9294 Редакция: 2) (2) эквивалент единицы документации (ИСО/МЭК 15910. Редакция: 1)
14	Число системных площадок с оборудованием и точек размещения	Число системных площадок с оборудованием и расположений сайта: оборудование и его расположение с точки зрения обработки системы. Примечание — Чем больше удаленных площадок и чем больше типов оборудования, тем сложнее системе работать с ними. Точка размещения: информация о сетевой точке привязки, через которую пользователь в текущий момент времени получает доступ к сети, включая, например, идентификацию географического и административного доменов и домена топологии IP (ТО ИСО/МЭК 26927. Редакция: 1). ЭПК включает в себя следующие подкатегории: Число системных серверов обработки
15	Число соединений	Соединение: Связь, установленная между функциональными блоками для передачи данных (ИСО/МЭК 2382-9 Словарь информационных технологий Часть 9. Передача данных. Редакция: 2)
16	Число ресурсов (включая активы)	Актив: Что-либо, что имеет значение для организации. Примечание — Имеет место множество типов активов, включая: информацию (2.18); программное обеспечение, такое как компьютерные программы; физические активы, такие как компьютеры; услуги; люди и их квалификация, навыки и опыт; и нематериальные активы, такие как репутация и изображение (ИСО/МЭК 27000)
17	Число компонентов	Компонент: (1) элемент внутри системы, имеющий дискретную структуру (например, компоновочный или программный модуль), рассматриваемый на конкретном уровне анализа (ИСО/МЭК 15026:1998 — Информационные технологии. Уровни целостности систем и программного обеспечения, 3.1) (2) одна из частей, которые составляют систему (IEEE 829-2008 IEEE — Стандарт для документации тестирования программного обеспечения и системы, 3.1.6) (3) набор функциональных служб в программном обеспечении, который, будучи реализован, представляет собой четко определенный набор функций и различим уникальным именем (ИСО/МЭК 29881 Информационные технологии. Системная и программная инженерия. FiSMA 1.1 Методики определения функциональных размеров. Примечание — Компонент может быть аппаратными средствами или программным обеспечением и может быть подразделен на другие компоненты. Термины «модуль», «компонент» и «единица» часто используются взаимозаменяемы или определяются по-разному в зависимости от контекста, чтобы быть подэлементами друг друга. Отношение этих условий еще не стандартизировано. Компонент может или не может независимо управляться от конечного пользователя или точки зрения администратора.
		Компонент программного обеспечения (SC) (1) общий термин раньше относился к системе программного обеспечения или элементу, такому как модуль, единица, данные или документ (IEEE 1061-1998 (R2004) IEEE Стандарт методологии метрик качества программного обеспечения, 2.2). (2) функционально или логически отличная часть элемента конфигурации программного обеспечения, который различают в целях удобства разработки и определения сложного SCI как сборки зависимых элементов (ИСО/МЭК 24765 Системная и программная инженерия. Словарь) Системный элемент: (1) Элемент из ряда элементов, которые составляют систему (ИСО/МЭК 12207 Системная и программная инженерия. Процессы жизненного цикла программного обеспечения, 4.49) (ИСО/МЭК 15288 Системная и программная инженерия. Процессы жизненного цикла систем, 4.32). Пример: Аппаратные средства, программное обеспечение, данные, люди, процессы (например, процессы для предоставления услуг пользователям), процедуры (например, инструкции оператора), средства, материалы и естественные объекты (например, вода, организмы, полезные ископаемые) или любая комбинация. Примечание — Системный элемент — это дискретный компонент системы, которая может быть реализована для выполнения определенных требований. Составная часть конфигурации (CI). (1) Объект в пределах конфигурации, который удовлетворяет некоторой функции целевого применения и который может быть однозначно идентифицирован в данный момент времени (ИСО/МЭК 12207 Разработка программного обеспечения. Процессы жизненного цикла систем и программного обеспечения, 4.7) (2) Элемент или агрегация аппаратных средств и/или программного обеспечения, которые разработаны для того, чтобы быть управляемыми как единственный объект (ИСО/МЭК 19770-1)
18	Объем данных	Данные: поддающееся толкованию представление информации формализованным способом, подходящее для передачи, интерпретации или обработки. Примечания 1 Данные, могут быть обработаны людьми или автоматическими средствами (ИСО/МЭК 23821). 2 Определение данных в ИСО/МЭК 25000 отличается потому, что оно относится к данным, которые связаны с результатами измерения (ИСО/МЭК 25012)
19	Число требований	Требование: (1) условие или возможность, необходимая пользователю, чтобы решать проблему или достигать цели (ИСО/МЭК 24765 Системная и программная инженерия. Словарь); (2) условие или возможность, которые должны удовлетворяться или являться свойством системы, системного компонента, продукта или услуги, с тем чтобы обеспечить выполнения договора, стандарта, спецификации или других официально введенных документов (ИСО/МЭК 24765 Системная и программная инженерия. Словарь); (3) документированное представление условия или возможности как указано в (1) или (2) (ИСО/МЭК 24765 Системная и программная инженерия. Словарь); (4) условие или возможность, которые должны выполняться или быть свойством системы, продукта, услуги, результата или компонента, чтобы удовлетворить контракт, стандарт, спецификацию или другой официально введенный документ. Требования включают в себя конкретные количественные и документированные потребности, требования и ожидания спонсора, клиента и других заинтересованных лиц (Руководство PMBOK 4-ое Изд.) См. также: требование проекта, функциональное требование, требование к реализации, требование к интерфейсу, требование к производительности, физическое требование. Выделенное требование: (1) требование, которое переносит всю или часть производительности и функциональности высокоуровневого требования на более низкий архитектурный уровень элемента или компонента проекта (ИСО/МЭК 24765 Системная и программная инженерия. Словарь)
20	Производительность (ЭПК для эффективности по производительности)	Производительность: (1) объем работы, который может быть выполнен компьютерной системой или компонентом в установленный интервал времени (ИСО/МЭК 24765 Системная и программная инженерия. Словарь); (2) скорость (т.е. среднее число за единицу измерения времени относительно интервала оценки) выполнения всех задач относительно SUT (ИСО/МЭК 14756 Информационные технологии. Измерение и рейтинг производительности программного обеспечения компьютерных систем 4.24). Примечание — Как правило, производительность определена уровнем завершения задач в течение периода времени. При определенных условиях используется эффективность по производительности: производительность относительно суммы ресурсов. Примечание — Ресурсы могут включать в себя другие программные продукты, программное и аппаратное обеспечение, конфигурацию системы и материалы (например, бумагу для распечатки, носители)
21	Число допустимых отказов (ЭПК для отказоустойчивости)	Отказоустойчивость: степень, до которой система, продукт или компонент работают как предназначено несмотря на присутствие отказов аппаратных средств или программного обеспечения (ИСО/МЭК 25010)
22	Число запросов на изменение пользовательского интерфейса (ЭПК для эстетики использования пользовательского интерфейса)	Эстетика пользовательского интерфейса: Степень, до которой пользовательский интерфейс сохраняет приятный вид и удобство взаимодействия для пользователя. Примечание — Это относится к таким свойствам продукта или системы, которые обеспечивают удовлетворение и удовольствие, таким как использование цвета и графических возможностей (ИСО/МЭК 25010)

Приложение D (справочное)

ТИП ШКАЛЫ ИЗМЕРЕНИЯ

Тип шкалы зависит по природы отношения между значениями на шкале. Определены четыре типа шкалы.

Примечание - Эти типы шкалы базируются на определениях в стандарте ИСО/МЭК 15939 Процессы измерения.

Шкала номинального типа — измеряемые значения категоричны. Например, классификация дефектов по их типу не означает порядок среди категорий.

Пример - Идентификация футболистов по номерам.

Шкала порядкового типа — измеряемые значения ранжируются. Например, ранжирование — присвоение дефектам уровня серьезности.

Пример - Отказ программного продукта по серьезности (например, незначительный, пограничный, критически серьезный, катастрофический).

Шкала интервального типа — измеряемые значения имеют равные расстояния, соответствующие равным количествам атрибута. Например, цикломатическая сложность имеет минимальное значение, но каждый инкремент представляет собой дополнительный путь. Нулевое значение недопустимо.

Пример - Температура по Цельсию может добавляться или вычитаться, но не умножаться или делиться (25 °C и 10 °C означают только лишь разницу в 15 °C).

Шкала относительного типа — измеряемые значения имеют равные расстояния, соответствующие равным количествам атрибута, причем значение нуля соответствует отсутствию атрибутов. Например, величина с точки зрения количества требований представляет относительную шкалу, потому что значение нуля соответствует отсутствию требований, а каждое дополнительное конкретное требование представляет собой равную величину инкремента.

Пример - Трудозатраты (время), затраченное на изменения, размер буфера, число обнаруженных отказов.

Метод измерения, как правило, влияет на выбор типа шкалы, которую можно использовать для данного атрибута. Например, при субъективных методах измерения, как правило, используют только порядковые или номинальные шкалы.

Приложение ДА (справочное)

СВЕДЕНИЯ О СООТВЕТСТВИИ ССЫЛОЧНЫХ МЕЖДУНАРОДНЫХ СТАНДАРТОВ НАЦИОНАЛЬНЫМ СТАНДАРТАМ РОССИЙСКОЙ ФЕДЕРАЦИИ

Таблица ДА.1

Обозначение ссылочного международного стандарта	Степень соответствия	Обозначение и наименование соответствующего национального стандарта
ИСО/МЭК 25000:2005	-	<*>
ИСО/МЭК 25010:2011	-	<*>
ИСО/МЭК 25020:2007	-	<*>
ИСО/МЭК 15939:2007	-	<*>
<*> Соответствующий национальный стандарт отсутствует. До его утверждения рекомендуется использовать перевод на русский язык данного международного стандарта. Перевод данного международного стандарта находится в Федеральном информационном фонде технических регламентов и стандартов.

БИБЛИОГРАФИЯ

[1]	ИСО/МЭК 25022, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of quality in use (revision of ИСО/МЭК 9126-4) (to be proposed) (ИСО/МЭК 25022 Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQUARE). Измерение качества при использовании (пересмотр ИСО/МЭК 9126-4))
[2]	ИСО/МЭК 25023, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of system and software product quality (revision of ИСО/МЭК 9126-2 and 9126-3) (to be proposed) (ИСО/МЭК 25023 Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQUARE). Измерение качества систем и программной продукции (пересмотр ИСО/МЭК 9126-2 и 9126-3))
[3]	ИСО/МЭК 25024, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of data quality (to be proposed) (ИСО/МЭК 25024 Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQUARE). Измерение качества данных)
[4]	ИСО/МЭК 25042, Systems and software engineering — Systems and software product Quality Requirements and Evaluation (SQuaRE) — Evaluation modules (to be proposed) (ИСО/МЭК 25042 Системная и программная инженерия. Требования и оценка качества систем и программного продукта (SQUARE). Модули оценки)
[5]	ИСО/МЭК 25012:2008, Software Engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Data quality model (ИСО/МЭК 25012:2008 Программная инженерия. Требования и оценка качества программной продукции (SQUARE). Модель качества данных)
[6]	ТО ИСО/МЭК 9126-2, Software engineering — Product quality — Part 2: External metrics [Technical Report] (ТО ИСО/МЭК 9126-2 Программная инженерия. Качество продукции. Часть 2. Внешние показатели [Технический отчет])
[7]	ТО ИСО/МЭК 9126-3, Software engineering — Product quality — Part 3: Internal metrics [Technical Report] (ТО ИСО/МЭК 9126-3 Программная инженерия. Качество продукции. Часть 3. Внутренние показатели [Технический отчет])
[8]	ТО ИСО/МЭК 9126-4, Software engineering — Product quality — Part 4: Quality in use metrics [Technical Report] (ТО ИСО/МЭК 9126-4 Программная инженерия. Качество продукции. Часть 4. Показатели качества при использовании [Технический отчет])
[9]	Руководство ИСО/МЭК 99:2007, International vocabulary of metrology — Basic and general concepts and associated terms (VIM) (Руководство ИСО/МЭК 99:2007 Международный словарь метрологии. Основные и общие понятия и соответствующие термины (VIM))
[10]	ИСО/МЭК 24765:2010, Systems and software engineering vocabulary (ИСО/МЭК 24765:2010 Системная и программная инженерия. Словарь)
[11]	ИСО/МЭК 12207:2008, Systems and Software Engineering — Software Life Cycle Processes (ИСО/МЭК 12207:2008 Системная и программная инженерия. Процессы жизненного цикла программного обеспечения)
[12]	ИСО/МЭК 15288:2008, Systems and Software Engineering — System Life Cycle Processes (ИСО/МЭК 15288:2008 Системная и программная инженерия. Процессы жизненного цикла систем)
[13]	ИСО/МЭК 14143-1:2007, Information technology — Software measurement — Functional size Measurement (ИСО/МЭК 14143-1:2007 Информационные технологии. Измерение программного обеспечения. Измерение функционального размера)
[14]	IEEE 1061-1998 (R2004), IEEE Standard for Software Quality Metrics Methodology (IEEE 1061-1998 (R2004) Стандарт IEEE по Методологии показателей качества программного обеспечения)
[15]	IEEE 1012-2004, IEEE Standard for Software Verification and Validation (IEEE 1012-2004 Стандарт IEEE по верификации и валидации программного обеспечения)
[16]	PMI (Project Management Institute): 2008, A Guide to the Project Management Body of Knowledge ( PMBOK® Guide) — Fourth Edition (PMI Институт управления проектами): 2008, Руководство в области совокупности знаний по управлению проектами ( PMBOK® Guide) — Четвертая Редакция
[17]	Desharnais, J-M., Abran A., Suryn W., 'Attributes and Related Base Measures within ISO 9126: A Pareto Analysis', Software Quality Management 2009 and INSPIRE 2009 Conferences, British Computer Society, April 2009. (Атрибуты и соответствующие основные показатели в ИСО 9126: Анализ Pareto, Конференция «Менеджмент качества программного обеспечения» 2009 и INSPIRE 2009, Британское компьютерное общество, апрель 2009)
[18]	Advanced Research Project on Software Metrics by Ministry of Economy, Trade and Industry, Japan — Investigative Report on Measure for System/Software Product Quality Requirement Definition and Evaluation 2011 (Проект перспективного исследования по показателям программного обеспечения, Министерством экономики, торговли и промышленности, Япония — Отчет об исследованиях по определению требований и оценке показателей качества систем/программных продуктов, 2011)

УДК 35.020:006.354	ОКС 35.080
Ключевые слова: показатели качества продукции, элемент показателя качества, метод измерения, требования безопасности, измерение качества, процесс оценки

---