ГОСТ Р ИСО/МЭК 25023-2021. Национальный стандарт Российской Федерации. Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Измерения качества системы и программной продукции

(утв. и введен в действие Приказом Росстандарта от 19.11.2021 № 1524-ст)

Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии

Предисловие

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 19 ноября 2021 г. № 1524-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 25023:2016 «Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Измерения качества системы и программной продукции» (ISO/IEC 25023:2016 «Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of system and software product quality», IDT).

ИСО/МЭК 25023 разработан подкомитетом ПК 7 «Системная и программная инженерия» Совместного технического комитета СТК 1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

• другие показатели качества представлены для пересмотренной модели качества программного продукта в ИСО/МЭК 25010;
• внутренние и внешние показатели соединены и представлены в упрощенном формате в одной таблице.

Серия стандартов SQuaRE состоит из следующих разделов под общим названием «Требования и оценка качества систем и программной продукции» (SQuaRE):

• ИСО/МЭК 2503n — раздел «Требования к качеству»;
• ИСО/МЭК 2504n — раздел «Оценка качества»;
• ИСО/МЭК 25050 — ИСО/МЭК 25099 — раздел «Расширения».

Приложения A, B и C приведены только для информации.

Настоящий стандарт является частью серии стандартов SQuaRE. Он предоставляет набор показателей качества для характеристик систем/программных продуктов, которые можно использовать для определения требований, измерения и оценки качества программных продуктов в сочетании с другими сериями стандартов SQuaRE, таких как ИСО/МЭК 25010, ИСО/МЭК 25030, ИСО/МЭК 25040 и ИСО/МЭК 25041.

Набор показателей качества в настоящем стандарте был выбран исходя из их практической ценности и подразделен на два уровня надежности. Они не должны быть исчерпывающими, и пользователям настоящего стандарта рекомендуется при необходимости уточнять их.

Раздел измерения качества

Настоящий стандарт является частью серии ИСО/МЭК 2502n, которая в настоящее время состоит из следующих стандартов:

• ИСО/МЭК 25020 — Эталонная модель и руководство по измерениям: обеспечивает эталонную модель и руководство по измерению характеристик качества, определенных в ИСО/МЭК 2501n;
• ИСО/МЭК 25021 — Элементы измерения качества: обеспечивает формат для определения элементов измерения качества и некоторые примеры элементов измерения качества (QMEs), которые могут быть использованы для построения показателей качества программного обеспечения;
• ИСО/МЭК 25022 — Измерение качества в процессе использования: обеспечивает измерения, включая связанные функции измерения показателей качества в модели качества при использовании;
• ИСО/МЭК 25023 — Измерение качества систем и программного обеспечения: обеспечивает измерения, включая соответствующие функции измерения показателей качества в модели качества продукции;
• ИСО/МЭК 25024 — Измерение качества данных: обеспечивает измерения, включая соответствующие функции измерения показателей качества в модели качества данных.

На рисунке 1 показана взаимосвязь между настоящим стандартом и другими стандартами из раздела ИСО/МЭК 2502n. Разработчики, средства анализа, менеджеры по качеству, заказчики, поставщики, специалисты по обслуживанию и пользователи системного/программного продукта могут выбрать показатели из этих международных стандартов для измерения показателей качества, представляющих интерес. Это может использоваться для определения требований, оценки системных/программных продуктов, выполнения действий по управлению качеством или других целей.

Структура и организация серии SQuaRE

Серия SQuaRE состоит из пяти главных разделов и раздела расширения. Структура каждого раздела в пределах серии SQuaRE следующая:

• ИСО/МЭК 2500n — Раздел «Управление качеством». Стандарты, формирующие этот раздел, определяют общие модели, термины и определения, на которые ссылаются далее все другие стандарты серии SQuaRE. Раздел также обеспечивает требования и руководство для планирования и менеджмента проекта;
• ИСО/МЭК 2501n — Раздел «Модель качества». Стандарты, формирующие этот раздел, предоставляют модели качества для системных/программных продуктов, качества при использовании и данных. Модель качества обслуживания находится в стадии разработки. Практическое руководство на использовании модели качества также предоставляется;
• ИСО/МЭК 2502n — Раздел «Измерение качества». Стандарты, формирующие этот раздел, включают эталонную модель измерения качества системного/программного продукта, определения показателей качества и практическое руководство по их приложению. В данном разделе представлены внутренние показатели качества программного обеспечения, внешние показатели качества программного обеспечения, показатели качества при использовании и показатели качества данных. Элементы измерения качества, формирующие основы для измерения показателей качества, определены и представлены;
• ИСО/МЭК 2503n — Раздел «Требования к качеству». Стандарты, формирующие этот раздел, определяют требования к качеству. Эти требования к качеству могут использоваться в процессе сбора информации требований к качеству для системного/программного продукта, который будет разработан, в процессе разработки для достижения необходимого качества или как исходные данные для процесса оценки;
• ИСО/МЭК 2504n — Раздел «Оценка качества». Стандарты, входящие в этот раздел, обеспечивают требования, рекомендации и руководящие принципы для оценки системного/программного продукта, независимо от того, выполняются ли они независимыми оценщиками, приобретателями или разработчиками. Также представлена поддержка документирования меры в качестве модуля оценки.

Стандарты ИСО/МЭК 25050 — ИСО/МЭК 25099 зарезервированы для стандартов расширения SQuaRE, которые в настоящее время включают в себя ИСО/МЭК 25051 и стандарты ИСО/МЭК 25060 — ИСО/МЭК 25069.

1 Область применения

Настоящий стандарт определяет показатели для количественной оценки качества программных продуктов и систем с точки зрения характеристик и субхарактеристик, определенных в ИСО/МЭК 25010, и предназначен для использования совместно с ИСО/МЭК 25010. Его можно использовать совместно со стандартами серии ИСО/МЭК 2503n и ИСО/МЭК 2504n для более широкого удовлетворения потребностей пользователей относительно качества программных продуктов или систем.

Настоящий стандарт содержит следующие положения:

• базовый набор показателей качества для каждой характеристики и подхарактеристики;
• объяснение того, как применять показатели качества программного продукта или системы.

Настоящий стандарт включает в качестве справочных приложений предложения, касающиеся использования показателей качества (приложение A), элементы измерения качества (QME), используемые для определения показателей качества продукции или системы (приложение B), и подробное объяснение типов измерений (приложение C).

Настоящий стандарт не присваивает диапазоны значений показателей к расчетным уровням или к уровням соответствия, поскольку эти значения определяются на основе характера системы, продукта или части продукта, и зависят от таких факторов, как категория программного обеспечения, уровень целостности и потребности пользователей. Некоторые атрибуты могут иметь желаемый диапазон значений, не зависящий от конкретных потребностей пользователя, но зависящий от общих факторов, например когнитивных факторов человека.

Предложенные показатели качества прежде всего предназначены для обеспечения качества и совершенствования систем и программных продуктов во время или после завершения этапа разработки жизненного цикла.

Основными пользователями настоящего стандарта являются люди, осуществляющие спецификацию требований и оценку качества в рамках следующих мероприятий:

• разработка: включая анализ требований, проектную спецификацию, кодирование и приемочное тестирование на протяжении жизненного цикла продукта;
• управление качеством: систематическое исследование программного продукта или компьютерной системы, например, при оценке качества системы или программного продукта в рамках обеспечения качества, контроля качества и сертификации качества;
• сдача продукта: соглашение с заказчиком на поставку системы, программного продукта или услуги на договорных условиях, например при прохождении тестов на качество;
• приобретение, включая выбор продукта и тестирование при приобретении или закупке системы, программного продукта или услуги программного обеспечения от поставщика;
• техническое обслуживание: совершенствование программного продукта или системы на основе измерения качества.

2 Соответствие требованиям

Спецификация требований к качеству или оценке качества, соответствующих настоящему стандарту, должна отвечать следующим требованиям:

• выбранные характеристики и/или подхарактеристики качества должны быть определены или оценены в соответствии с ИСО/МЭК 25010;
• для каждой выбранной характеристики или подхарактеристики должны использоваться общие (G) показатели качества, определенные в разделе 8. Исключение характеристик или подхарактеристик необходимо обосновывать;

3 Нормативные ссылки

В настоящем стандарте использованы следующие нормативные ссылки. Для датированных ссылок применяют только указанное издание, для недатированных — последнее издание (включая все изменения).

ISO/IEC 25000, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Guide to SQuaRE [Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по SQuaRE]

ISO/IEC 25010:2011, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models [Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Система и модели качества программного обеспечения]

ISO/IEC 25021:2012, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Quality measure elements [Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Элементы измерения качества]

4 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями, заданные в ИСО/МЭК 25000 и ИСО/МЭК 25010.

Примечание — В настоящем стандарте приведены ключевые определения серии ИСО/МЭК 25000 SQuaRE.

4.1 внешний показатель (качества системы или программного продукта) (external measure (of system or software quality)): Показатель степени, в которой система или программный продукт удовлетворяют утвержденным и выявленным требованиям к системе, включая программное обеспечение, подлежащее использованию в определенных условиях.

Примечание — Атрибуты поведения могут быть проверены и/или подтверждены в процессе тестирования и/или функционирования системы.

Пример — Интенсивность отказов в тестовых случаях, выявленных в ходе тестирования, является внешним показателем качества программного обеспечения, связанным с надежностью компьютерной системы. Два показателя не обязательно идентичны, так как тестирование может не выявить все дефекты и дефект может дать начало различным сбоям в различных обстоятельствах.

[ИСО/МЭК 25000:2014, 4.11, измененный]

4.2 внутренний показатель (качества программного обеспечения) (internal measure (of software quality)): Показатель степени, в которой набор статических атрибутов программного продукта удовлетворяет заявленным и подразумеваемым потребностям в программном продукте, используемом при определенных условиях.

Примечания

1 Статические атрибуты включают атрибуты, относящиеся к архитектуре программного обеспечения, структуре и ее компонентам.

2 Статические атрибуты могут быть проверены с помощью анализа, инспекции, моделирования и/или автоматизированных элементов.

Пример — Количество строк кода, показателей по сложности и количество ошибок, обнаруженных при тестировании, являются внутренними показателями качества программного обеспечения, выполненного на самом продукте.

[ИСО/МЭК 25000:2014, 4.16, измененный]

4.3 задание (job): Определяемая пользователем единица работы, подлежащая выполнению компьютером.

[ISO/IEC/IEEE 24765:2010, 3.1542, измененный]

4.4 показатель (measure): Переменная, которой в результате измерения присваивается значение.

Примечания

1 Термин «показатель» используется для коллективного обозначения базовых мер, производных мер и показателей.

2 В настоящем стандарте при использовании термина «показатель» с оговоркой в отношении характеристики качества или субхарактеристики он означает показатель качества, определенный в 4.8.

[ИСО/МЭК 15939:2007, статья 2.15, измененный]

4.5 измерение (measurement): Совокупность операций, определяющих значение показателя.

Примечание — Измерение может включать присвоение качественной категории, такой как язык исходной программы (ADA, C, COBOL и т.д.).

[ИСО/МЭК 15939:2007, 2.17, измененный]

4.6 функция измерения (measurement function): Алгоритм или расчет, выполняемый для объединения двух или более элементов измерения качества.

[ИСО/МЭК 25021:2012, 4.7, измененный]

4.7 свойство для измерения (property to quantify): Свойство целевого объекта, связанное с элементом измерения качества и поддающееся количественной оценке методом измерения.

Примечание — Элемент программного обеспечения является примером целевого объекта.

[ИСО/МЭК 25021:2012, 4.11, измененный]

4.8 показатель качества (quality measure): Производный показатель, определяемый как функция измерения двух или более значений элементов измерения качества.

[ИСО/МЭК 25021:2012, 4.13]

4.9 элемент измерения качества, QME (quality measure element, QME): Показатель, определенный с учетом свойства и метода измерения для его количественного определения, дополнительно включая преобразование математической функцией.

[ИСО/МЭК 25021:2012, 4.14, измененный]

4.10 модель качества (quality model): Определенный набор характеристик и отношений между ними, служащий основой для определения требований к качеству и его оценке.

[ИСО/МЭК 25000:2014, 4.27]

4.11 показатель качества (программного продукта или системы) (quality characteristic (of software product or system)): Категория атрибутов качества, влияющих на качество программного продукта или системы.

[ИСО/МЭК 25000:2014, 4.34, измененный]

4.12 задача (task): Набор или последовательность действий, необходимых для достижения заданной цели.

Примечания

1 Эти действия могут быть физическими или когнитивными.

2 Роль и обязанности могут определить цели и задачи.

[ИСО/МЭК 9241-11:1998, 3.9, измененный]

5 Сокращения

В настоящем стандарте используется следующее сокращение:

QME — элемент измерения качества.

6 Использование показателей по качеству систем и программного обеспечения

6.1 Понятия измерения качества системы/программного продукта

Качеством системы/программного продукта является степень, в которой продукт удовлетворяет заявленным и подразумеваемым потребностям различных заинтересованных сторон и таким образом обеспечивает ценность. Данные заявленные и подразумеваемые потребности представлены в серии стандартов SQuaRE моделями качества, классифицирующими качество системы/программного продукта в соответствии с характеристиками, которые в некоторых случаях далее подразделены на подхарактеристики. Измеримые свойства системы/программного продукта, относящиеся к качеству, называются свойствами для измерения и могут быть связаны с показателями качества. Эти свойства измеряются с помощью метода измерения. Метод измерения — это логическая последовательность операций, используемых для количественной оценки свойств по заданной области. Результат применения метода измерения вызывают элементом измерения качества.

Характеристики и подхарактеристики качества могут быть определены количественно путем применения функции измерения. Функция измерения — это алгоритм, используемый для объединения элементов измерения качества. Результат применения функции измерения называется показателем качества. Таким образом, показатели качества становятся количественными показателями характеристик и подхарактеристик качества. Для измерения характеристики или подхарактеристики показателя качества может использоваться более одного показателя качества (см. рисунок 2).

Примечание — Целевой объект может быть системой, программным продуктом, данными или пользователем (см. ИСО/МЭК 25010, рисунок 5).

Рисунок 2 — Взаимосвязь между моделью качества, QM, QME, свойством для измерения, целевым объектом

6.2 Подход к измерению качества

Потребности пользователей в качестве включают требования к качеству системы, используемой в определенных контекстах использования. Эти выявленные потребности могут быть учтены при определении внешних и внутренних показателей качества с использованием характеристик и подхарактеристик качества программных продуктов.

Качество программного продукта может быть оценено путем измерения внутренних свойств (обычно статических показателей промежуточных продуктов), или путем измерения внешних свойств (как правило, путем отслеживания состояния программного кода во время выполнения), или путем измерения свойств качества при использовании (когда продукт в реальном или моделируемом использовании). Соответствие внутренних свойств программного продукта является необходимым условием для достижения требуемого внешнего поведения, что в свою очередь влияет на уровень качества при использовании. Взаимосвязь между типами показателей качества показана на рисунке 3.

Рисунок 3 — Взаимосвязь между типами показателей качества

Внутренние показатели могут быть применены к неисполняемой системе/программному продукту на этапах его разработки (например, запрос предложений, определение требований, спецификация проекта или исходный код) и могут быть проверены путем анализа, с помощью контроля, моделирования и/или с применением автоматизированных инструментов. Внутренние показатели позволяют пользователям измерять качество промежуточных практических результатов и таким образом прогнозировать качество конечного продукта. Это позволяет пользователю определять факторы, негативно влияющие на уровень качества, и инициировать корректирующие действия как можно раньше в жизненном цикле разработки. Например, уровень непрозрачности продукта, а также количество, серьезность и частота сбоев, обнаруженных при анализе кода, являются внутренними показателями качества программного продукта, полученными из анализа самого продукта.

Внешние показатели могут использоваться для измерения качества системы/программного продукта путем измерения поведения системы, частью которой он является. Внешние показатели могут быть использованы только на этапах тестирования процесса жизненного цикла и на любых этапах эксплуатации. Измерение производится при функционировании системы/программного продукта в системной среде, в которой он тестируется или предназначен для работы. Например, количество сбоев, выявленных в ходе тестирования, является внешним показателем качества программного продукта, связанным с количеством сбоев, существующих в компьютерной системе.

Рекомендуется, где возможно, использовать внутренние показатели, имеющие тесную связь с целевыми внешними показателями, для того чтобы их можно было использовать для прогнозирования внешних показателей.

Настоящий стандарт содержит предлагаемый набор показателей качества системы и программного продукта (внешние и внутренние показатели), которые будут использоваться с моделью качества ИСО/МЭК 25010. Пользователь настоящего стандарта может изменять определенные показатели качества, а также определять и использовать показатели качества, не определенные или определенные в настоящем стандарте.

Примечание — Например, конкретное измерение показателей качества, таких как безопасность или защищенность, может быть найдено в МЭК 65 и ИСО/МЭК СТК 1/ПК 27.

При использовании модифицированного или нового показателя качества, не определенного в настоящем стандарте, пользователю необходимо определить, каким образом этот показатель соотносится с моделью качества ИСО/МЭК 25010 или с любой другой используемой заменяющей моделью качества.

Большинство показателей качества используют функцию измерения, которая нормализует значение результата в диапазоне 0,0 к 1,0. Чем ближе результат измерения к 1,0, тем выше выполняется измеряемый показатель качества. В примечании описаны случаи, когда значение показателя качества не соответствует указанному диапазону.

Некоторые измерения дают результат, специфичный для объекта измерения, и их значения необходимо установить при составлении требований.

Примечания

1 Некоторые измерения нормализованы в соответствии с целевым значением, определенным в спецификации требований, спецификации к проекту или документации пользователя. Такое целевое значение может быть определено и требуется в качестве порога разработчикам или специалистам по обслуживанию для улучшения архитектуры, проекта, реализации, сборки, операционных процедур, пользовательского интерфейса или производительности программного продукта или системы. Целевое значение также может быть определено в качестве одного из согласованных требований заказчиками и поставщиками, для уточнения требований к качеству или проверки соответствия для приобретения. Спецификация требований обычно изменяется и пересматривается в ходе разработки и влияет на основанные на ней показатели качества. Некоторые требования, которые должны быть указаны, могут отсутствовать или быть непоследовательными, или некоторые целевые значения могут быть недостаточными и должны быть изменены, поскольку очень трудно полностью указать как заявленные, так и подразумеваемые потребности, вытекающие из требований заинтересованных сторон или системных требований в начале разработки. Соответственно, ожидается, что пользователи показателей качества будут учитывать эволюцию и пересмотр спецификации требований и применять показатели качества не сразу, а последовательно в ходе разработки и/или оценки.

2 Некоторые показатели качества (такие, как среднее время реакции) трудно интерпретировать изолированно. Ниже перечислены способы применения мер качества, с тем чтобы их было легче понять и интерпретировать:

• соответствие: сравнение измерений с определенными требованиями в бизнесе или требованиями использования (например, максимальное приемлемое время реакции составляет 0,5 секунды);
• сравнительные тесты: сравнение показателей со сравнительным тестом для подобного или аналогичного продукта или системы, используемой для той же самой цели (например, среднее время реакции новой системы не больше, чем среднее время реакции старой системы);
• временной ряд: сравнение тенденций во времени (например, как изменяется среднее время реакции в течение дня).

7 Формат, используемый для документирования показателей качества

В разделе 8 в таблицах для каждого показателя качества приведена следующая информация:

a) ID: идентификационный код показателя качества; каждый ID состоит из следующих частей:

• сокращенный алфавитный код, представляющий характеристики качества одной заглавной буквой, а подхарактеристики — сочетанием заглавной буквы и строчной (например, «PTb» обозначает показатели «по временным характеристикам» для «Уровня производительности»);
• порядковый номер соответствующей подхарактеристики;
• G (общий) или S (специализированный), выражающие потенциальные категории показателей качества, где общие показатели могут применяться в любых случаях и специализированные показатели могут применяться в соответствующих предметных областях;

b) Имя: имя показателя качества;

c) Описание: информация, предоставляемая показателем качества;

d) Функция измерения: математическая формула, показывающая, как элементы измерения качества влияют на значение показателя качества.

Примечание — Полезные элементы измерения качества, которые могут часто применяться для вычисления значения показателей качества, кратко приведены в приложении B для понимания и применения функции измерения для показателей качества.

8 Показатели качества систем и программного обеспечения

8.1 Общие положения

В разделе 8 показатели качества перечислены в виде характеристик и подхарактеристик качества в порядке, используемом в ИСО/МЭК 25010.

Показатели качества могут использоваться с различными методами оценки, выбираемыми в зависимости от характеристик качества и уровней оценки, с учетом их использования в качестве внутренних или внешних показателей. Соответственно, некоторые показатели качества, приведенные в разделе 8, могут использоваться на различных этапах оценки, таких как статический анализ спецификации проекта или динамический анализ исполняемых продуктов.

Применяемые при оценке качества показатели не ограничиваются перечисленными в настоящем списке. Рекомендуется ссылаться на конкретный показатель или измерение от определенных стандартов или руководств. Например, функциональное измерение размера определено в ИСО/МЭК 14143, а пример точного измерения эффективности времени приведен в ИСО/МЭК 14756.

Примечания

1 Данный список показателей качества не завершен и мог бы быть пересмотрен в будущих версиях настоящего стандарта.

2 В данном пункте слово «показатель» означает показатель качества, если не указано иное. Например, «Функциональные показатели по пригодности» означают «Функциональные показатели качества пригодности».

8.2 Показатели функциональной пригодности

Показатели функциональной пригодности используются для оценки степени, в которой продукт или система обеспечивают функции, удовлетворяющие заявленным и подразумеваемым потребностям при использовании в определенных условиях.

Примечания

1 Функциональная пригодность связана с тем, удовлетворяют ли функции заявленным и подразумеваемым потребностям.

2 Функция, упомянутая в данном подразделе, может представлять собой элементарный процесс, как он определен в функциональных требованиях пользователя в ИСО/МЭК 14143.

3 Аналогичные показатели, вычисляемые с использованием иных элементов измерения качества, таких, как функциональный размер, могут быть определены как способ соответствия результата с лучшей точностью, поскольку отношения единицы не указывают на квант функциональности, который отсутствует.

8.2.1 Показатели функциональной полноты

Показатели функциональной полноты, приведенные в таблице 1, используются для оценки степени, в которой набор функций охватывает все указанные задачи и цели пользователя.

Таблица 1

Показатели функциональной полноты

ID	Имя	Описание	Функция измерения
FCp-1-G	Функциональное покрытие	Какая часть описанных функций была реализована?	X = 1 — A/B, где A — число нереализованных функций; B — число описанных функций
Примечания 1 Функции могут быть описаны в спецификации требований, в проектной документации, руководстве по эксплуатации или в другом документе. 2 Нереализованная функция фиксируется, когда выявляется невозможность программного обеспечения или системы выполнить заявленную функцию.

8.2.2 Показатели функциональной корректности

Показатели функциональной корректности, приведенные в таблице 2, используются для оценки степени, в которой продукт или система обеспечивает правильные результаты с необходимой степенью точности.

Таблица 2

Показатели функциональной корректности

ID	Имя	Описание	Функция измерения
FCr-1-G	Функциональная корректность	Какая часть функций возвращает корректный результат?	X = 1 — A/B, где A — число некорректных функций; B — число рассмотренных функций
Примечания 1 Некорректной является функция, возвращающая неприемлемый результат в рамках поставленной задачи. 2 Рассматриваемыми функциями могут быть все функции программного продукта или системы или определенный набор функций, направленный на решение конкретной задачи. 3 Разработчик или инженер поддержки может оценивать отдельную функцию, обозревая и тестируя ее, и определять, возвращает ли она приемлемый результат в рамках поставленной задачи, как определено в требованиях. В некоторых случаях мера корректности может быть определена для отдельной функции.

8.2.3 Показатели функциональной пригодности

Показатели функциональной пригодности

ID	Имя	Описание	Функция измерения
FAp-1-G	Функциональная пригодность по цели применения	Какая часть функций, требуемых пользователю, возвращает корректный результат в контексте определенной цели применения?	X = 1 — A/B, где A — число нереализованных или некорректных функций; B — число функций, необходимых для достижения цели применения
Примечания 1 Эту функцию, как правило, будут рассматривать для самых важных или наиболее часто определяемых целей использования. Таким образом, этот показатель качества сначала вычислен для каждой из определенных целей использования, которые могут преследоваться в системе, а затем следующий показатель качества, т.е. FAp-2-G «Функциональная целесообразность системы», может быть вычислен коллективно, через все цели использования, чтобы обеспечить системный показатель. 2 Пользователи настоящего стандарта могли также рассмотреть измерение пропорции пользовательских целей, которые достижимы, чтобы получить лучшее понимание фактического воздействия на намеченное использование пользователя.
FAp-2-G	Функциональная пригодность системы	Какая часть функций, требуемых пользователю для достижения конечной цели, возвращает корректный результат?	X = \sum_{i = 1kn} A_{i}n , где Ai — значение показателя FAp-1-G для данной конечной цели использования; n — число конечных целей использования продукта или системы

8.3 Показатели эффективности работы

Показатели эффективности работы используются для оценки эффективности работы относительно объема ресурсов, используемых в указанных условиях. Ресурсы могут включать другие программные продукты, программную и аппаратную конфигурацию системы, а также материалы (например, печатную бумагу, носители данных).

Примечания

1 Значение показателя эффективности работы зависит от условий использования, таких как нагрузка во время обработки данных, частота использования, количество соединительных узлов и так далее. Поэтому показатели эффективности работы могут включать отношение расчетного или измеренного значения с колебаниями погрешности к расчетному значению с допустимым диапазоном колебаний погрешности, требуемым спецификацией. Рекомендуется перечислить и исследовать роль, которую играют факторы, такие как мощности центрального процессора и объем памяти, используемые другим программным продуктом, сетевым трафиком и запланированными фоновыми процессами. Для сравнения со спецификацией требований могут быть определены возможные колебания и действительные диапазоны для оцененных или измеренных значений.

2 Также рекомендуется определить задачу, подходящую для измерения потенциальных возможностей или уровня производительности; например, транзакция как задача для бизнес-приложения, коммутация или пакет данных, отправленные в качестве задач для коммуникационных приложений, управление событием как задача для приложения управления и вывода данных, функция вызова как задача для приложения обычного пользователя.

8.3.1 Показатели временных характеристик

Показатели временных характеристик, приведенные в таблице 4, используются для оценки того, в какой степени время реакции и время обработки, а также уровни пропускной способности продукта или системы при выполнении ее функций отвечают требованиям.

Таблица 4

Показатели временных характеристик

ID	Имя	Описание	Функция измерения
PTb-1-G	Среднее время отклика	Каково среднее время отклика системы на задание пользователя или системы?	X = \sum_{i = 1kn} (A_{i})n , где Ai — время, затраченное системой на решение определенного задания пользователя или системы; n — число ответов в измерении
PTb-2-G	Корректность времени отклика	Соответствует ли время отклика системы определенной цели?	X = A/B, где A — среднее время отклика, соответствующее PTb-1-G; B — эталонное время отклика
Примечания 1 Приемлемыми считаются наименьшие значения, меньшие или равные 1. 2 Временем отклика является время, прошедшее с момента отправки запроса до получения ответа, а именно до начала отправки ответа системой. 3 Альтернативой этому показателю является N-й процент времени отклика при ожидаемых условиях нагрузки. Его также полезно применять к отдельным функциям или классам функций.
PTb-3-G	Среднее время обработки	Каково среднее время завершения системой задачи или асинхронной задачи?	X = \sum_{i = 1kn} (B_{i} - A_{i})n , где Ai — время запуска задачи; Bi — время завершения задачи
PTb-4-G	Корректность времени обработки	Соответствует ли время обработки определенной цели?	X = A/B, где A — среднее время обработки, соответствующее PTb-3-G; B — эталонное время обработки
Примечания 1 Приемлемыми считаются наименьшие значения, меньшие или равные 1. 2 В случае цепочки систем необходимо оценивать затраченное время в каждом элементе цепочки. Критические участки могут негативно влиять на время обработки всей цепочки в целом. 3 Рекомендуется производить измерения данного показателя с использованием эталонных наборов данных.
PTb-5-G	Средняя пропускная способность	Каково среднее количество задач, решенных системой за единицу времени?	X = \sum_{i = 1kn} (A_{i}B_{i})n , где Ai — число задач, решенных за i-й промежуток времени; Bi — промежуток времени; n — число наблюдений
Примечания 1 Под задачами могут пониматься микропроцессорные операции транзакции, или абстракции более высокого уровня, такие как функции. Результаты измерения данного показателя могут использоваться в различных контекстах и трактоваться соответствующе. 2 Средняя пропускная способность может сравниваться с установленным значением для подсчета достаточности пропускной способности. В таком случае значение показателя должно превышать 1.

8.3.2 Показатели использования ресурсов

Показатели использования ресурсов, приведенные в таблице 5, используются для оценки того, в какой степени объемы и типы ресурсов, используемых продуктом или системой при выполнении своих функций, соответствуют требованиям.

ID	Имя	Описание	Функция измерения
PRu-1-G	Среднее использование ресурса процессора	Сколько процессорного времени затрачивается на решение набора задач в сравнении с суммарным временем выполнения?	X = \sum_{i = 1kn} (A_{i}B_{i})n , где Ai — процессорное время, затраченное на решение набора задач в промежуток I; Bi — время выполнения задач в промежуток I; n — число наблюдений
Примечание — Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим.
PRu-2-G	Среднее использование ресурса памяти	Какой объем памяти используется при решении набора задач в сравнении с суммарным доступным объемом памяти?	X = \sum_{i = 1kn} (A_{i}B_{i})n , где Ai — объем памяти, затраченный на решение набора задач для обработки i-го образца; Bi — объем памяти, доступной для выполнения задач во время обработки i-го образца; n — число обработанных выборок
Примечание — Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим.
PRu-3-G	Среднее использование ресурса устройств ввода-вывода	Сколько времени занимают операции ввода-вывода для решения набора задач в сравнении с суммарным временем работы устройств ввода-вывода?	X = \sum_{i = 1kn} (A_{i}B_{i})n , где Ai — время, затраченное на операции ввода-вывода, необходимые для решения набора задач для i-го наблюдения; Bi — суммарное время работы устройств ввода-вывода i-го наблюдения; n — число наблюдений
Примечания 1 Значение показателя варьируется от 0 до 1. По умолчанию меньшее значение считается наилучшим. 2 Время занятости означает период времени, в течение которого система или устройство фактически работают.
PRu-4-S	Использование пропускной способности сети	Какая часть доступной пропускной способности сети передачи данных используется для решения набора задач?	X = A/B, где A — скорость передачи данных по сети при решении набора задач; B — максимальная скорость передачи данных по сети
Примечания 1 В условленных случаях, когда наилучшим считается использование определенного типа ресурса на определенном уровне, предпочтительным будет значение показателя, близкое к оптимальному уровню. 2 Специалист по оценке качества должен принимать во внимание возможные ограничения при передаче данных по выбранному каналу, которые могут влиять на результаты измерений.

8.3.3 Показатели пропускной способности

Показатели пропускной способности, приведенные в таблице 6, используются для оценки степени соответствия максимальных значений характеристик продукта или системы требованиям.

Примечания

1 Предполагается, что показатели пропускной способности будут измеряться с помощью динамического анализа, например объемных испытаний системы, или могут измеряться с помощью испытаний или моделирования системной интеграции. Максимальное значение и продолжительность могут быть исследованы для многих случаев статического анализа, динамического тестирования или операций.

2 Ожидается, что максимальный предел будет указан в качестве целевого значения, которое теоретически может превышать реально возможное значение.

Таблица 6

Показатели пропускной способности

ID	Имя	Описание	Функция измерения
PCa-1-G	Пропускная способность по транзакциям	Как много транзакций может быть выполнено за единицу времени?	X = A/B, где A — число транзакций, обработанных за время наблюдения; B — продолжительность наблюдения
Примечания 1 Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим. 2 Данный показатель может быть полезным при использовании достаточной нагрузки.
PCa-2-G	Пропускная способность по доступу	Как много пользователей могут получить доступ к системе одновременно за единицу времени?	X = \sum_{i = 1kn} A_{i}n , где Ai — максимальное число пользователей, которые могут одновременно получить доступ к системе за время i-го наблюдения; n — число наблюдений
Примечание — Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим.
PCa-3-S	Пропускная способность по увеличению числа пользователей	Как много пользователей может быть добавлено за единицу времени?	X = A/B, где A — число пользователей, добавленных за время наблюдения; B — продолжительность наблюдения
Примечания 1 Значение показателя варьируется от 0 до максимального предельного значения. Обычно большее значение считается наилучшим. 2 Данный показатель определяет степень, в которой программный продукт или система могут справиться с резко возросшим за короткий промежуток времени количеством пользователей, обращающихся к продукту или системе.

8.4 Показатели совместимости

Показатели совместимости используются для оценки степени, в которой продукт, система или компонент могут обмениваться информацией с другими продуктами, системами или компонентами и/или выполнять требуемые функции при той же аппаратной или программной среде.

8.4.1 Показатели совмещения

Показатели совмещения, приведенные в таблице 7, используются для оценки степени, в которой продукт может эффективно выполнять свои заявленные функции при совместном использовании общей среды и ресурсов с другими продуктами без негативного воздействия на любой другой продукт.

Таблица 7

Показатели совмещения

ID	Имя	Описание	Функция измерения
CCo-1-G	Совмещение с другими продуктами и/или системами	Какая часть определенных программных продуктов может работать в одной среде с рассматриваемым продуктом без ущерба своим качественным характеристикам и функциональности	X = A/B, где A — число определенных программных продуктов, с которыми рассматриваемый продукт может быть совмещен; B — число других программных продуктов в данной среде

8.4.2 Показатели функциональной совместимости

Показатели функциональной совместимости, приведенные в таблице 8, для оценки степени, в которой две или более системы, продукта или компонента могут обмениваться информацией и успешно использовать эту информацию.

Таблица 8

Показатели функциональной совместимости

ID	Имя	Описание	Функция измерения
CIn-1-G	Совместимость форматов данных	Какая часть описанных форматов данных совместима с другими программными продуктами или системами?	X = A/B, где A — число форматов данных, совместимых с другими продуктами и/или системами; B — число рассматриваемых форматов данных
CIn-2-G	Поддержка протоколов обмена данными	Какая часть необходимых протоколов обмена данными поддерживается?	X = A/B, где A — число поддерживаемых протоколов обмена данными; B — число протоколов обмена данными, поддержка которых необходима
CIn-3-S	Поддержка внешних интерфейсов	Какая часть определенных внешних интерфейсов функционирует?	X = A/B, где A — число функционирующих внешних интерфейсов; B — число внешних интерфейсов, необходимых к реализации

8.5 Показатели удобства использования

Показатели удобства использования применяются для оценки степени, в которой продукт или система могут результативно и эффективно использоваться указанным кругом пользователей для удовлетворения и достижения конкретных целей в определенном контексте использования.

Примечания

1 Внутренние показатели удобства использования применяются для прогнозирования степени, в которой рассматриваемый программный продукт может быть изучен, воспринят и использоваться по назначению, а также позволит обеспечить положительное и удовлетворительное взаимодействие для пользователя.

2 Многие внешние показатели удобства использования тестируются пользователями, пытающимися использовать функцию. На результаты будут влиять возможности пользователей и характеристики хост-системы. Данное условие не делает измерения недействительными, поскольку оценку программных продуктов следует выполнять определенной группе пользователей в определенных условиях. (Для продуктов общего назначения могут использоваться представители ряда групп пользователей.) Для получения достоверных результатов необходима выборка многочисленной группы зафиксированных пользователей, хотя полезную информацию можно получить и от небольших групп. Пользователи выполняют тест без каких-либо подсказок или внешней помощи.

3 Внутренние и внешние показатели удобства использования позволяют проводить сопоставления между указанными соглашениями по проектированию, конкретными руководящими принципами или спецификациями в отношении удобства использования и фактически разработанными документированными проектами, прототипами или исполняемыми системами/программами. Поэтому очень важно выявить требования конечного пользователя и создать хорошо определенную спецификацию для удобства использования, принимая во внимание особенности и показатели качества при использовании, а также учитывая позицию пользователя по концепции дизайна проекта. Например, для определения, какие типы сообщений просты для понимания обычных пользователей, необходимы конкретные рекомендации по использованию, шаблоны или контрольный список.

4 В настоящем стандарте целевые объекты показателей удобства использования ограничены исключительно любой системой или программным продуктом. Показатели по удобству использования, касающиеся результативности, эффективности и удовлетворенности, в конкретном контексте содержатся в ИСО/МЭК 25022.

5 Показатели удобства использования неизбежно приведут к некоторым субъективным результатам. В случае трудностей в измерении со шкалой отношений порядковая шкала может использоваться в качестве альтернативы в зависимости от ситуации, например 1.0 для отличного результата, 0.8 для хорошего, 0.6 для удовлетворительного, 0.4 для неудовлетворительного, 0.2 для плохого.

8.5.1 Показатели полноты описания

Пользователи полноты описания, приведенные в таблице 9, должны иметь возможность выбрать систему/программный продукт, подходящие для их целевого использования. Для оценки степени, в которой пользователи могут распознать, соответствует ли продукт или система их потребностям, используются показатели качества для определения приемлемости.

Примечание — Показатели полноты описания могут использоваться для оценки того, могут ли новые пользователи понимать:

- подходит ли программный продукт или система для их целей или нет;

- как его можно использовать для конкретных задач.

Таблица 9

Показатели полноты описания

ID	Имя	Описание	Функция измерения
UAp-1-G	Полнота описания	Какая часть сценариев использования описана в описании продукта или пользовательской документации?	X = A/B, где A — число описанных сценариев использования; B — суммарное число сценариев использования, реализованных в продукте или системе
UAp-2-S	Демонстрационное покрытие	Какая часть сценариев использования имеет наглядные демонстрации для того, чтобы пользователь мог определить их пригодность?	X = A/B, где A — число сценариев использования, снабженных демонстрационным материалом; B — число сценариев использования, которым демонстрация необходима
UAp-3-S	Достаточность самоописания титульной страницы	Какая часть общедоступных страниц веб-сайта объясняет предназначение веб-сайта?	X = A/B, где A — число страниц веб-сайта, объясняющих его предназначение; B — суммарное число страниц веб-сайта

8.5.2 Показатели обучаемости

Показатели обучаемости, приведенные в таблице 10, используются для оценки степени, в которой конкретный круг пользователей может обучиться эффективному, результативному и безопасному использованию продукта или системы для удовлетворения собственных нужд и достижения целей в определенном контексте использования.

Таблица 10

Показатели обучаемости

ID	Имя	Описание	Функция измерения
ULe-1-G	Полнота руководства пользователя	Какая часть реализованных функций описана в пользовательской документации (или иных средствах справки) в степени достаточной, чтобы пользователь мог воспользоваться этими функциями?	X = A/B, где A — число функций, описанных в пользовательской документации в достаточной мере; B — число реализованных функций, к которым необходимо описание
Примечания 1 Обучаемость строго связана с полнотой описания, и измерения полноты описания могут быть индикаторами потенциала обучаемости пользователей программного обеспечения. 2 Средства справки включают в себя, например, средства онлайн-справки, справочные видео, инструкцию по применению и т.д. 3 С учетом эргономики и опыта использования может быть сформулирован более сложный показатель, например степень соответствия концептуальной модели системы ментальной модели пользователя.
ULe-2-S	Приведение значений по умолчанию	Какая часть полей ввода данных, в которые могут быть введены значения по умолчанию, автоматически заполняются этими значениями?	X = A/B, где A — число полей ввода данных, значения в которых заполняются автоматически; B — число полей ввода данных, которые могут принимать значения по умолчанию
Примечание — Значения по умолчанию в полях ввода данных помогают новым пользователям изучить продукт и/или систему глубже и быстрее.
ULe-3-S	Понятность сообщений об ошибках	Какая часть сообщений об ошибках предоставляет информацию о причинах возникновения ошибки и методах ее устранения?	X = A/B, где A — число сообщений об ошибках, предоставляющих подробную информацию об ошибке; B — число реализованных сообщений об ошибках
ULe-4-S	Самоописательность пользовательского интерфейса	Какая часть элементов интерфейса, с которыми взаимодействует пользователь в ходе выполнения операций, позволяет выполнить данные операции без дополнительного обучения и подготовки?	X = A/B, где A — число элементов интерфейса, представленных в виде, понятном и удобном пользователю; B — число элементов интерфейса, задействованных при выполнении данной операции
Примечание — Этот показатель актуален для публичных систем и веб-сайтов.

8.5.3 Показатели эксплуатационной пригодности

Показатели эксплуатационной пригодности, приведенные в таблице 11, используют для оценки степени, в которой у продукта или системы определяют атрибуты, облегчающие их эксплуатацию и контроль.

Примечания

1 Показатели эксплуатационной пригодности, как ожидается, будут измеряться путем проведения эксплуатационных испытаний в реальных условиях представителями операторов или конечных пользователей или могут быть измерены посредством статического анализа, такого как анализ требований, спецификации проекта или руководств пользователя.

2 Внутренний или внешний показатель качества эксплуатационной пригодности используют для оценки того, могут ли пользователи управлять программным продуктом. Показатели эксплуатационной пригодности могут быть классифицированы следующими принципами в ИСО 9241-110:

• пригодность программного продукта для выполнения задачи;
• информативность программных продуктов;
• управляемость программных продуктов;

ID	Имя	Описание	Функция измерения
UOp-1-G	Эксплуатационная согласованность	В какой степени поведение системы постоянно в ходе выполнения группы схожих операций?	X = 1 — A/B, где A — число операций, которые могут быть настроены для удовлетворения нужд пользователя; B — число операций, настройка которых может потребоваться для удовлетворения нужд пользователей
UOp-2-G	Корректность сообщений	Какая часть сообщений, получаемых от системы, имеет корректный результат или приводит корректные инструкции пользователю?	X = A/B, где A — число сообщений, имеющих корректный результат или приводящих корректные инструкции пользователю; B — число реализованных сообщений
Примечание — Сообщения, предоставляющие всю доступную информацию пользователю, могут объяснить причины возникновения ошибок и помочь в их устранении.
UOp-3-S	Функциональная настраиваемость	Какую часть функций и процедур пользователь может настроить для своего удобства?	X = A/B, где A — число настраиваемых функций; B — число функций, настройка которых может быть полезна в эксплуатации
UOp-4-S	Настраиваемость пользовательского интерфейса	Какая часть элементов интерфейса пользователя может быть настроена?	X = A/B, где A — число настраиваемых элементов пользовательского интерфейса; B — число элементов интерфейса, настройка которых может быть полезна в эксплуатации
UOp-5-S	Возможность мониторинга	Какая часть состояний функций может быть отслежена во время эксплуатации?	X = A/B, где A — число отслеживаемых функций; B — число функций, отслеживание состояний которых может быть полезно в эксплуатации
Примечания 1 Мониторинг и управление состоянием некоторых функций являются необходимыми при эксплуатации, например, распределенных систем, встроенных систем и т.д. 2 Для более высокого качества измерения необходимо выявить те функции, мониторинг которых будет полезен с точки зрения сценариев использования пользователем.
UOp-6-S	Возможность отмены действий	Какая часть сценариев использования предусматривает изменение конфигурации и возможность отмены действий?	X = A/B, где A — число сценариев использования, предусматривающих возможность изменения конфигурации и отмены операций; B — число сценариев использования, в которых возможность изменения конфигурации может быть полезна в эксплуатации
UOp-7-S	Понятность категоризации информации	В какой степени организация информации, используемая в программном продукте или системе, понятна пользователям и удобна для решения ими своих задач?	X = A/B, где A — число структур данных, понятных пользователям; B — число структур данных, используемых в продукте или системе
Пример — Веб-сайт универсального магазина, предоставляющий возможность покупки товаров онлайн, организует представление товаров на странице по тем же принципам, что и раскладка товаров в реальном магазине.
UOp-8-S	Постоянство представления	Какие части пользовательских интерфейсов, использующих общие элементы, имеют схожее представление?	X = 1 — A/B, где A — число пользовательских интерфейсов, использующих общие элементы, но имеющих разное представление; B — число пользовательских интерфейсов, использующих общие элементы
Примечание — Например, кнопки «ОК» и «Отмена» имеют постоянное относительное расположение в различных интерфейсах.
UOp-9-S	Поддержка устройств ввода	В какой степени сценарии использования могут быть инициализированы всеми доступными устройствами ввода (такими, как мышь, клавиатура или голос)?	X = A/B, где A — число сценариев использования, которые могут быть инициализированы всеми необходимыми устройствами ввода; B — число сценариев использования
Пример — В форме поиска кнопка поиска может быть активирована с помощью мыши или нажатием кнопки «Enter» на клавиатуре.

8.5.4 Показатели защиты от пользовательских ошибок

Показатели защиты от пользовательских ошибок, приведенные в таблице 12, используются для оценки степени защиты системы от ошибок.

Примечание — Показатели защиты от пользовательских ошибок должны быть измерены представителями оператора или конечными пользователями с помощью эксплуатационных испытаний или могут быть измерены с помощью статического анализа, таких как анализ требований, разработка технического задания и руководства пользователя.

ID	Имя	Описание	Функция измерения
UEp-1-G	Защита от ошибок пользователя	Насколько программный продукт или система защищены от ошибок, вызванных действиями пользователя или вводимыми значениями?	X = A/B, где A — число пользовательских действий и полей ввода, обрабатываемых с целью защиты от возникновения ошибок; B — число пользовательских действий и полей ввода, которые могут вызвать возникновение ошибок
Примечания 1 В число мер по защите от ошибок пользователя входит запрос подтверждения при выполнении необратимых действий, которые могут иметь значительные последствия. 2 Для более точного измерения следует определить те действия, в которых пользователи часто делают ошибки на протяжении тестирования продукта или системы. Пример — При удалении файлов через продукт или систему пользователь должен подтвердить каждое удаление.
UEp-2-S	Коррекция ошибок при вводе информации	Какая часть ошибок при вводе информации обрабатывается с выдачей подсказки с предложением корректного варианта вводимой информации?	X = A/B, где A — число ошибок ввода, по которым продукт или система предлагает корректный вариант вводимой информации; B — число обрабатываемых ошибок ввода
UEp-3-S	Обработка ошибок пользователя	Какая часть ошибок пользователя может быть обработана и исправлена продуктом или системой?	X = A/B, где A — число пользовательских ошибок, обработка которых предусмотрена системой; B — число пользовательских ошибок, которые могут возникнуть в ходе эксплуатации продукта или системы

8.5.5 Показатели эстетичности пользовательского интерфейса

Показатели эстетичности пользовательского интерфейса, приведенные в таблице 13, используются для того, чтобы оценить степень, в которой пользовательский интерфейс обеспечивает приятное и удобное взаимодействие пользователя с продуктом или системой.

ID	Имя	Описание	Функция измерения
UIn-1-S	Эстетичность представления пользовательского интерфейса	В какой степени пользовательский интерфейс и общая стилистика эстетически приятны для восприятия?	X = A/B, где A — число отображаемых интерфейсов, эстетически приятных для восприятия пользователями; B — число отображаемых интерфейсов
Примечания 1 Показатель эстетичности пользовательского интерфейса используется для оценки представления пользовательского интерфейса и будет зависеть от таких факторов, как дизайн интерфейсов и используемая цветовая схема. Этот показатель особенно важен для продуктов потребительского использования. 2 Хорошее сочетание цветов помогает пользователям быстрее воспринимать текстовую и графическую информацию. Для лучшего определения эстетичности интерфейсов следует также определить плохие сочетания цветов, такие как светло-голубой на сером, красный на оранжевом, зеленый на синем и т.д. 3 Показатель качества опирается на индивидуальных пользователей. Следовательно, для измерения данного показателя предполагается участие опытных разработчиков интерфейсов или специалистов по тестированию, выступающих от лица пользователей, или выборки пользователей из числа целевой аудитории.

8.5.6 Показатели доступности

Показатели доступности, приведенные в таблице 14, используются для оценки степени, в которой продукт или система могут использоваться людьми с самым широким диапазоном особенностей и возможностей достигнуть указанной цели в указанном контексте использования.

Примечание — Дополнительные критерии доступности приведены в ИСО 9241-171.

Таблица 14

Показатели доступности

ID	Имя	Описание	Функция измерения
UAc-1-G	Доступность для пользователей с ограниченными возможностями	В какой степени потенциальные пользователи с ограниченными способностями смогут успешно пользоваться продуктом или системой?	X = A/B, где A — число функций, адаптированных для пользователей с ограниченными возможностями; B — число реализованных функций
Примечания 1 Конкретные нарушения включают когнитивные нарушения, физические нарушения, нарушения слуха и голоса, а также нарушения зрения. 2 Сюда также могут относиться нарушения, связанные с возрастом пользователя. 3 Любой пользователь может быть отнесен к пользователям с когнитивными и физическими нарушениями, нарушениями слуха и зрения, пользуясь системой в определенных ситуациях или средах, например в темноте, при низком атмосферном давлении на высокой высоте, под водой и т.д.
UAc-2-S	Достаточная языковая поддержка	Какая часть необходимых языков поддерживается интерфейсом продукта или системы?	X = A/B, где A — число поддерживаемых языков; B — число языков, поддержка которых необходима
Примечание — Когда пользователь пытается использовать продукт или систему, язык интерфейса которых отличается от его родного, он может столкнуться с ошибками, вызванными языковым барьером, и не достичь конечных целей использования продукта или системы. Такой сценарий оказывает негативное влияние на общую доступность продукта или системы, причиной чему является непонимание пользователем описаний и сообщений, поступающих от продукта или системы. Следовательно, необходимо определить, какие языки должны поддерживаться интерфейсом для всех возможных пользователей.

8.6 Показатели надежности

Показатели надежности используются для оценки степени, в которой система, продукт или компонент выполняют определенные функции при заданных условиях в течение заданного периода времени. Внутренние показатели надежности используются для прогнозирования того, удовлетворит ли данная система/программный продукт определенным потребностям в надежности при разработке системы/программного продукта.

Внешние показатели качества надежности используются для оценки атрибутов, связанных с поведением системы, частью которой является программный продукт во время выполнения тестирования, для указания степени надежности программного продукта в той системе во время функционирования. Программный продукт или систему не отличают друг от друга в большинстве случаев.

8.6.1 Показатели стабильности

Показатели стабильности, приведенные в таблице 15, используют для оценки степени, в которой система, продукт или компонент удовлетворяют потребностям по надежности при нормальном функционировании.

Примечание — Понятие стабильности может также быть применено к другим показателям качества для указания степени, в которой при нормальном функционировании они удовлетворяют необходимые потребности (см. ИСО/МЭК 25010).

Таблица 15

Показатели стабильности

ID	Имя	Описание	Функция измерения
RMa-1-G	Коррекция ошибок	Какая часть обнаруженных критических для стабильности ошибок была устранена?	X = A/B, где A — число критических ошибок, устраненных на стадии разработки, написания кода или тестирования; B — число критических ошибок, обнаруженных на стадии разработки, написания кода или тестирования
Примечание — Например, неправильная обработка исключений является критической для стабильной работы ошибкой.
RMa-2-G	Наработка на отказ	Какова наработка на отказ при эксплуатации программного продукта или системы?	X = A/B, где A — время эксплуатации; B — число отказов, случившихся за время эксплуатации
Примечания 1 Значение показателя варьируется от 0 до бесконечности. Обычно большее значение считается наилучшим. 2 Само значение наработки на отказ может использоваться для сравнения надежности различных программных продуктов и систем.
RMa-3-G	Частота отказов	Каково среднее число отказов за определенный промежуток времени?	X = A/B, где A — число отказов, обнаруженных за время наблюдения; B — продолжительность наблюдения
Примечания 1 Промежуток времени, определяемый для данного измерения, может отличаться на стадии тестирования и на стадии эксплуатации. 2 Значение данного показателя может использоваться для создания модели прогнозирования надежности. 3 Полезность данного показателя определяется выбором тестовых случаев и интенсивностью использования продукта или системы во время тестирования.
RMa-4-S	Покрытие тестами	Для какого процента реализованных функций, сценариев использования и возможностей программного продукта или системы разработаны тесты?	X = A/B, где A — число реализованных функций, сценариев использования и возможностей программного продукта или системы; B — число функций, сценариев использования и возможностей программного продукта или системы, для которых разработаны тесты

8.6.2 Показатели готовности к работе

ID	Имя	Описание	Функция измерения
RAv-1-G	Доступность системы	На протяжении какой части из запланированного времени работы программный продукт или система доступны?	X = A/B, где A — действительное время работы продукта или системы; B — запланированное время работы
RAv-2-G	Среднее время недоступности	Как долго продукт или система остаются недоступными в случае возникновения отказа?	X = A/B, где A — суммарное время недоступности продукта или системы; B — число возникших отказов
Примечания 1 Значение показателя варьируется от 0 до бесконечности. Обычно наименьший показатель считается наилучшим. 2 Дополнительно готовность к работе может быть оценена через отношение суммарного промежутка времени, когда продукт, система или программный компонент были доступны. Готовность к работе в целом является комбинацией стабильности (которая определяет частоту сбоев), отказоустойчивости и восстанавливаемости (которая определяет продолжительность времени недоступности после каждого из сбоев).

8.6.3 Показатели отказоустойчивости

Показатели отказоустойчивости, приведенные в таблице 17, используются для оценки того, в какой степени система, продукт или компонент работают по назначению, несмотря на наличие аппаратных или программных неисправностей.

Примечание — Внутренняя или внешняя мера отказоустойчивости может быть связана с возможностями системы/программных продуктов поддерживать заявленный уровень функционирования в случаях дефектов функционирования или нарушения определенного интерфейса.

ID	Имя	Описание	Функция измерения
RFt-1-G	Предотвращение сбоев	Какая часть сценариев, потенциально приводящих к отказам, обрабатывается с целью не допустить серьезных или критических отказов?	X = A/B, где A — число предотвращаемых отказов; B — число тестовых случаев, приводящих к отказу
RFt-2-S	Избыточность компонентов	Какая часть системных компонентов имеет избыточность во избежание отказа системы?	X = A/B, где A — число избыточных компонентов; B — общее число компонентов системы
Примечание — Например, в некоторых системах часть компонентов может быть продублирована для повышения надежности системы.
RFt-3-S	Среднее время уведомления об отказе	Как быстро система сообщает о возникновении отказа?	X = \sum_{i = 1kn} (A_{i} - B_{i})n , где Ai — момент времени, в который система оповестила о возникновении отказа; Bi — момент обнаружения отказа; n — число обнаруженных отказов
Примечание — Значение показателя может варьироваться от 0 до бесконечности. Обычно значения, наиболее близкие к 0, считаются наилучшими.

8.6.4 Показатели восстанавливаемости

Показатели восстанавливаемости, приведенные в таблице 18, используются для оценки степени, в которой в случае прерывания или сбоя продукт или система могут восстановить непосредственно затронутые данные и достигнуть требуемого состояния системы.

Таблица 18

Показатели восстанавливаемости

ID	Имя	Описание	Функция измерения
RRe-1-G	Среднее время восстановления	Какое время требуется программному продукту или системе для восстановления после отказа?	X = \sum_{i = 1kn} A_{i}n , где Ai — суммарное время на восстановление продукта или системы; n — число отказов
Примечания 1 Значение показателя варьируется от 0 до бесконечности. Обычно наименьшее значение считается наилучшим. 2 Когда этот показатель качества сравнивается с целевым порогом среднего времени восстановления, определенным в согласованных требованиях заказчиком и поставщиком, этот показатель может быть использован для проверки соответствия.
RRe-2-S	Полнота резервной копии данных	Для какой части данных регулярно создаются резервные копии?	X = A/B, где A — число структур данных, резервные копии которых создаются регулярно; B — число структур данных, резервное копирование которых необходимо

8.7 Показатели безопасности

Показатели безопасности используются для оценки степени защиты информации и данных продуктом или системой, с тем чтобы лица или другие продукты или системы имели степень доступа к данным, соответствующую их типам и уровням авторизации.

Примечания

1 Тесты на проникновение могут быть выполнены для имитации атаки, поскольку атаки такого рода обычно не происходят при тестировании.

2 Требования к обеспечению безопасности значительно различаются в зависимости от подключения системы к интернету или автономной работы системы. Определение требуемых функций обеспечения безопасности и обеспечение их эффективности подробно рассматриваются в соответствующих международных стандартах. Пользователь настоящего стандарта должен определить, какие функции безопасности необходимо использовать в каждом конкретном случае в зависимости от уровня риска.

8.7.1 Показатели конфиденциальности

ID	Имя	Описание	Функция измерения
SCo-1-G	Контроль доступа	Какая часть конфиденциальных элементов данных защищена от несанкционированного доступа?	X = 1 — A/B, где A — число конфиденциальных элементов данных, доступ к которым разрешен без авторизации; B — число конфиденциальных элементов данных, доступ к которым ограничен
SCo-2-G	Корректность шифрования данных	Насколько корректно реализовано шифрование и дешифрование элементов данных относительно требований к продукту или системе?	X = A/B, где A — число элементов данных, шифруемых и дешифруемых корректно; B — число элементов данных, шифрование и дешифрование которых требуется
SCo-3-S	Сложность криптографических алгоритмов	Какая часть используемых криптографических алгоритмов достаточно сложна?	X = 1 — A/B, где A — число ненадежных криптографических алгоритмов; B — число используемых криптографических алгоритмов
Примечания 1 Крайне важно выбирать сложные криптографические алгоритмы, признанные экспертами в криптографии. 2 Другим способом определения сложности криптографических алгоритмов является, например, тест на проникновение и этичный взлом.

8.7.2 Показатели целостности

ID	Имя	Описание	Функция измерения
SIn-1-G	Целостность данных	В какой степени предотвращается компрометация или несанкционированное изменение данных?	X = 1 — A/B, где A — число элементов данных, скомпрометированных при несанкционированном доступе; B — число элементов данных, компрометация которых должна быть предотвращена
SIn-2-G	Защита от повреждения данных	В какой степени предусмотрена защита данных от повреждения?	X = A/B, где A — число реализованных методов защиты данных от повреждения; B — число доступных для реализации методов
Примечание — Примерами методов защиты данных от повреждения могут служить периодическое резервное копирование, сравнение данных с эталонной моделью, хранение данных в нескольких дублирующих массивах.
SIn-3-S	Защита от переполнения буфера	Какая часть операций доступа к памяти реализует контроль переполнения?	X = A/B, где A — число операций доступа к памяти с контролем переполнения; B — общее число операций доступа к памяти
Примечание — Переполнение буфера возникает, когда данные, записываемые в буфер, повреждают данные, находящиеся в смежных ячейках памяти. Это может произойти, в частности, при копировании данных из одного буфера в другой.

8.7.3 Показатели неопровержимости

Показатели неопровержимости, приведенные в таблице 21, используются для оценки степени, в которой возможно установить и подтвердить факт совершения определенного действия в продукте или системе.

Таблица 21

Показатели неопровержимости

ID	Имя	Описание	Функция измерения
SNo-1-G	Использование цифровой подписи	Какая часть событий, требующих точного и однозначного подтверждения, выполняется с использованием цифровой подписи?	X = A/B, где A — число событий, однозначно подтверждаемых с использованием цифровой подписи; B — число событий, которые должны быть однозначно подтверждены с использованием цифровой подписи
Примечание — Сертификаты и алгоритмы безопасности также полезны для улучшения неопровержимости.

8.7.4 Показатели отчетности

Показатели отчетности

ID	Имя	Описание	Функция измерения
SAc-1-G	Полнота журнала действий пользователей	Насколько полную информацию содержит журнал, фиксирующий доступ пользователей к системе или данным?	X = A/B, где A — число получений доступа, зафиксированных во всех используемых журналах; B — число получений доступа, осуществленных во время тестирования
SAc-2-S	Хранение системного журнала	Какую часть требуемого периода хранения системный журнал хранится в стабильных хранилищах?	X = A/B, где A — действительная продолжительность хранения системного журнала в стабильных хранилищах; B — требуемый период хранения системного журнала в стабильных хранилищах
Примечания 1 Стабильным считается хранилище, которое гарантирует атомарность каждой операции записи и возможность записи независимо от отказов оборудования или питания. Чаще всего функционал стабильного хранилища достигается посредством зеркалирования данных на отдельные диски с помощью технологии RAID. 2 Значение показателя варьируется от 0 до бесконечности. Обычно значение больше 1 считается наилучшим.

8.7.5 Показатели аутентификации

Показатели аутентификации, приведенные в таблице 23, используются для оценки степени, в которой заявленные данные о предмете или ресурсе достоверны.

Таблица 23

Показатели аутентификации

ID	Имя	Описание	Функция измерения
SAu-1-G	Корректность механизма аутентификации	Насколько точно система определяет субъект?	X = A/B, где A — число реализуемых механизмов аутентификации; B — число определенных механизмов аутентификации
Примечание — Для обеспечения безопасности важна сложность модели аутентификации и возможность реализовывать многоуровневую многофакторную аутентификацию и обнаружение угроз.
SAu-2-S	Соответствие правил аутентификации	Какая часть требуемых правил аутентификации реализована?	X = A/B, где A — число реализованных правил аутентификации; B — число правил аутентификации, реализация которых требуется

8.8 Показатели пригодности для обслуживания

Показатели пригодности для обслуживания используются для оценки степени результативности и эффективности, с которой продукт или система могут быть изменены специалистами по обслуживанию.

8.8.1 Показатели модульности

Показатели модульности, приведенные в таблице 24, используются для оценки степени, в которой система или компьютерная программа разделены на дискретные компоненты таким образом, что изменение в одном компоненте оказывает минимальное влияние на другие компоненты.

ID	Имя	Описание	Функция измерения
MMo-1-G	Разделение компонентов	Насколько независимы компоненты программного продукта или системы и как много компонентов не зависят от изменений других составляющих?	X = A/B, где A — число компонентов, реализация которых не влияет на другие компоненты; B — число компонентов, которые требуется реализовать независимыми
Примечание — Данный показатель полезен для определения степени взаимного влияния компонентов программного продукта или системы, например как часто возникает необходимость вносить изменения в компонент, вызванная изменениями в других компонентах.
MMo-2-S	Уровень сложности организации циклов	Как много программных модулей имеют приемлемый уровень сложности организации циклов?	X = 1 — A/B, где A — число модулей, сложность организации циклов внутри которых соответствует определенному пороговому значению; B — число реализованных модулей
Примечание — Данный показатель полезен для определения, приемлема ли сложность организации циклов в каждом конкретном программном модуле продукта или системы. Приемлемый уровень определяется внутри проекта или организации и может отличаться в зависимости от языка программирования, типа модуля или функции.

8.8.2 Показатели повторного использования

ID	Имя	Описание	Функция измерения
MRe-1-G	Повторное использование ресурсов	Какая часть ресурсов может быть использована повторно?	X = A/B, где A — число ресурсов, разработанных и реализованных для повторного использования; B — общее число ресурсов
Примечание — Под ресурсами могут подразумеваться спецификации и требования, модули исходного кода, модули тестирования, определенное оборудование и т.д.
MRe-2-S	Соответствие правилам написания кода	Какая часть программных модулей соответствует установленным правилам написания кода?	X = A/B, где A — число программных модулей, исходный код которых соответствует правилам написания кода, установленным для определенного продукта или системы; B — общее число реализованных программных модулей
Примечания 1 Правила кодирования для конкретной системы могут включать правила, способствующие, например, модульности, отслеживаемости и лаконичности. 2 Этот показатель качества может также применяться к различным характеристикам и подхарактеристикам, таким как анализируемость.

8.8.3 Показатели подверженности анализу

Показатели подверженности анализу, приведенные в таблице 26, используются для оценки степени эффективности и точности, с которой можно оценить воздействие на продукт (или систему) предполагаемого изменения одной или нескольких его частей, или диагностировать продукт на наличие недостатков или причин отказа, или определить части, подлежащие изменению.

Таблица 26

Показатели подверженности анализу

ID	Имя	Описание	Функция измерения
MAn-1-G	Полнота системных журналов	В какой степени система фиксирует внутренние события в системных журналах?	X = A/B, где A — число событий, фиксируемых в системных журналах; B — число событий, которые должны быть проанализированы при аудите работы системы
MAn-2-S	Эффективность функций диагностики	Какая часть функций диагностики отвечает требованиям повседневного анализа?	X = A/B, где A — число функций диагностики, полезных при повседневном использовании; B — число реализованных функций диагностики
MAn-3-S	Достаточность функций диагностики	Какая часть требуемых функций диагностики была реализована?	X = A/B, где A — число реализованных функций диагностики; B — требуемое число функций диагностики
Примечание — Показатели подверженности анализу призваны оценить потенциальные усилия пользователя и используемые ресурсы для оценки причин сбоев в работе программного продукта или системы.

8.8.4 Показатели модифицируемости

Показатели модифицируемости, приведенные в таблице 27, используются для оценки степени, в которой продукт или система могут быть эффективно и действенно модифицированы без внесения дефектов или ухудшения существующего качества продукта.

Примечание — Показатели модифицируемости используются для оценки таких атрибутов, как усилие специалиста по обслуживанию или пользователя, путем измерения взаимодействия специалиста по обслуживанию, пользователя или системы, включая программные продукты, при выполнении определенного изменения.

Таблица 27

Показатели модифицируемости

ID	Имя	Описание	Функция измерения
MMd-1-G	Эффективность модификаций	Насколько эффективно выполняются модификации в сравнении с ожидаемым временем?	X = \sum_{i = 1kn} (A_{i}B_{i})n , где Ai — суммарно затраченное время на выполнение определенного вида модификации; Bi — ожидаемое время на выполнение определенного вида модификации; n — число модификаций, выполненных в ходе измерения
Примечания 1 Значение показателя, большее 1, означает неэффективность модификации программного продукта или системы. 2 Ожидаемое время для внесения определенного типа изменений может быть основано на исторических данных или средних показателях отрасли.
MMd-2-G	Корректность модификаций	Какая часть модификаций была реализована корректно?	X = 1 — (A/B), где A — число модификаций, вызвавших сбой или отказ за определенное время после внедрения; B — число реализованных модификаций
MMd-2-S	Модифицируемость	В какой степени требуемые модификации реализуются за определенное время?	X = A/B, где A — число модификаций, вызвавших сбой или отказ за определенное время после внедрения; B — число реализованных модификаций

8.8.5 Показатели тестируемости

Показатели тестируемости, приведенные в таблице 28, используются для оценки степени результативности и эффективности, с которой тестовые критерии могут быть установлены для системы, продукта или компонента, и могут быть проведены тесты для определения того, были ли эти критерии выполнены.

Примечания

1 Внутренние показатели тестируемости указывают на набор атрибутов для прогнозирования количества разработанных и реализованных автономных функций тестового пособия, присутствующих в системе/программном продукте.

2 Внешние показатели тестируемости используются для оценки таких характеристик, как усилие специалиста по обслуживанию или пользователя, путем измерения поведения специалиста по обслуживанию, пользователя или системы, включая программные продукты, при попытке протестировать измененные или неизмененные программные продукты.

ID	Имя	Описание	Функция измерения
MTe-1-G	Полнота функций тестирования	Насколько полно реализованы функции и средства тестирования?	X = A/B, где A — число функций и средств тестирования, реализованных согласно требованиям; B — требуемое число функций и средств тестирования
MTe-2-S	Автономность тестирования	Насколько независимо может быть проведен процесс тестирования программного продукта или системы?	X = A/B, где A — число тестов, которые могут быть проведены без подключения дополнительных систем; B — число тестов, которые требуют подключения дополнительных систем
Примечание — «STUB» — это специальная реализация программного модуля, используемого для разработки или тестирования программного продукта.
MTe-3-S	Возможность возобновления тестов	Возможно ли возобновление тестирования после перезапуска продукта или системы?	X = A/B, где A — число тестов, выполнение которых может быть приостановлено и возобновлено в любой желаемый момент времени; B — число тестов, выполнение которых может быть приостановлено

8.9 Показатели переносимости

8.9.1 Показатели адаптивности

Показатели адаптивности

ID	Имя	Описание	Функция измерения
PAd-1-G	Адаптивность к аппаратным средам	В какой степени программный продукт или система адаптируется к различным аппаратным средам?	X = 1 — A/B, где A — число функций, не выполненных или выполненных с ошибками во время тестирования в различных аппаратных средах; B — число функций, протестированных в различных аппаратных средах
PAd-2-G	Адаптивность к программным средам	В какой степени программный продукт или система адаптируется к различным программным средам?	X = 1 — A/B, где A — число функций, не выполненных или выполненных с ошибками во время тестирования в различных программных средах; B — число функций, протестированных в различных программных средах
Примечания 1 Пользователь может испытывать необходимость применять программный продукт или систему в различных программных и аппаратных средах. В таком случае необходимо оценить затраты пользователя на адаптацию продукта или системы к новой среде. 2 Программная среда может включать операционные системы, системы управления базами данных, компиляторы, системы управления сетями и т.д.
Pad-3-S	Адаптивность к операционным средам	В какой степени программный продукт или система адаптируется к различным операционным средам?	X = 1 — A/B, где A — число функций, не выполненных или выполненных с ошибками во время тестирования в различных операционных средах; B — число функций, протестированных в различных операционных средах

8.9.2 Показатели установки

ID	Имя	Описание	Функция измерения
PIn-1-G	Время установки	Насколько отличается реальное время установки программного продукта или системы от расчетного?	X = \sum_{i = 1kn} (A_{i}B_{i})n , где Ai — суммарное затраченное время на установку продукта или системы; Bi — ожидаемое время на установку; n — число установок, проведенных в ходе измерения
Примечания 1 Значение показателя, большее 1, означает эффективное время установки программного продукта или системы. 2 Ожидаемое время для установки может быть основано на исторических данных или средних показателях по отрасли.
PIn-2-G	Простота установки	Могут ли пользователи управлять процессом установки ради собственных нужд?	X = A/B, где A — число случаев, в которых пользователь смог настроить процесс установки; B — число случаев, в которых пользователь предпринимал попытки настроить процесс установки
Примечание — Такие изменения процедуры установки могут быть распознаны как настройка установки пользователем.

8.9.3 Показатели заменяемости

ID	Имя	Описание	Функция измерения
PRe-1-G	Подобие использования	Какая часть пользовательских операций, предоставляемых заменяемым продуктом, может быть выполнена без дополнительного переобучения?	X = A/B, где A — число операций, которые могут быть выполнены без переобучения; B — число операций, предоставляемых замененным продуктом
Примечание — Пользовательскими функциями являются такие, которые пользователь может вызывать и использовать для выполнения своих предполагаемых задач, включая пользовательские интерфейсы.
PRe-2-S	Эквивалентность качества продукта	Какая часть показателей качества будет иметь сопоставимое значение при замене продукта или системы?	X = A/B, где A — число показателей качества, имеющих значение равное или большее после замены продукта или системы; B — число показателей качества, актуальных для продукта или системы
Примечание — Критически важными показателями при замене одного продукта на другой являются показатели функциональной совместимости, производительности и безопасности.
PRe-3-S	Функциональная инклюзивность	Имеют ли пользовательские операции схожее поведение при замене одного продукта на другой?	X = A/B, где A — число операций, имеющих схожее поведение в замененном продукте и заменившем; B — число используемых пользовательских операций
PRe-4-S	Возможность повторного использования данных и импорта	Возможно ли повторное использование одинакового набора данных после замены одного продукта на другой?	X = A/B, где A — число элементов данных, которые могут быть повторно использованы в новом продукте; B — число элементов данных

Приложение A (справочное)

СООБРАЖЕНИЯ ДЛЯ ИСПОЛЬЗОВАНИЯ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

В данном приложении рассматривается ряд соображений, касающихся выбора и применения показателей качества. Каждый показатель качества, определенный в разделе 8, может использоваться при измерении внутренних свойств (обычно статические показатели промежуточных продуктов), внешних свойств (как правило, путем оценки поведения кода при выполнении) или обоих.

Примечания

1 При применении итеративной или инкрементной модели для разработки или обслуживания для каждого цикла итерации или инкремента могут использоваться как внутренние, так и внешние показатели. Итеративно изменяемые спецификации системы или программного продукта, архитектурный проект, детальное проектирование, программный компонент или блок кода могут быть оценены путем анализа с учетом внутренних показателей, в то время как итеративно внедряемая система или программный продукт могут быть оценены путем выполнения задач тестирования сборки с внешними показателями во время каждой итерации или изменения. В процессе проведения тестирования во время этапа итеративной или инкрементальной разработки внешние показатели (или мера качества использования), возможно, используются больше, чем внутренние показатели. Затем эти показатели качества можно неоднократно использовать для мониторинга развития тенденций качества посредством многократных повторений или приращений. Например, измеренное значение функционального покрытия, которое является одним из показателей качества для функциональной пригодности, возможно, ниже в ранних итерациях и, как ожидается, возрастет до более высокого в дальнейших итерациях.

2 Внутренние показатели по повышению эффективности работы применимы к статической проектной документации или исходному коду. Данные измеренные значения можно получить путем оценки теоретического количества вычисления разработанных алгоритмов, числа вызовов функции или шагов исполняемого кода. Однако приложения внешних показателей для уровня производительности на промежуточном прототипе при выполнении во время проекта полезны для понимания фактических промежутков между внутренними и внешними показателями и калибровки оценки для внутренних показателей.

3 Внутренние показатели для удобства использования применимы к статическому макету отображения на экране, спецификации сценариев использования графического интерфейса, набору текстовых файлов сообщений, руководствам пользователя, исходному коду пользовательских интерфейсов и так далее. Однако применение внешних мер для удобства использования на промежуточном исполняемом прототипе во время разработки полезно для понимания фактических разрывов между внутренними и внешними показателями. При наличии применение мер качества в использовании исполняемого прототипа во время разработки также очень полезно.

Кроме того, показатели качества могут быть классифицированы в соответствии с уровнем рекомендации, например:

• HR: наиболее рекомендуемый, что означает «всегда используют этот показатель качества»,
• R: рекомендуемый, что означает «использовать данный показатель качества при соответствии», и
• UD: используемый по усмотрению пользователя, что означает, «использовать данный показатель качества в качестве эталона при разработке нового показателя качества», потому что у показателя есть неизвестная надежность.

В таблице A.1 приведен данный вид соображений, связанных с использованием каждого показателя качества.

Таблица A.1

Сводная таблица для использования показателей качества

Показатель качества	Подхарактеристика качества	ID	Имя показателя качества	Внутренний/Внешний/Оба	Рекомендованный уровень
Функциональная пригодность	Функциональная полнота	FCp-1-G	Функциональное покрытие	Оба	HR
	Функциональная корректность	FCr-1-G	Функциональная корректность	Оба	HR
	Функциональная пригодность	FAp-1-G	Функциональная пригодность по цели применения	Оба	HR
		FAp-2-G	Функциональная пригодность системы	Оба	HR
Эффективность работы	Временные характеристики	PTb-1-G	Среднее время отклика	Оба	HR
		PTb-2-G	Корректность времени отклика	Оба	R
		PTb-3-G	Среднее время обработки	Оба	R
		PTb-4-G	Корректность времени обработки	Оба	R
		PTb-5-G	Средняя пропускная способность	Оба	R
	Использование ресурсов	PRu-1-G	Среднее использование ресурса процессора	Внешний	HR
		PRu-2-G	Среднее использование ресурса памяти	Внешний	R
		PRu-3-G	Среднее использование ресурса ввода-вывода	Внешний	R
		PRu-4-S	Использование пропускной способности сети	Внешний	UD
	Пропускная способность	PCa-1-G	Пропускная способность по транзакциям	Оба	R
		PCa-2-G	Пропускная способность по доступности	Оба	R
		PCa-3-S	Пропускная способность по увеличению числа пользователей	Внешний	UD
Совместимость	Совмещение	CCo-1-G	Совмещение с другими продуктами и/или системами	Внешний	HR
	Функциональная совместимость	CIn-1-G	Совместимость форматов данных	Оба	HR
		CIn-2-G	Поддержка протоколов обмена данными	Оба	R
		CIn-3-S	Поддержка внешних интерфейсов	Оба	HR
Удобство использования	Полнота описания	UAp-1-G	Полнота описания	Оба	HR
		UAp-2-S	Демонстрационное покрытие	Оба	UD
		UAp-3-S	Достаточность самоописания титульной страницы	Оба	UD
	Обучаемость	ULe-1-G	Полнота руководства пользователя	Оба	HR
		ULe-2-S	Приведение значений по умолчанию	Оба	R
		ULe-3-S	Понятность сообщений об ошибках	Оба	R
		ULe-4-S	Самоописательность пользовательского интерфейса	Оба	UD
	Эксплуатационная пригодность	UOp-1-G	Эксплуатационная согласованность	Оба	HR
		UOp-2-G	Корректность сообщений	Оба	R
		UOp-3-S	Функциональная настраиваемость	Оба	UD
		UOp-4-S	Настраиваемость пользовательского интерфейса	Оба	UD
		UOp-5-S	Возможность мониторинга	Оба	UD
		UOp-6-S	Возможность отмены действий	Оба	R
		UOp-7-S	Понятность категоризации информации	Оба	R
		UOp-8-S	Постоянство представления	Оба	UD
		UOp-9-S	Поддержка устройства ввода	Оба	UD
	Защита от пользовательских ошибок	UEp-1-G	Защита от ошибок пользователя	Оба	HR
		UEp-2-S	Коррекция ошибок при вводе информации	Оба	HR
		UEp-3-S	Обработка ошибок пользователя	Оба	R
		UEp-1-G	Защита от ошибок пользователя	Оба	HR
	Эстетичность пользовательского интерфейса	UIn-1-S	Эстетичность представления пользовательского интерфейса	Оба	UD
	Доступность	UAc-1-G	Доступность для пользователей с ограниченными возможностями	Оба	R
		UAc-2-S	Достаточная языковая поддержка	Оба	UD
Надежность	Стабильность	RMa-1-G	Коррекция ошибок	Оба	HR
		RMa-2-G	Наработка на отказ	Внешний	HR
		RMa-3-S	Частота отказов	Внешний	R
		RMa-4-S	Покрытие тестами	Внешний	R
	Готовность к работе	RAv-1-G	Доступность системы	Внешний	HR
		RAv-2-G	Среднее время недоступности	Внешний	R
	Отказоустойчивость	RFt-1-G	Предотвращение сбоев	Внешний	HR
		RFt-2-S	Избыточность компонентов	Оба	R
		RFt-3-S	Среднее время уведомления об отказе	Внешний	UD
	Восстанавливаемость	RRe-1-G	Среднее время восстановления	Внешний	HR
		RRe-2-S	Полнота резервной копии данных	Оба	R
Безопасность	Конфиденциальность	SCo-1-G	Контроль доступа	Оба	HR
		SCo-2-G	Корректность шифрования данных	Оба	R
		SCo-3-S	Сложность криптографических алгоритмов	Оба	UD
	Целостность	SIn-1-G	Целостность данных	Оба	HR
		SIn-2-G	Защита от повреждения данных	Оба	R
		SIn-3-S	Защита от переполнения буфера	Внутренний	UD
	Неопровержимость	SNo-1-G	Использование цифровой подписи	Оба	R
	Отчетность	SAc-1-G	Полнота журнала действий пользователя	Оба	HR
		SAc-2-S	Хранение системного журнала	Оба	R
	Аутентификация	SAu-1-G	Корректность механизма аутентификации	Оба	HR
		SAu-2-S	Соответствие правил аутентификации	Оба	R
Пригодность для обслуживания	Модульность	MMo-1-G	Разделение компонентов	Оба	R
		MMo-2-S	Уровень сложности организации циклов	Внутренний	UD
	Повторное использование	MRe-1-G	Повторное использование ресурсов	Оба	HR
		MRe-2-S	Соответствие правилам написания кода	Внутренний	R
	Подверженность анализу	MAn-1-G	Полнота системных журналов	Оба	HR
		MAn-2-S	Эффективность функции диагностики	Оба	R
		MAn-3-S	Достаточность функции диагностики	Оба	R
	Модифицируемость	MMd-1-G	Эффективность модификаций	Оба	HR
		MMd-2-G	Корректность модификаций	Оба	HR
		MMd-3-S	Модифицируемость	Оба	UD
	Тестируемость	MTe-1-G	Полнота функций тестирования	Оба	R
		MTe-2-S	Автономность тестирования	Оба	UD
		MTe-3-S	Возможность возобновления тестов	Оба	UD
Переносимость	Адаптивность	PAd-1-G	Адаптивность к аппаратным средствам	Внешний	HR
		PAd-2-G	Адаптивность к программным средствам	Внешний	HR
		PAd-3-S	Адаптивность к операционным средам	Внешний	UD
	Установка	PIn-1-G	Время установки	Внешний	R
		PIn-2-G	Простота установки	Внешний	R
	Заменяемость	PRe-1-G	Подобие использования	Оба	HR
		PRe-2-S	Эквивалентность качества продукта	Оба	R
		PRe-3-S	Функциональная инклюзивность	Внешний	R
		PRe-4-S	Возможность повторного использования данных и импорта	Внешний	UD

Приложение B

Большинство QMEs, используемые для функции измерения различных показателей качества, уже описаны в приложении A ИСО/МЭК 25021. В случае необходимости определения и разработки новых QMEs необходимо использовать определение, процедуру и формат таблицы, приведенные в ИСО/МЭК 25021.

Ниже приведена сводка общих QMEs, часто используемых в функциях измерения различных показателей качества.

Примечание — Для получения дополнительной информации о QMEs см. определения QME в ИСО/МЭК 25021.

B.2 Количество сбоев

Количество всех сбоев, которые происходят в данный промежуток времени и которые также удовлетворяют условию, данному в конкретных определениях QME.

Примеры QMEs: количество ожидаемых отказов, количество обнаруженных отказов, количество разрешенных отказов, количество отказов заданного уровня серьезности.

B.3 Количество ошибок

Количество обнаруженных ошибок программного продукта (или оцененных) в данном компоненте программного продукта и удовлетворяющих условию, указанному в конкретных определениях QME, например количество ошибок данной категории, количество ошибок заданной степени тяжести, количество успешно исправленных ошибок и т.д.

B.4 Размер продукта

Количество компонентов программного продукта в соответствии с требуемым критерием. Это могут быть строки кода (LOC), функциональные точки, модули, классы или визуальные структуры, такие как диаграммы или их части.

Примечание — Компоненты программного продукта могут учитываться только в том случае, если удовлетворены некоторые дополнительные условия, например только исполняемые строки кода, которые также содержат комментарии, объявления, приведения типов, скобки и т.д.

B.5 Продолжительность

Относится к интервалу между временем начала и временем окончания любого процесса, описанного в установленных определениях QME (Продолжительность = время окончания — время начала). Например, следующие:

• время выполнения: относится ко времени, измеренному внутри компьютера, например процессорное время, время ввода-вывода и т.д. или время, измеренное с помощью введенного кода или программных средств (например, наборы тестов);
• время наблюдения: относится ко времени, измеренному внешне наблюдателем, использующим внешний таймер, например время для завершения транзакции или пользовательской задачи;
• время установки: фиксированный процесс времени или наблюдений, но значимый для показателя, который независим от действия, например требуемое время реакции.

B.6 Количество тестовых сценариев

Относится к количеству различных тестовых входных данных и сценариев, удовлетворяющих условию, приведенному в конкретных определениях QME, например тестовых сценариях, разработанных, требуемых, выполняемых (успешно или неудачно) и т.д.

B.7 Количество перезапусков

Подсчитывается количество попыток системы возобновить вычисления после критического сбоя, удовлетворяющих условию, заданному в конкретных определениях QME. Его можно различить между перезапуском системы и восстановлением.

B.8 Количество операций ввода-вывода

Количество операций ввода-вывода, удовлетворяющих условию, заданному в конкретных определениях QME. Операции ввода-вывода отличаются от системных сообщений наблюдателю.

• взаимодействие между наблюдателем и системой, например диалог;
• транзакция: последовательность взаимодействий между наблюдателем и системой, которая должна выполняться атомарно для выполнения операции, например мастера (с опциями).

B.9 Количество задач

Задача — набор или последовательность действий, требуемых для достижения данной цели. Число задач — количество задач, которые удовлетворяют условию, данному в конкретных определениях QME. Между этим можно отличить:

• пользовательские задачи: действия, выполненные пользователем (использующим программный продукт) к указанной цели;
• системные задачи: действия, выполненные системой, чтобы поддержать пользователя.

B.10 Количество пользовательских попыток (испытаний)

Количество попыток выполнить операцию для удовлетворения условия, приведенного в конкретных определениях QME. Эти попытки могут быть следующие:

• оценка: повторения с тем же самым входом и тем же самым сценарием (например, стресс-тестирование);
• случаи: повторения с различным входом и/или различными сценариями.

B.11 Количество элементов данных

Количество различных структур, классов или форматов данных, которые удовлетворяют условию, данному в конкретных определениях QME.

B.12 Количество отчетов

Количество отчетов той же самой структуры, класса или формата, которые удовлетворяют условию, данному в конкретных определениях QME.

B.13 Количество требований

Количество пунктов требования, которые удовлетворяют условию, данному в конкретных определениях QME.

Примечание — Требования могут быть важные, дополнительные, проверенные или любой комбинацией этих и других требований.

B.14 Количество пользовательских операций

Количество числа функционирований, выполненных пользователем, при соблюдении условий, приведенных в конкретном определении QME, где операция — последовательность шагов, требуемых для выполнения задачи.

B.15 Количество системных операций

Количество полных функционирований, выполненных системой, удовлетворяющих условию, приведенному в конкретных определениях QME.

Примечание — Этот QME считает число полных функционирований, не отдельные шаги, требуемые в каждом функционировании.

B.16 Количество языков

Количество различных языков, поддержанных системой или программным продуктом, используемых с целью выполнения функции предполагаемого пользователя.

B.17 Количество программных модулей

Количество компонентов программного продукта, работающего независимо от другого. Концептуально модули представляют разделение проблем и улучшают пригодность для обслуживания, осуществляя логические границы между компонентами.

B.18 Количество интерфейсов

Количество совместно используемых совмещений, через которые два отдельных компонента программной системы обмениваются информацией. Обмен может быть между программным продуктом, аппаратными средствами, периферийными устройствами, человеком и их комбинациями.

Приложение C (справочное)

ПОДРОБНОЕ ОБЪЯСНЕНИЕ ТИПОВ ИЗМЕРЕНИЯ

C.1 Общие положения

Для разработки процедуры сбора данных, интерпретации справедливых значений и нормализации показателей для сравнения пользователь показателей должен определить и принять во внимание тип показателя измерения, используемого показателем качества.

Примечание — Для большинства внешних показателей тестирование может быть выполнено для сбора входных данных для функции измерения. Типы измерений, описанные в настоящем приложении, тесно связаны с методикой проектирования тестирования и типами тестирования, определенного в ISO/IEC/IEEE 29119-4. Относящиеся к качеству типы тестирования и сопоставление характеристик/подхарактеристик качества с типами тестирования подробно описаны в приложении A ISO/IEC/IEEE 29119-4.

C.2 Типы измерений размеров

C.2.1 Общие положения

Показатель этого типа представляет собой определенный размер программного продукта в соответствии с заявленным в определении.

Примечание — У программного продукта может быть много представлений размера (как любой объект, может быть измерен больше, чем в одной размерности — масса, объем, площадь поверхности, и т.д.).

Нормализация других показателей с показателем по размеру может дать сопоставимые значения с точки зрения единиц размера. Показатели по размеру, описанные ниже, могут использоваться для измерения качества программного продукта.

C.2.2 Тип функционального размера

Функциональным размером является пример одного типа размера (одна размерность), который может иметь программный продукт. У любого экземпляра программного продукта может быть больше чем один функциональный размер в зависимости например от:

• цели для измерения размера программного продукта (это влияет на область применения программного продукта, включенного в измерение);
• использования определенного функционального метода калибровки (он изменит единицы и масштаб).

Определение понятий и процесса применения методики определения функциональных размеров (метод FSM) предоставлено в ИСО/МЭК 14143-1.

Для использования функционального размера в целях нормализации необходимо гарантировать, чтобы использовался один и тот же функциональный метод калибровки и чтобы различные сравниваемые программные продукты были измерены с одной и той же целью и, следовательно, имели сопоставимую область применения.

Несмотря на часто встречающееся утверждение, что представлены функциональные размеры, не гарантируется, что они эквивалентны функциональному размеру, полученному из применения Метода FSM, совместимого с ИСО/МЭК 14143-1. Однако они широко используются в разработке программных продуктов:

• число электронных таблиц;
• число экранов;
• число файлов или наборов данных, которые обработаны;
• количество детализированных функциональных требований, описанных в спецификациях требований пользователя.

C.2.3 Тип размера программы

В этом пункте термин «программирование» представляет выражения, которые при выполнении приводят к действиям, а термин «язык» представляет тип используемого выражения.

C.2.3.1 Размер исходного кода программы

Необходимо объяснить язык программирования и указать, как обрабатываются неисполняемые операторы, такие как строки комментариев. Обычно используется следующая мера.

Операторы исходного кода, не относящиеся к комментариям (NCSS), включают исполняемые операторы и операторы объявления данных с логическими исходными операторами.

Примечания

1 Новый размер программы: разработчик может использовать недавно разработанный размер программы, чтобы представлять размер продукта разработки и работ по техническому обслуживанию.

2 Измененный размер программы: разработчик может использовать измененный размер программы, чтобы представлять размер программного продукта, содержащего измененные компоненты.

Возможно, потребуется различать тип операторов исходного кода более подробно следующим образом:

• тип оператора;
• логические операторы (Logical Source Statement (LSS). LSS измеряет число инструкций программного продукта. Операторы не зависят от их отношений к строкам и не зависит от физического формата, в котором они появляются;
• физические операторы (Physical Source Statement (PSS). PSS измеряет число исходных строк программного обеспечения кода;
• атрибут оператора;
• исполняемый оператор;
• операторы объявления данных;
• операторы директивы компилятора;
• исходные операторы замечания;
• источник;
• измененные исходные операторы;
• добавленные исходные операторы;
• удаленные исходные операторы;
• недавно разработанные исходные операторы: (= добавленные исходные операторы + изменили исходные операторы);
• повторно используемые исходные операторы: (= исходный — измененный — удаленные исходные операторы).

C.2.3.2 Размер программы по количеству слов

Измерение может быть выполнено следующим образом с использованием показателя Холстеда: словарь Программы = n1 + n2; Наблюдаемая длина программы = N1 + N2, где

n1 — число отличных операторов (т.е. число отличных слов оператора, которые подготовлены и зарезервированы языком программы в исходном коде программы);

n2 — число отличных операндов (т.е. число отличных слов операнда, которые определены программистом в исходном коде программы);

N1 — общее количество операторов (т.е. число случаев отличных операторов в исходном коде программы);

N2 — общее количество операндов (т.е. число случаев отличных операндов в исходном коде программы).

C.2.3.3 Количество модулей

Измерение считает число независимо исполняемых объектов, таких как модули программы.

C.2.4 Тип измерения использованных ресурсов

Данный тип определяет ресурсы, используемые для работы оцениваемого программного продукта. Существуют следующие примеры:

a) объем памяти, например количество диска, или памяти, занятой временно или постоянно во время выполнения программного обеспечения;

b) загрузка ввода-вывода, например количество трафика коммуникационных данных (значащий для резервных инструментов в сети);

c) загрузка ЦП, например процент занятых систем команд ЦП в секунду (этот тип показателя, значащий для измерения загрузки ЦП и эффективности распространения процесса в программном продукте мультипотока, выполняющемся в параллельных/параллельных системах);

d) файлы и записи данных, например длина в байтах файлов или отчетов;

e) документы, например число страниц документа.

Рекомендуется принимать во внимание пиковые (максимальные), минимальные и средние значения, а также промежутки времени и число результатов сделанных измерений.

C.2.5 Определенный тип шага рабочей процедуры

Данный тип определяет статические шаги процедур, которые определены в спецификации проекта интерфейса пользователя или руководстве пользователя.

Измеренное значение может отличаться в зависимости от того, какие виды описания используются для измерения, такого как диаграмма или текст, представляющий пользовательские рабочие процессы.

C.3 Тип измерения времени

C.3.1 Общие положения

Пользователь показателей типа показателя времени должен фиксировать периоды времени, сколько сайтов во время которых было исследовано и сколько пользователей приняли участие в измерениях.

Существует много способов измерения единицы времени, как приведенные ниже примеры:

a) Блок реального времени:

Это физическое время, т.е. секунда, минута или час. Эта единица обычно используется для описания времени обработки задачи программного обеспечения реального времени;

b) Компьютерная единица измерения времени оборудования:

Это время часов процессора компьютера, т.е. секунда, минута или час процессорного времени;

c) Официальная цифра запланированного времени:

Включает рабочее время, календарные дни, месяцы или годы;

d) Единица измерения времени компонента:

Когда есть многократные сайты, время компонента определяет отдельный сайт, и это — накопление отдельного времени каждого сайта. Эта единица обычно используется для описания надежности компонента, например уровня отказа компонента;

e) Единица системного времени:

Когда есть многократные сайты, системное время не определяет отдельные сайты, но определяет все выполнение сайтов, в целом в одной системе. Эта единица обычно используется для описания системной надежности, например уровня системного отказа.

C.3.2 Тип времени работы системы

Тип времени работы системы обеспечивает основание для измерения доступности программного продукта. Это в основном используется для оценки надежности. Следует определить, является ли программный продукт объектом периодической работы или непрерывного функционирования. Если программный продукт работает с перерывами, следует гарантировать проведение измерения времени исключительно в периоды активности (данное условие, очевидно, распространяется на непрерывную работу).

• Прошедшее время:

При постоянном использовании программного продукта, например, в системах, работающих в течение того же самого отрезка времени каждую неделю.

• Вовремя приведенная в действие машина:

Для реального времени встроенного или программного продукта операционной системы, которое полностью используется во время работы системы.

• Нормированное машинное время:

Как в «machine powered-on time», но данные объединения от нескольких машин различных «powered-on-time» и применение поправочного коэффициента.

C.3.3 Тип времени выполнения

Типом времени выполнения является время, необходимое для выполнения программным продуктом указанной задачи. Следует проанализировать распределение нескольких попыток и вычислить среднее, отклонение или максимальные значения. Выполнение при особых условиях, особенно в перегруженном состоянии, должно быть исследовано. Тип времени выполнения главным образом используется для оценки эффективности.

C.3.4 Тип времени пользователя

Тип времени пользователя измеряется по периодам времени, затраченным отдельными пользователями на выполнение задач с помощью операций программного продукта, по таким, как в следующих примерах:

• Время сеанса:

Измеряется между запуском и концом сеанса. Полезно, например, для рисования поведения пользователей домашней банковской системы. Для интерактивной программы, где время простоя не представляет интереса или где интерактивные проблемы удобства использования должны быть изучены.

• Время выполнения задачи:

Время, затрачиваемое отдельным пользователем на выполнение задачи с использованием операций программного обеспечения при каждой попытке. Начальная и конечная точки измерения должны быть четко определены.

• Время пользователя:

Время, проведенное отдельным пользователем с помощью программного обеспечения с момента запуска в определенный момент времени. (Приблизительно это сколько часов или дней пользователь использует программное обеспечение с самого начала.)

C.3.5 Тип трудозатрат

Тип усилия — это производительное время, связанное с конкретной задачей проекта.

a) Индивидуальное усилие:

Это продуктивное время, необходимое для выполнения конкретной задачи отдельным разработчиком, сопровождающим или оператором. Индивидуальные усилия предполагают лишь определенное количество продуктивных часов в день.

b) Целевая работа:

Усилия по выполнению задачи — это совокупная стоимость всего персонала проекта: разработчика, сопровождающего, оператора, пользователя или других, кто работал над выполнением указанной задачи.

C.3.6 Временной интервал типа событий

Этот тип показателя представляет собой временной интервал между одним событием и следующим за ним в течение периода наблюдения. Вместо этого показателя может использоваться частота периода времени наблюдения. Обычно это используется для описания времени между последовательно возникающими сбоями.

C.4 Тип измерения отсчета

Если атрибуты документов программного продукта считаются, то они являются статическими типами подсчета. Если подсчитываются события или действия человека, они являются кинетическими типами подсчета.

C.4.1 Число обнаруженного типа неисправности

Измерение считает обнаруженные дефекты во время рассмотрения, тестирования, исправления, работы или поддержания. Уровни серьезности можно использовать для их классификации с учетом влияния неисправности.

C.4.2 Тип уровня структурной сложности программы

Измерение подсчитывает структурную сложность программы. Примерами являются количество различных путей или цикломатическое число Маккейба.

C.4.3 Количество обнаруженных несоответствий

Этот показатель учитывает обнаруженные непоследовательные параграфы, которые подготовлены к исследованию.

• соответствие к протоколам, форматам данных, кодам символов.

b) Количество неудачных экземпляров ожидания пользователя

Измерение состоит в подсчете удовлетворенных/неудовлетворенных элементов списка, которые описывают разрывы между разумными ожиданиями пользователя и производительностью программного продукта.

Таблица ДА.1

Обозначение ссылочного международного стандарта	Степень соответствия	Обозначение и наименование соответствующего национального стандарта
ISO/IEC 25000	-	<*>
ISO/IEC 25010:2011	IDT	ГОСТ Р ИСО/МЭК 25010-2015 «Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов»
ISO/IEC 25021:2012	IDT	ГОСТ Р ИСО/МЭК 25021-2014 «Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Элементы показателя качества»
<*> Соответствующий национальный стандарт отсутствует. До его принятия рекомендуется использовать перевод на русский язык данного международного стандарта. Официальный перевод данного международного стандарта находится в Федеральном информационном фонде стандартов. Примечание — В настоящем стандарте использовано следующее условное обозначение степени соответствия стандартов: - IDT — идентичные стандарты.

БИБЛИОГРАФИЯ

[1]	ISO/IEC 9241-11:1998	Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11: Guidance on usability
[2]	ISO/IEC 9241-110	Ergonomics of human-system interaction — Part 110: Dialogue principles
[3]	ISO/IEC 9241-171	Ergonomics of human-system interaction — Part 171: Guidance on software
[4]	ISO/IEC 14143	Information technology — Software measurement — Functional size measurement
[5]	ISO/IEC 14143-1	Information technology — Software measurement — Functional size measurement — Part 1: Definition of concepts
[6]	ISO/IEC 14756	Information technology — Measurement and rating of performance of computer-based software systems
[7]	ISO/IEC 15939:2007	Systems and software engineering — Measurement process
[8]	ISO/IEC 25012	Software engineering — Software product Quality Requirements and Evaluation
[9]	ISO/IEC 25020	Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Measurement reference model and guide (SQuaRE) — Data quality model
[10]	ISO/IEC 25022	Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of quality in use
[11]	ISO/IEC 25024	Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of data quality
[12]	ISO/IEC 25030	Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Quality requirements
[13]	ISO/IEC/IEEE 15288	Systems and software engineering — System life cycle processes
[14]	ISO/IEC/IEEE 24765:2010	Systems and software engineering — Vocabulary
[15]	ISO/IEC/IEEE 29119-4:2015	Software and systems engineering — Software testing — Part 4: Test techniques
[16]	Ministry of Economy, Trade and Industry, Japan (METI). Investigative Report on Measure for System/Software Product Quality Requirement Definition and Evaluation, 2011, http://www.meti.go.jp/policy/mono_info_service/joho/cloud/2011/11_05.pdf
[17]	SAC. Measurement of System and Software Product Quality, GB/T 29831-GB/T29836. Standards Press of China, 2013
[18]	U.S. Department of Health and Human Services. The Research-Based Web Design & Usability Guidelines, Enlarged/Expanded edition. U.S. Government Printing Office, Washington, 2006
[19]	OMG. CISQ Specification for Automated Quality Characteristic Measures, CISQ-TR-2012-01, 2012

УДК 004:006.354	ОКС 35.080
Ключевые слова: системная и программная инженерия, требования и оценка качества систем и программной продукции (SQuaRE), показатель качества

---