ГОСТ Р ИСО/МЭК 25022-2021. Национальный стандарт Российской Федерации. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Измерение качества при использовании

(утв. и введен в действие Приказом Росстандарта от 25.10.2021 № 1282-ст)

ОКС 35.080

Дата введения 30 апреля 2022 года

Предисловие

1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью «Информационно-аналитический вычислительный центр» (ООО «ИАВЦ») на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 022 «Информационные технологии»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 25 октября 2021 г. № 1282-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 25022:2016 «Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Измерение качества при использовании» (ISO/IEC 25022:2016 «Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Measurement of quality in use», IDT).

ИСО/МЭК 25022 разработан подкомитетом ПК 7 «Системная и программная инженерия» Совместного технического комитета СТК 1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА.

Дополнительные сноски в тексте стандарта, выделенные курсивом, приведены для пояснения текста оригинала

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за идентификацию подобных патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Настоящий стандарт является частью серии стандартов SQuaRE. Он предоставляет набор параметров для характеристик качества при использовании систем и программного обеспечения (определенных в ИСО/МЭК 25010), которые могут применяться для определения требований к качеству при использовании (в сочетании с ИСО/МЭК 25030), а также измерения и оценки качества при использовании (в сочетании с ИСО/МЭК 25040 и ИСО/МЭК 25041).

Показатели качества, включенные в настоящий стандарт, были отобраны исходя из их практической значимости. Они основаны на устоявшейся практике (включая, например, справочную [17]). Они не являются исчерпывающими, и пользователям этого международного стандарта рекомендуется уточнить их, при необходимости.

Раздел измерения качества

Настоящий стандарт является частью раздела измерения качества ИСО/МЭК 2502n серии стандартов SQuaRE. Раздел измерения качества в настоящее время состоит из следующих стандартов:

- ИСО/МЭК 25020 — эталонная модель измерения и руководство: предоставляет эталонную модель и руководство по измерению характеристик качества, определенных в разделе модели качества ИСО/МЭК 2501n;

• ИСО/МЭК 25021 — Элементы показателя качества: предоставляет формат элементов показателей качества и некоторые наборы рекомендуемых базовых и производных параметров, которые могут быть использованы для построения показателей качества систем и программного обеспечения;
• ИСО/МЭК 25022 — Измерение качества при использовании: предоставляет набор параметров и соответствующих измерительных функций для характеристик модели качества при использовании, определенной в ИСО/МЭК 25010;
• ИСО/МЭК 25023 — Измерение качества систем и программной продукции: предоставляет набор параметров и соответствующих измерительных функций для характеристик модели качества систем и программной продукции, определенной в ИСО/МЭК 25010;
• ИСО/МЭК 25024 — Измерение качества данных: предоставляет набор параметров и соответствующих измерительных функций для характеристик модели качества данных, определенной в ИСО/МЭК 25012.

На рисунке 1 показана взаимосвязь между настоящим стандартом и другими стандартами серии ИСО/МЭК 2502n.

Рисунок 1 — Структура раздела измерения качества

В серию SQuaRE входят следующие разделы:

• ИСО/МЭК 2500n — Раздел «Управление качеством». Стандарты, входящие в этот раздел, определяют все общие модели, термины и определения, используемые всеми другими стандартами серии SQuaRE. Направляющие ссылки, используемые во всех документах SQuaRE, и высокоуровневые практические предложения по применению соответствующих стандартов в случаях конкретных приложений помогут всем потребителям. В разделе также представлены требования и методические материалы по поддерживающей функции, отвечающей за управление требованиями к программной продукции, спецификацию и оценку;
• ИСО/МЭК 2501n — Раздел «Модель качества». Стандарты, входящие в этот раздел, представляют детализированные модели качества программного обеспечения, качества при использовании и качества данных. Кроме того, представлено практическое руководство по использованию модели качества;
• ИСО/МЭК 2502n — Раздел «Измерение качества». Стандарты, входящие в этот раздел, включают в себя эталонную модель измерения качества программной продукции, математические определения показателей качества и практическое руководство по их использованию. В этом разделе представлены показатели внутреннего качества программного обеспечения, показатели внешнего качества программного обеспечения и качества при использовании. Кроме того, определены и представлены элементы показателей качества — ЭПК, формирующие основу для вышеперечисленных показателей;
• ИСО/МЭК 2503n — Раздел «Требования к качеству». Стандарты, входящие в этот раздел, помогают задать требования к качеству. Такие требования к качеству могут использоваться в процессе формирования требований к качеству, при сборе информации перед разработкой программной продукции или как исходные данные для процесса оценки. Процесс определения требований отнесен к техническим процессам, определенным в ИСО/МЭК 15288;

- ИСО/МЭК 2504n — Раздел «Оценка качества». Стандарты, входящие в этот раздел, формулируют требования, рекомендации и методические материалы для оценки программного продукта, выполняемой как независимыми оценщиками, так и приобретателями или разработчиками. Кроме того, там представлена поддержка документирования измерения, как модуля оценки;

• обозначения для стандартов с ИСО/МЭК 25050 — ИСО/МЭК 25099 зарезервированы для расширения серии SQuaRE и/или технических отчетов, которые касаются конкретных областей применения и/или могут быть использованы в дополнение к одному или нескольким международным стандартам SQuaRE.

1 Область применения

Настоящий стандарт определяет показатели качества при использовании для характеристик, определенных моделью качества при использовании в ИСО/МЭК 25010, и предназначен для применения вместе с ИСО/МЭК 25010. Он может также применяться в сочетании с ИСО/МЭК 2503n и ИСО/МЭК 2504n для более общего удовлетворения потребностей пользователей в части качества программной продукции или системы.

Настоящий стандарт содержит следующее:

• базовый набор параметров для каждой характеристики качества при использовании;
• объяснение того, как измеряется качество при использовании.

Базовый набор параметров не является исчерпывающим и может уточняться в зависимости от назначения и условий применения системы или программной продукции.

Настоящий стандарт включает ряд приложений, носящих информационный характер и отражающих примеры измерения охвата контекста (приложение A), вариантов нормализации показателей качества при использовании (приложение B), использования ИСО/МЭК 25022 для измерения удобства использования в ИСО 9241-11 (приложение C), процесса оценки качества в использовании (приложение D), взаимосвязи между различными моделями качества (приложение E) и концепции измерения качества (приложение F).

Эти параметры применимы к использованию любой человеко-компьютерной системы, включая как сами компьютерные системы, так и программные продукты, входящие в состав используемых систем.

Настоящий стандарт не присваивает диапазоны значений показателей номинальным уровням или степеням соответствия, поскольку эти значения определяются для каждой системы или программного продукта в зависимости от назначения, условий использования и потребностей пользователей.

Некоторые атрибуты могут иметь желаемый диапазон значений, который не зависит от конкретных потребностей пользователя, а зависит от общих факторов, например когнитивных факторов человека.

Предлагаемые параметры качества при использовании в первую очередь предназначены для обеспечения и управления качеством систем и программных продуктов на основе эффектов от их использования. Основными пользователями результатов измерений являются люди, управляющие разработкой, приобретением, оценкой или обслуживанием программного обеспечения и систем, осуществляющие оценочную деятельность в рамках следующих мероприятий:

• разработка: включая анализ требований, проектирование и тестирование в ходе процесса жизненного цикла;
• управление качеством: систематическое изучение продукта или компьютерной системы, например при оценке качества в процессе использования в рамках обеспечения и контроля качества;
• поставка: договор с приобретателем на поставку системы, программного продукта или программной услуги на условиях договора, например при проверке качества при квалификационном испытании;
• приобретение: включая отбор продукта и приемо-сдаточные испытания, при приобретении или закупке системы, программного продукта или услуги программного обеспечения у поставщика;
• техническое обслуживание: улучшение продукта на основе показателей качества при использовании.

2 Соответствие требованиям

Для того чтобы любое требование к качеству, спецификация или оценка качества соответствовали настоящему стандарту, необходимо соблюдение следующих положений:

a) для определения или оценки качества при использовании выбраны характеристики и/или подхарактеристики, соответствующие ИСО/МЭК 25010;

b) для оценки каждой выбранной характеристики или подхарактеристики применяются все общие показатели качества, определенные в разделе 8. Исключение какого-либо из них требует обоснования;

c) любые выбранные специальные показатели качества при использовании имеют отношение к предмету оценки;

d) изменение какого-либо показателя качества при использовании должно быть обоснованным;

e) допускается определение любых дополнительных показателей качества использования, которые не включены в настоящий стандарт;

f) точно известно, как осуществляется определение значений каждого из показателей качества (например, определены детали используемого метода измерения).

Примечание — При проведении сравнений важно использовать один и тот же метод измерения.

3 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт [для датированной ссылки применяют только указанное издание ссылочного стандарта, для недатированной — последнее издание (включая все изменения)]:

ISO/IEC 25010, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models (Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов)

4 Термины и определения

В настоящем стандарте применены термины по ИСО/МЭК 25000, ИСО/МЭК 25010, а также следующие термины с соответствующими определениями.

Примечание — Ниже приведены основные определения из стандартов серии SQuaRE и других стандартов ИСО.

4.1 полнота контекста (context completeness): Степень, в которой продукт или система могут быть использованы с эффективностью, результативностью, свободой от риска и в соответствии с требованиями при всех указанных условиях использования.

Примечание — Полнота контекста — это подхарактеристика покрытия контекста.

[ИСО/МЭК 25010:2011, измененный]

4.2 покрытие контекста (context coverage): Степень, в которой продукт или система могут использоваться с эффективностью, а также эффективностью, удовлетворенностью и свободой от риска как в определенных условиях использования, так и в условиях, выходящих за рамки первоначально явно определенных.

Примечание — Условия использования имеют отношение как к качеству при использовании, так и к некоторым характеристикам (подхарактеристикам) качества продукта (где он упоминается как «определенные условия»).

[ИСО/МЭК 25010:2011, 4.1.5]

4.3 заказчик (customer): Организация или физическое лицо, которое имеет отношение к приобретению, поставке или использованию продукта или услуги.

Примечание — Отношения могут включать в себя гарантию или согласие с условиями предоставления услуг.

4.4 эффективность (effectiveness): Точность и полнота, с которыми пользователи достигают поставленных целей.

[ИСО 9241-11:1998]

4.5 производительность (efficiency): Ресурсы, затраченные в связи с точностью и полнотой достижения пользователями поставленных целей.

Примечание — Соответствующие ресурсы могут включать в себя время для выполнения задачи (человеческие ресурсы), материалы или финансовые затраты на использование.

[ИСО 9241-11:1998, измененный]

4.6 условия использования (context of use): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых используется продукция [1].

[ИСО 9241-11:1998, измененный]

4.7 гибкость (flexibility): могут быть использованы с эффективностью, результативностью, свободой от риска и в соответствии с требованиями в условиях, выходящих за рамки первоначально определенных в требованиях.

Примечание — Гибкость — это подхарактеристика охвата контекста.

[ИСО/МЭК 25010:2011, измененный]

4.8 формативная оценка (formative evaluation): Оценка, которая разрабатывается и используется для улучшения объекта оценки, особенно когда он еще находится в стадии разработки.

[ИСО/ТС 18152:2010, 4.6]

4.9 свобода от риска (freedom from risk): Степень, в которой качество продукта или системы снижает или позволяет избежать потенциальных рисков для экономического статуса, жизни, здоровья человека или окружающей среды.

Примечания

1 Риск — это функция вероятности возникновения данной угрозы и потенциальных последствий возникновения этой угрозы.

2 Риски, рассматриваемые серией SQuaRE, являются рисками, возникающими из-за недостаточного качества продукции.

3 Свобода от риска включает в себя снижение потенциальных рисков для пользователя, организации или проекта.

[ИСО/МЭК 25010:2011, изменено — добавлено «качество» и «или избегает» для уточнения]

4.10 цель (goal): Ожидаемый результат.

4.11 показатель (measure): Переменная, значение которой присвоено в результате измерения.

Примечания

1 Термин «показатель» используется для коллективного обозначения базовых параметров, производных параметров и атрибутов.

2 В настоящем стандарте, когда используется слово «показатель», характеризуемое характеристикой или подхарактеристикой, оно относится к показателю качества.

[ИСО/МЭК 15939:2007, изменено — добавлено примечание 2 к записи]

4.12 измерение (measurement): Набор операций, имеющих целью определение значения показателя [4].

Примечание — Измерение может включать в себя присвоение качественной категории, такой как язык исходной программы (ADA, C, Java и т.д.).

[ИСО/МЭК 15939:2007, измененный]

4.13 функция измерения (measurement function): Алгоритм или вычисление, выполняемое для комбинации не менее чем двух элементов показателя.

[ИСО/МЭК 25021:2012]

4.14 психометрия (psychometrics): Область научных интересов, связанная с теорией и практикой разработки обоснованных и надежных психологических параметров.

4.15 качество при использовании (quality in use): Степень, с которой система или программный продукт, используемые конкретными пользователями, удовлетворяет их потребности в достижении конкретных целей с заданной эффективностью, производительностью, безопасностью и удовлетворенностью в конкретных условиях использования.

Примечания

1 Качество при использовании программного продукта или системы может быть измерено и оценено пользователями внедренной системы, во время испытаний системы или прототипов по эффекту от использования целевой системы или программного продукта.

2 Когда указывается «качество при использовании», это относится к определенным пользователям, удовлетворяющим свои потребности для достижения определенных целей с эффективностью, удовлетворенностью и свободой от риска в определенных условиях использования.

[ИСО/МЭК 25010:2011, изменено — добавлены примечания 1 и 2 к записи]

4.16 показатель качества (quality measure): Показатель, получаемый как функция измерения не менее чем двух значений элементов показателя качества.

[ИСО/МЭК 25021:2012]

4.17 элемент показателя качества (quality measure element (QME)): Показатель, определенный в терминах свойства и метода измерения для количественного определения этого свойства, включая выборочно преобразования с помощью математической функции.

[ИСО/МЭК 25021:2012]

4.18 модель качества (quality model): Определенное множество характеристик и взаимосвязей между ними, которые обеспечивают основу для задания требований к качеству и оценки качества.

[ИСО/МЭК 25000:2014]

4.19 удовлетворение (satisfaction): Степень удовлетворения потребностей пользователя при использовании продукта или системы в определенных условиях использования.

Примечания

1 Для пользователя, который непосредственно не взаимодействует с продуктом или системой, важны только достижение цели и доверие.

2 Удовлетворенность — это реакция пользователя на взаимодействие с продуктом или системой и включает в себя отношение к использованию продукта.

3 Пользователи включают в себя: первичных пользователей, которые взаимодействуют с системой для достижения основных целей, вторичных пользователей, которые обеспечивают поддержку, и косвенных пользователей, которые получают выходные данные, но не взаимодействуют с системой.

4 В настоящем стандарте потребности пользователя включают в себя его желания и ожидания, связанные с использованием продукта, системы или услуги. Превышение желаний и ожиданий является средством значительного повышения удовлетворенности и улучшения пользовательского опыта.

[ИСО/МЭК 25010:2011, изменено — добавлены примечания 3 и 4 к записи]

4.20 удовлетворенность заинтересованных сторон (stakeholder satisfaction): Степень удовлетворения потребностей заинтересованных сторон при использовании продукта или системы в определенных условиях.

Примечание — Пользователи продукта или системы — это один из типов заинтересованных сторон, поэтому удовлетворенность пользователей — это удовлетворенность одной из заинтересованных сторон.

[ИСО/МЭК 25010:2011, изменено — определение термина «удовлетворенность» изменено для обозначения заинтересованных сторон]

4.21 итоговая оценка (summative evaluation): Оценка предназначена для представления выводов о достоинствах или ценности объекта оценки.

Примечания

1 Полученные результаты могут быть использованы для выработки рекомендаций относительно того, следует ли их сохранить, изменить или исключить.

2 Допускается использовать методы, обеспечивающие комбинированную формирующую и суммирующую оценку.

3 Метод суммирующего теста используется для выполнения суммирующей оценки.

[ИСО/ТС 20282-2:2013, 4.17]

4.22 система (system): Совокупность взаимодействующих элементов, организованных для достижения одной или нескольких поставленных целей.

Примечания

1 Система может рассматриваться как продукт или как предоставляемые ею услуги.

2 На практике интерпретация данного термина зачастую уточняется с помощью ассоциативного существительного, например система самолета. В некоторых случаях слово «система» может заменяться контекстно-зависимым синонимом, например самолет, хотя это может впоследствии затруднить восприятие системных принципов.

[ИСО/МЭК 15288:2015, измененный]

4.23 задача (task): Деятельность, необходимая для достижения цели.

Примечания

1 Эти действия могут быть физическими или когнитивными.

2 Должностные обязанности могут определять цели и задачи.

[ИСО 9241-11:1998]

4.24 удобство использования (usability): Степень, в которой продукт или система могут использоваться определенными пользователями для достижения определенных целей с эффективностью, эффективностью и удовлетворением в определенном контексте использования.

Примечания

1 Определение адаптировано из ИСО 9241-210.

2 Удобство использования может быть либо определено или измерено как характеристика качества продукта с точки зрения его подхарактеристик, либо определено или измерено непосредственно с помощью показателей, которые являются подмножеством используемого качества.

[ИСО/МЭК 25010:2011]

4.25 ошибка использования (use error): Действие или отсутствие действия, которое приводит к иной реакции системы, чем предполагалось изготовителем или ожидалось пользователем.

[МЭК 62366 — с заменой «медицинское устройство» на «система»]

4.26 пользователь (user): Физическое лицо или организация, использующая систему или программную продукцию для выполнения определенной функции.

[ИСО/МЭК 15939:2007]

5 Сокращения и обозначения

В настоящем стандарте используется следующее обозначение:

QME — элемент показателя качества (quality measure element).

6 Применение показателей качества при использовании

6.1 Применение качества при использовании

Настоящий стандарт содержит рекомендуемые показатели для определения характеристик и подхарактеристик в модели качества ИСО/МЭК 25010 при использовании:

• эффективность;
• производительность;
• удовлетворение: - полноценность; - доверие;

- удовольствие (пользовательский опыт); - комфорт (эргономичный);

• свобода от риска: - снижение экономических рисков; - снижение рисков для здоровья и безопасности; - снижение экологических рисков;
• покрытие контекста: - полнота контекста; - гибкость.

Качество при использовании — это степень, в которой продукт или система могут быть использованы конкретными пользователями для удовлетворения их потребностей в достижении конкретных целей с эффективностью, результативностью, удовлетворенностью и свободой от риска в конкретных контекстах использования.

В модели качества при использовании термин «удобство использования» относится к подмножеству качества в использовании, состоящему из эффективности, результативности, удовлетворенности и охвата контекста. Показатели удобства использования и функциональной пригодности пользовательского интерфейса и взаимодействия содержатся в ИСО/МЭК 25023 <1>.

<1> В оригинале ИСО/МЭК 25023 не включен в библиографию.

Неприемлемые уровни свободы от риска могут быть результатом низкого уровня удобства использования системы или продукта. Неприемлемые уровни свободы от риска также могут быть вызваны низким уровнем других характеристик качества продукции.

Показатели качества при использовании измеряют результаты взаимодействия между пользователем и системой. Конечное качество при использовании внедренной системы или программного продукта может быть измерено, когда система или программный продукт используются в целевой среде по назначению. Показатели качества при использовании также могут быть применены на этапах проектирования и разработки следующим образом:

• требования: требования к качеству при использовании могут быть определены на ранней стадии процесса проектирования и разработки, чтобы дать цель для предполагаемого качества, которое будет испытано пользователями и другими заинтересованными сторонами;

- формирующая оценка прототипов: конкретные проблемы с качеством использования могут быть выявлены путем тестирования прототипов с небольшим числом репрезентативных пользователей во время разработки с использованием показателей удобства использования продукта и ненормализованных показателей качества при использовании с целью выявления проблем и улучшения продукта;

• итоговая оценка прототипов: оценки конечного качества при использовании различных проектных решений могут быть получены путем тестирования прототипов с большим числом репрезентативных пользователей в процессе разработки с использованием нормализованных показателей качества при использовании и оценки того, как результирующая эффективность, результативность и удовлетворенность адекватно снижают потенциальные риски;
• процесс обеспечения качества и контроля: качество при использовании внедренной системы может быть проверено в соответствии с требованиями.

Примечания

1 В приложении E разъясняется взаимосвязь между различными моделями качества серии стандартов SQuaRE.

2 В настоящем стандарте слово «показатель» (используемое в качестве существительного) относится к показателю качества.

6.2 Измерение качества при использовании

Качество при использовании зависит не только от качества компьютерной системы или программного обеспечения, но и от конкретного контекста, в котором используется продукт по ИСО/МЭК 25063. Контекст использования включает в себя факторы пользователя, факторы задачи, а также физические и социальные факторы окружающей среды, которые могут повлиять на качество при использовании. Таким образом, сравнение качества использования программного продукта или системы допустимо только в том случае, если измерения проводятся в одном и том же контексте использования.

Это особенно затрудняет прогнозирование или интерпретацию уровней свободы от риска, поскольку обычно невозможно контролировать все факторы в контексте использования, которые могли бы повлиять на свободу от риска. Однако часто можно представить доказательства потенциальных рисков, которые могут возникнуть в результате плохого использования или низкого качества продукта, и предложить целевые значения для удобства использования или качества продукта, которые снизили бы эти риски (см. рисунок 2). Если какие-либо показатели удобства использования или качества продукции не достигают этих целевых значений, то можно оценить потенциальное влияние измеренных значений на свободу от риска.

Пример — При проектировании системы бронирования авиабилетов устанавливается высокий целевой уровень эффективности (результативности) бронирования пользователями билетов на рейс в намеченный пункт назначения в намеченное время и дату, чтобы минимизировать вероятность потенциальных экономических последствий, которые могут возникнуть в результате любых ошибок.

Многие из показателей определены таким образом, что они могут быть адаптированы к конкретным потребностям. Поэтому значимые сравнения между показателями и целевыми значениями могут быть сделаны только для показателей, которые были операционализированы таким же образом и применялись в том же или достаточно сходном контексте использования (т.е. с аналогичными типами пользователей, выполняющих аналогичные задачи в аналогичных средах).

Эффективность, результативность и удовлетворенность можно оценить, наблюдая за репрезентативными пользователями, выполняющими репрезентативные задачи в реалистичном контексте использования (например, см. методы в приложениях B и C и ИСО/ТС 20282-2). Эти показатели могут быть получены путем моделирования реалистичной среды использования (например, в лаборатории удобства использования) или путем наблюдения за эксплуатационным использованием продукта. Чтобы определить или измерить качество при использовании, сначала нужно определить каждый компонент предполагаемого контекста использования: пользователей, их цели и среду использования. Оценка должна быть разработана таким образом, чтобы максимально точно соответствовать этому контексту использования. Важно также, чтобы пользователям предоставлялись только те виды помощи и содействия, которые были бы доступны им в оперативной среде. Эти показатели могут быть использованы для процессов обеспечения безопасности при применении метода, указанного в ИСО/ТС 20282-2.

Некоторые внешние показатели удобства использования (см. ИСО/МЭК 25023) тестируются аналогичным образом, но оценивают использование конкретных характеристик продукта во время более общего использования продукта для достижения типичной задачи в рамках теста качества при использовании.

Примечания

1 Приложение B и ИСО/ТС 20282-2 содержат примеры того, как измерять эффективность, результативность и удовлетворенность. В приложении A приводятся примеры того, как измерять охват контекста. См. также [19].

2 В приложении F содержится более подробная информация о концепциях измерения качества серии стандартов SQuaRE.

6.3 Интерпретация показателей качества при использовании

Некоторые показатели качества при использовании (например, время выполнения задачи) трудно интерпретировать изолированно. Существует несколько способов сравнения показателей качества при использовании, чтобы их было легче интерпретировать, а именно:

a) соответствие: сравнение показателей с конкретными бизнес-требованиями или требованиями использования (например, должна быть возможность выполнить задачу за 10 минут);

b) контрольные показатели: сравнение показателей с контрольными показателями для того же или аналогичного продукта или системы, используемыми для той же цели (например, должна быть обеспечена возможность выполнения задач с новой системой не более чем за время, затраченное на выполнение задач со старой системой);

c) временные ряды: сравнение тенденций во времени (например, уменьшение количества ошибок, сделанных пользователями с каждой новой версией прототипа системы);

d) квалификация: сравнение со значениями, полученными при использовании обученным или опытным пользователем (например, сколько времени требуется новому пользователю по сравнению с опытным пользователем);

e) популяционные нормы удовлетворенности: при наличии базы данных предыдущих значений показатели могут быть выражены в процентах пользователей, которые ранее оценивали значение этого показателя.

Показатели качества при использовании, приведенные в разделе 8, включают в себя примеры, которые были нормализованы одним из этих способов, но для большинства показателей возможны несколько форм нормализации, как показано в приложении B.

Ненормализованные показатели (например, допущенные ошибки или время выполнения задачи) могут использоваться для выявления конкретных проблем, с которыми сталкиваются отдельные пользователи или небольшие группы пользователей.

Чтобы получить надежные показатели эффективности, результативности или удовлетворенности, необходимо получить данные от достаточного числа пользователей, выполняющих задачи, чтобы получить желаемый уровень статистической уверенности в достижении целевых значений.

Примечание — ИСО/ТС 20282-2 представляет собой пример метода суммирующего тестирования эффективности, действенности и удовлетворенности продуктов, предназначенных для использования широкой общественностью.

6.4 Выбор соответствующих показателей по обеспечению качества при использовании

Факторы, которые могут повлиять на выбор конкретных показателей качества при использовании, включают в себя:

• относительную важность эффективности, результативности, удовлетворенности и свободы от риска;
• конкретные аспекты эффективности, результативности или удовлетворенности, которые могут создавать риски для экономического статуса, жизни, здоровья человека или окружающей среды;

6.5 Аспекты качества при использовании, описанные в других стандартах

Следующие стандарты предоставляют дополнительную информацию о конкретных аспектах качества при использовании:

• ИСО 9241-11: определения эффективности, результативности и удовлетворенности в ИСО 9241-11 аналогичны определениям в ИСО/МЭК 25010, поэтому показатели качества использования для оценки эффективности, действенности и удовлетворенности в ИСО/МЭК 25022 также могут быть оценены как показатели удобства использования, определенные в ИСО 9241-11 (см. приложение C);
• ИСО/МЭК 25062 определяет, как должны быть задокументированы результаты итогового теста удобства использования;
• ИСО/МЭК 25063 объясняет элементы контекста использования, которые необходимо идентифицировать при измерении удобства использования;
• ИСО/МЭК 25064 объясняет, как должны быть задокументированы потребности пользователей (которые могут включать потребности в качестве при использовании);

- ИСО/ТС 20282-2 обеспечивает строгую методологию измерения эффективности, результативности и удовлетворенности потребительского продукта.

7 Формат, используемый для документирования показателей качества

Ниже приводится описание для каждого показателя, из таблиц в разделе 8.

a) ID: идентификационный код показателя качества. Каждый идентификатор состоит из следующих трех разрядов:

- код, представляющий качественные характеристики и подхарактеристики. Для результативности и эффективности используется формат «Ef» и «Ey», а для удовлетворенности, свободы от риска и охвата контекста используется формат «ABc», где «A» представляет характеристику, а «Bc» представляет подхарактеристику;

- порядковый номер в последовательности качества второстепенной характеристики;

- G: общеприменимо, может использоваться в широком диапазоне ситуаций; S: специализировано для конкретных нужд;

b) имя: имя показателя качества;

c) описание: информация, предоставляемая показателем качества;

d) функция измерения: Формула, показывающая, как элементы показателя качества объединяются для получения значения показателя качества;

e) метод: тип метода, который может быть использован для получения значения показателя:

- измерение производительности пользователей: показатели эффективности и результативности (см. D.3.3.2 и D.3.3.3);

- измерение поведения клиентов: данные, собранные о действиях, предпринятых клиентами;

- автоматизированный сбор данных: данные, собранные с помощью инструментария программного обеспечения для сбора действий пользователя;

- вопросник: показатели удовлетворенности (см. D.3.3.5);

- бизнес-аналитика: анализ деловой активности и результатов;

- анализ программного обеспечения и удобства использования: анализ потенциальных рисков, возникающих в результате человеческих или системных ошибок;

- статистика использования: анализ последствий, возникающих в результате предыдущих человеческих или системных ошибок;

- анализ описания контекста: анализ контекста использования для оценки ожидаемого качества использования;

- инспекция: инспекция системы для выявления потенциальных проблем.

8 Показатели качества при использовании

8.1 Общие положения

Показатели качества в этом разделе перечислены по качественным характеристикам и подхарактеристикам в порядке, используемом в ИСО/МЭК 25010: эффективность, результативность, удовлетворенность, свобода от риска и охват контекста.

Значения, полученные для показателей эффективности, результативности и удовлетворенности, зависят от контекста использования (см. 6.2), поэтому типы пользователей, задачи и среды, для которых проводятся (или должны проводиться) измерения, должны быть указаны в сочетании с любыми результатами измерений.

Необходимость соблюдения стандартов или правил может быть определена как часть требований к системе, но они выходят за рамки модели качества.

Примечание — Приведенный перечень показателей качества не является окончательным и может быть пересмотрен в будущих версиях настоящего стандарта. Пользователям настоящего стандарта предлагается предоставить обратную связь.

8.2 Показатели результативности

Показатели результативности оценивают точность и полноту, с которыми пользователи достигают поставленных целей.

Примечания

1 Показатели результативности не учитывают того, как были достигнуты цели, а только степень их достижения (см. D.3.1.2).

2 Фраза «ошибки, допущенные пользователем» относится к пользователю, не выполняющему намеченные действия. Эти ошибки иногда называют «ошибками использования», чтобы подчеркнуть, что основной причиной ошибки может быть плохой дизайн системы.

Таблица 1

Показатели результативности

8.3 Показатели эффективности

Показатели эффективности оценивают затраченные ресурсы в зависимости от точности и полноты, с которыми пользователи достигают поставленных целей.

Примечания

1 Наиболее распространенным ресурсом является время для выполнения задачи, хотя другие соответствующие ресурсы могут включать в себя усилия пользователя, материалы или финансовые затраты на их использование.

2 Показатели эффективности обычно сравниваются с эффективностью при использовании другого продукта или версии или эффективностью при отсутствии продукта. Эффективность также можно сравнить с эффективностью эксперта.

Таблица 2

Показатели эффективности

8.4 Показатели удовлетворенности

8.4.1 Общие положения

Показатели удовлетворенности оценивают степень удовлетворения потребностей пользователей при использовании продукта или системы в определенном контексте использования.

Область применения показателя удовлетворенности может быть следующей:

a) показатель общей удовлетворенности (SUs-1-G);

b) показатель специфической удовлетворенности с подхарактеристиками (8.4.2, 8.4.3, 8.4.4, 8.4.5);

c) общий показатель удовлетворенности, получаемый путем объединения показателей индивидуальных подхарактеристик.

Примечание — Комбинированные показатели отдельных подхарактеристик могут быть взвешены с точки зрения их относительной важности и вклада в общую удовлетворенность.

Пользователи отвечают на вопросы о своей удовлетворенности в анкете, выбирая значение по шкале, которая может иметь два балла (например, Согласен, Не согласен) или несколько баллов (например, в диапазоне от Сильно согласен до Сильно не согласен).

Суммированные баллы, полученные по опросникам удовлетворенности, часто масштабируются в диапазоне от 0 до 100. Для некоторых анкет (таких как SUS, см. [21]) существует база данных предыдущих результатов, которая позволяет преобразовать балл в значение для процента пользователей, которые ранее давали аналогичному продукту или системе тот же балл или лучше. В этом подразделе приводятся примеры методов, которые могут быть использованы для получения показателей качества для различных аспектов удовлетворенности. Конкретные показатели могут быть получены с помощью существующих опубликованных вопросников.

Примечания

1 Пользователи включают в себя также вторичных пользователей, которые осуществляют техническую поддержку, и косвенных пользователей, которые получают выходные данные, но не взаимодействуют с системой.

2 Удовлетворенность — это реакция пользователя на взаимодействие с продуктом или системой и включает в себя отношение к использованию продукта.

3 На удовлетворенность пользователей влияет восприятие пользователем свойств программного обеспечения или компьютерной системы (например, измеряемых внешними показателями), а также восприятие пользователем эффективности, действенности и свободы от рисков при использовании.

4 Удовлетворенность пользователей может быть измерена во время разработки в рамках тестирования удобства использования, с целью поиска путей улучшения дизайна. Удовлетворенность пользователей может быть измерена путем опроса пользователей после выпуска, с целью определения соответствия продукта требованиям.

5 Психометрические шкалы обладают известной надежностью и валидностью. Преимущества использования опросников, имеющих стандартизированные психометрические шкалы, объясняются в [22].

Таблица 3

Показатель общей удовлетворенности

8.4.2 Показатели полезности

Показатели полезности оценивают степень удовлетворенности пользователя достигнутыми им прагматическими целями, включая результаты и последствия использования.

8.4.3 Показатели доверия

Показатели доверия оценивают степень уверенности пользователя или другой заинтересованной стороны в том, что продукт или система будут вести себя так, как задумано.

8.4.4 Показатели удовольствия пользователя (пользовательский опыт)

Показатели удовлетворенности оценивают степень удовлетворения потребностей пользователя в удовольствии.

Примечания

1 Изменено по сравнению с определением в ИСО/МЭК 25010: «степень, в которой пользователь получает удовольствие от удовлетворения своих личных потребностей».

2 Потребности пользователей могут включать в себя потребности в приобретении новых знаний и навыков, в общении с личностью, в создании приятных воспоминаний и в вовлечении во взаимодействие.

Таблица 6

8.4.5 Показатели эргономического комфорта

Показатели комфорта оценивают степень удовлетворения потребностей пользователя в физическом комфорте.

Примечание — Изменено по сравнению с определением в ИСО/МЭК 25010: «степень, в которой пользователь удовлетворен физическим комфортом».

8.5 Показатели свободы риска

8.5.1 Общие положения

Оценка степени, в которой качество продукта или системы снижает или позволяет избежать потенциального риска для пользователя, организации или проекта, включая риски для экономического статуса, жизни и здоровья человека и окружающей среды.

Примечание — Исправленная версия определения в ИСО/МЭК 25010: «степень, в которой продукт или система снижает потенциальный риск для экономического статуса, жизни и здоровья человека или окружающей среды».

Риски нежелательных последствий могут возникать из-за неадекватности какой-либо характеристики качества продукции [11] или из-за недостаточного уровня эффективности, результативности, удовлетворенности или охвата контекста.

Риски нежелательных последствий могут повлиять на следующие типы заинтересованных сторон:

a) пользователь продукта или системы:

- здоровье и безопасность при использовании продукта или системы;

- неблагоприятные последствия из-за неспособности достичь намеченного результата;

b) организация, использующая продукт или систему:

- ущерб репутации или финансам организации в результате ошибок, допущенных пользователями из-за низкого удобства использования;

- риски, связанные с ненадлежащей эксплуатацией или безопасностью или конфиденциальностью;

c) организация, разрабатывающая продукт или систему:

- риски экономических последствий в случае, если проектирование и разработка системы, продукта или услуги не приводит к заданным значениям показателей качества продукции;

- риски экономических или репутационных последствий, приводящих к тому, что продукт или система не приобретаются, а услуга не используется в результате дефектов качества;

d) более широкое сообщество:

- риск последствий для здоровья и безопасности или негативного воздействия на окружающую среду.

В таблице 8 показано, на какие заинтересованные стороны могут повлиять последствия различных видов рисков.

Таблица 8

Виды неблагоприятных последствий для различных типов заинтересованных сторон

Показатели качества, определенные в 8.5, могут быть реализованы различными способами с учетом потребностей заинтересованных сторон. Для показателей, выраженных в терминах положительных или отрицательных результатов, снижение риска означает избегание неприемлемых значений.

Примечание — Риски неблагоприятных последствий можно контролировать, определяя минимально приемлемые уровни качества и используя их как критерии оценки. Определение более высокого уровня качества может потребовать вложения дополнительных ресурсов, но может обеспечить возможности для улучшения экономических, медицинских или экологических результатов (см. рисунок 2).

Рисунок 2 — Риски и возможности, связанные с уровнем качества

Примечания

1 Риск — это функция вероятности возникновения угрозы и потенциальных неблагоприятных последствий ее возникновения.

2 Потенциальные риски, возникающие в результате воздействия качества на конечные результаты функционирования системы или программного обеспечения, обычно основываются на оценке уровня риска для экономического статуса, жизни, здоровья человека или окружающей среды, создаваемого (прогнозируемым или измеряемым) качеством продукта (функциональная пригодность, эффективность работы, совместимость, удобство использования, надежность, безопасность, ремонтопригодность или переносимость).

Информация об оценке рисков приведена в ИСО/МЭК 31010.

8.5.2 Показатели по снижению экономических рисков

Показатели по снижению экономических рисков оценивают влияние качества систем и программного обеспечения на экономические цели, связанные с финансовым состоянием, эффективной деятельностью, коммерческой собственностью, репутацией или другими ресурсами, которые могут подвергаться риску или предоставлять возможности.

Примечания

1 Снижение риска может быть использовано для снижения риска неприемлемых экономических последствий, которые могут возникнуть в результате низкого качества продукции.

2 Ожидаемые значения показателей могут быть оценены на основе фактических значений из исторических данных.

3 Результаты измерения могут быть трудно интерпретируемы, поскольку выделение вклада, который качество продукта или системы вносит в фактические показатели каждого из экономических результатов, может быть затруднено, поскольку многие другие факторы также вносят свой вклад в эти показатели. Основная ценность этих показателей может заключаться в оценке влияния качества на экономические цели на основе предыдущего опыта влияния качества на экономические результаты. Финансовые показатели, тесно связанные с поведением системы/программного продукта (например, REc-5-S, REc-6-S, REc-7-S, REc-8-G), будут легче интерпретироваться.

Таблица 9

Показатели по снижению экономических рисков

8.5.3 Показатели по снижению рисков для здоровья и безопасности

Показатели по снижению рисков для здоровья и безопасности оценивают влияние качества на достижение целей в области здоровья и безопасности (например, предотвращение повторяющихся травм от перенапряжения).

Примечания

1 Конкретные измерения качественных характеристик, таких как безопасность, можно найти в стандарте IEC 62366 для медицинских устройств и в международных стандартах, предусмотренных МЭК 65 и ПК 27 СТК 1 ИСО/МЭК.

2 Указанные показатели могут быть использованы для снижения рисков по охране труда и технике безопасности, которые могут быть вызваны низким качеством продукции.

Таблица 10

Показатели по снижению рисков для здоровья и безопасности труда

8.5.4 Показатели по снижению экологических рисков

Показатели по снижению экологических рисков оценивают влияние качества на достижение экологических целей.

Примечание — Данные показатели могут быть использованы для снижения риска неприемлемых экологических последствий, которые могут возникнуть в результате низкого качества продукции.

8.6 Показатели по покрытию контекста

8.6.1 Общие положения

Показатели охвата контекста оценивают степень, в которой продукт или система могут использоваться с эффективностью, результативностью, удовлетворенностью и свободой от риска как в определенных контекстах использования, так и в контекстах, выходящих за рамки первоначально определенных.

Примечания

1 В приложении A приводятся примеры показателей охвата контекста.

2 Контексты считаются различными, если различия между пользователями, задачами и/или средами приводят к значительным различиям в удобстве использования [2].

8.6.2 Показатели полноты контекста

Показатели полноты контекста используются для оценки степени, в которой продукт или система могут использоваться с требуемыми уровнями эффективности, результативности, удовлетворенности и свободы от риска в каждом из указанных контекстов использования.

1 Это исправленная версия определения, содержащегося в ИСО/МЭК 25010: «степень, в которой продукт или система могут использоваться с эффективностью, результативностью, свободой от риска и удовлетворенностью во всех указанных контекстах использования».

2 Полнота контекста может быть определена или измерена либо с точки зрения фактического использования определенными пользователями для достижения определенных целей с эффективностью, результативностью, удовлетворенностью и свободой от риска во всех предполагаемых контекстах использования, либо с помощью наличия свойств продукта, которые определяют использование во всех предполагаемых контекстах.

Таблица 12

8.6.3 Показатели гибкости

Показатели гибкости используются для оценки степени, в которой продукт или система могут использоваться с приемлемым уровнем эффективности, результативности, удовлетворенности и свободы от риска в контекстах, выходящих за рамки первоначально указанных в требованиях.

Примечания

1 Гибкость позволяет продуктам учитывать обстоятельства, возможности и индивидуальные предпочтения, которые, возможно, не были предвидены заранее.

2 Гибкость может быть измерена путем анализа характеристик продукта и контекста использования для оценки степени, в которой продукт может быть использован дополнительными типами пользователей для достижения дополнительных типов целей с эффективностью, результативностью, удовлетворенностью и свободой от риска в дополнительных типах контекстов использования, или путем тестирования продукта с пользователями в этих дополнительных контекстах использования, или путем возможной модификации продукта для поддержки адаптации к новым типам пользователей, задач и сред, а также пригодности для индивидуализации, как определено в ИСО 9241-110.

Полнота контекста определяется как степень, в которой продукт или система могут использоваться с требуемыми уровнями эффективности, результативности, удовлетворенности и свободы от риска в каждом из указанных контекстов использования.

- каждая комбинация типа пользователя, задачи и среды определяет конкретный контекст использования, в котором необходимы определенные уровни качества использования (эффективность, результативность, удовлетворенность и свобода от риска);

Ef-2-S

Достигнутые цели

{^{X = 1 -} \sum {}_{i}^{A|X \geq 0}}

Ai = пропорциональное значение каждой упущенной или неправильно достигнутой цели в выходных данных задачи (максимальное значение = 1)

Ef-3-G

Ошибки в задаче

X = A

A = Количество ошибок, допущенных пользователем во время выполнения задачи

Ef-4-G

Задачи с ошибками

X = A/B

A = количество задач с ошибками

B = общее количество задач

Ef-5-G

Интенсивность ошибок в задаче

X = A/B

A = количество пользователей, допустивших ошибку

B = общее количество пользователей, выполняющих задачу

Ey-1-G

Время выполнения задачи

X = T

T = время выполнения задачи

Ey-2-S

Эффективность затраченного времени

X = A/T

A = количество достигнутых целей

T = время

Ey-3-S

Экономическая эффективность

X = A/B

A = общая стоимость выполнения задачи

B = количество достигнутых целей

Ey-4-S

Коэффициент полезного времени

X = Ta/Tb

Ta = продуктивное время = время, затраченное на выполнение задачи — время, потраченное на получение помощи или помощь — время, затраченное на восстановление после ошибок — время, затраченное на неэффективный поиск

Tb = время выполнения задачи

Ey-5-S

Ненужные действия

X = A/B

A = количество действий, в которых не было необходимости для решения поставленной задачи

B = количество действий, выполненных пользователем

Ey-6-S

Последствия усталости

X = 1 — A/B

A = текущая производительность

B = начальная производительность

SUs-1-G

Общая удовлетворенность

X = \sum (A_{i})

Ai = ответ на вопрос

SUs-2-G

SUs-3-G

Дискреционное использование

X = A/B

A = Количество пользователей, использующих определенную функцию, приложение или систему

B = Число потенциальных пользователей, которые могли бы использовать конкретную функцию, приложение или систему

SUs-4-G

Использование функций

X = A/B

A = Количество пользователей, использующих определенную функцию

B = количество идентифицированных пользователей системы

SUs-5-G

Доля жалующихся пользователей

X = A/B

A = Количество жалоб пользователей

B = количество пользователей, использующих систему

SUs-6-G

Доля жалоб пользователей на ту или иную функцию

X = A/B

A = Количество жалоб пользователей на определенную функцию

B = общее количество жалоб пользователей на функции

STr-1-G

Доверие пользователей

X = A

A = значение психометрической шкалы из опросника доверия

SPI-1-G

Удовлетворение пользователя

X = A

A = значение психометрической шкалы из опросника удовольствия

SCo-1-G

Физический комфорт

X = A

A = значение психометрической шкалы из опросника комфорта

REc-1-G

Рентабельность инвестиций (ROI)

X = (A — B)/B

A = полученные дополнительные преимущества

B = инвестированная сумма

REc-2-G

Время окупаемости инвестиций

X = T

T = время достижения ROI

REc-3-G

Эффективность бизнеса

X = Aa/At

A = рентабельность или продажи компании (Aa = фактическая, At = целевая)

REc-4-G

Преимущества инвестиций в ИТ

X = Aa/At

A = показатель выгод от инвестиций в ИТ (Aa = фактическая, At = целевая)

REc-8-G

Ошибки с экономическими последствиями

RHe-1-G

Частота возникновения проблем со здоровьем пользователей

X = A/B

A = Количество

пользователей, сообщающих о проблемах со здоровьем

B = общее количество пользователей

RHe-2-G

Воздействие на здоровье и безопасность пользователей

X = \sum (Ta_{i}*S_{i})/Tb

i = от 1 до n

n = количество пострадавших людей

Tai = отрезок времени, в течение которого i-й человек подвергается воздействию

Si = степень значимости воздействия на i-го человека

Tb = продолжительность времени с момента запуска системы в эксплуатацию

REn-1-G

Экологическое воздействие

X = Aa/At

A = воздействие на окружающую среду (Aa = фактическое, At = целевое)

CCm-1-G

Полнота контекста

X = A/B

A = Количество контекстов с приемлемым удобством использования и риском

B = общее количество требуемых различных контекстов использования

CFI-1-S

Использование гибких связей

X = A/B

A = Количество дополнительных контекстов, в которых продукт может быть использован с приемлемым качеством в использовании

B = общее количество дополнительных контекстов, в которых может использоваться продукт

REn-1-G

Экологическое воздействие

X = Aa/At

A = воздействие на окружающую среду (Aa = фактическое, At = целевое)

CFI-2-S

Гибкость продукта

X = \sum A_{i}/B

i = от 1 до B

Ai = Модифицируемость (как указано в стандарте ИСО/МЭК 25023) для каждого нового требования

B = общее количество новых требований от указанных пользователей

CFI-3-S

Независимость от квалификации

X = A/B

A = Количество дополнительных групп пользователей без специальных знаний, навыков или опыта, которые могут использовать продукт

B = общее число потенциальных групп пользователей, не имеющих специальных знаний, навыков или опыта

Приложение C (справочное)

ИСПОЛЬЗОВАНИЕ ИСО/МЭК 25022 ДЛЯ ИЗМЕРЕНИЯ УДОБСТВА ИСПОЛЬЗОВАНИЯ В КОНТЕКСТЕ ИСО 9241-11

Определения удобства использования (обновленная версия в ИСО 9241-210) и эффективности и результативности в ИСО 9241-11 практически совпадают с определениями в ИСО/МЭК 25010, в то время как определения удовлетворенности различны.

Примечание — В ИСО 9241-11 эффективность, результативность и удовлетворенность являются подхарактеристиками удобства использования.

Удобство использования

Степень, в которой продукт или система могут использоваться определенными пользователями для достижения определенных целей с эффективностью, эффективностью и удовлетворением в определенном контексте использования

Степень, в которой система, продукт или услуга могут использоваться определенными пользователями для достижения определенных целей с эффективностью, результативностью и удовлетворением в определенном контексте использования

Результативность

Точность и полнота, с которыми пользователи достигают поставленных целей

Точность и полнота, с которыми пользователи достигают поставленных целей

Эффективность

Ресурсы, затраченные в связи с точностью и полнотой, с которыми пользователи достигают поставленных целей

Ресурсы, затраченные в связи с точностью и полнотой, с которыми пользователи достигают поставленных целей

Удовлетворение

Степень удовлетворения потребностей пользователя при использовании продукта или системы в определенном контексте использования

Свобода от дискомфорта и позитивное отношение к использованию продукта

Таким образом, все показатели качества в 8.2 (результативность) и 8.3 (эффективность) могут быть использованы для измерения эффективности и результативности в стандарте ИСО 9241-11. Показатели качества, которые могут быть использованы для измерения удовлетворенности в ИСО 9241-11, — это показатели в 8.4.1 (общие), 8.4.2 (полезность) и 8.4.3 (доверие), которые являются показателями позитивного отношения, и показатели в 8.4.5 (комфорт), которые являются показателями свободы от дискомфорта.

Примечание — Все показатели удовлетворенности, включая 8.4.4 (удовольствие), входят в предполагаемую сферу охвата удовлетворенности в новой версии ИСО 9241-11.

Приложение D (справочное)

ПРОЦЕСС ОЦЕНКИ КАЧЕСТВА ПРИ ИСПОЛЬЗОВАНИИ

D.1 Общие положения

В данном приложении определяется порядок проведения оценки, состоящий из следующих этапов:

- Разработка требований к оценке:

- сформулировать цель оценки;

- определить типы продуктов;

- уточнить модель качества;

- Разработка спецификации оценки:

- определить контексты использования;

- выбрать контекст для оценки;

- выбрать показатели;

- установить критерии оценки;

- интерпретировать показатели;

- Разработка проекта оценки;

- Выполнение оценки:

- выполнить пользовательские тесты и собирать данные;

- Подготовка отчета.

Примечания

1 Положения данного приложения соответствуют структуре процесса оценки, описанной в ИСО/МЭК 25040.

2 ИСО/ТС 20282-2 содержит подробную спецификацию процесса оценки эффективности, действенности и удовлетворенности потребительских товаров и товаров для общественного пользования, которая согласуется с процессом, описанным в настоящем приложении.

D.2 Разработка требований к оценке

D.2.1 Формулирование цели оценки

Целью оценки качества при использовании является оценка степени, в которой продукт позволяет пользователям удовлетворять свои потребности для достижения определенных целей в конкретных контекстах использования (сценариях использования).

D.2.1.1 Приобретение

До начала разработки организация, стремящаяся приобрести продукт, специально адаптированный к ее потребностям, может применить модель качества при использовании для определения требований, которым должен соответствовать продукт и по которым могут быть проведены приемочные испытания. Следует определить конкретные контексты, в которых должно измеряться качество при использовании, выбрать показатели эффективности, результативности, удовлетворенности и свободы от риска, а также установить критерии приемлемости, основанные на этих показателях.

D.2.1.2 Поставка

Поставщик может оценить качество при использовании, чтобы убедиться, что продукт соответствует потребностям конкретных типов пользователей и сред использования. Предоставление потенциальному покупателю результатов оценки качества при использовании поможет ему судить о том, соответствует ли продукт его конкретным потребностям (см. [10]).

D.2.1.3 Развитие

Четкое понимание требований пользователей к качеству при использовании в различных контекстах поможет команде разработчиков ориентировать проектные решения на удовлетворение реальных потребностей пользователей и фокусировать цели разработки на удовлетворении критериев качества при использовании. Эти критерии могут быть оценены после завершения разработки.

D.2.1.4 Эксплуатация

Измеряя аспекты качества при использовании, организация, эксплуатирующая систему, может оценить степень, в которой система отвечает их потребностям, и оценить, какие изменения могут потребоваться в будущем.

D.2.1.5 Техническое обслуживание

Для человека, обслуживающего программную продукцию, может быть измерено качество при использовании задач технического обслуживания.

D.2.1.6 Перенос

Для человека, осуществляющего перенос программного обеспечения, может быть измерено качество при использовании задач переноса.

D.2.2 Определение типов продуктов

Для оценки качества при использовании требуется рабочий прототип или конечный продукт.

D.2.3 Уточнение модели качества

Используемая модель качества — это модель качества при использовании, приведенная в ИСО/МЭК 25010. Качество при использовании определяется как степень, в которой продукт или система могут быть использованы конкретными пользователями для удовлетворения их потребностей в достижении конкретных целей с результативностью, эффективностью, удовлетворенностью и свободой от риска в конкретных контекстах использования.

D.3 Разработка спецификации оценки

D.3.1 Определение контекстов использования

Чтобы определить или измерить качество при использовании, необходимо определить каждый компонент контекста использования: пользователей, их цели и среду использования. Обычно невозможно проверить все возможные контексты использования, поэтому обычно необходимо выбрать важные или репрезентативные группы пользователей и задач.

D.3.1.1 Пользователи

Необходимо указать характеристики пользователей, которые могут повлиять на их производительность при использовании продукта. Это могут быть знания, умения, опыт, образование, тренировка, физические качества, двигательные и сенсорные способности. Возможно, потребуется определить характеристики различных типов пользователей, например пользователей с различным уровнем опыта или выполняющих различные роли.

Примечание — Учитывая старение населения, характеристики пожилых людей и инвалидов могут оказывать влияние на их работу. Это может быть связано с дополнительным опытом, обеспечивающим лучшую производительность, или физическими, моторными или сенсорными способностями, делающими производительность в различных или сложных контекстах использования более трудной.

D.3.1.2 Цели (предполагаемые результаты)

Цели использования продукта должны быть указаны. Цели определяют, что должно быть достигнуто, а не как. Цели могут быть разложены на подцели, которые определяют компоненты общей цели и критерии, которые удовлетворяли бы этой подцели. Например, если целью является заполнение формы заказа клиента, подцелью может быть ввод правильной информации в каждое поле. Широта общей цели зависит от объема оценки. Задачи — это действия, необходимые для достижения целей.

D.3.1.3 Окружающая Среда

Операционная среда

Следует указать аппаратную и программную операционную среду, так как это может повлиять на работу программного обеспечения. Это включает в себя более широкие аспекты, такие как время отклика сети.

Пользовательская среда

Следует также указать любые аспекты среды использования, которые могут влиять на производительность пользователя, такие как физическая среда (например, рабочее место, мебель), окружающая среда (например, температура, освещение) и социальная и культурная среда (например, трудовая практика, доступ к помощи и мотивация).

D.3.2 Выбор контекста для оценки

Важно, чтобы контекст, используемый для оценки, максимально точно соответствовал одной или нескольким средам, в которых продукт будет фактически использоваться. Достоверность полученных показателей для прогнозирования уровня качества при использовании, достигаемого при фактическом использовании продукта, будет зависеть от того, насколько пользователи, задачи и окружающая среда являются репрезентативными для реальной ситуации. С одной стороны, можно проводить измерения в «полевых условиях», используя реальную ситуацию в качестве основы для оценки качества использования продукта. С другой стороны, можно оценить конкретный аспект продукта в «лабораторной» обстановке, в которой те аспекты контекста использования, которые являются релевантными, воссоздаются репрезентативным и контролируемым образом. Преимущество использования лабораторного подхода заключается в том, что он дает возможность осуществлять больший контроль над параметрами, которые, как ожидается, окажут критическое влияние на достигнутый уровень качества использования, и можно проводить более точные измерения. Недостатком является то, что искусственная природа лабораторной среды может привести к неадекватным результатам.

D.3.3 Выбор показателей

D.3.3.1 Выбор показателей

Чтобы определить или оценить качество при использовании, обычно необходимо измерить по крайней мере один показатель эффективности, результативности, удовлетворенности и, если это уместно, свободы от риска.

Выбор показателей и контекстов, в которых они измеряются, зависит от целей сторон, участвующих в измерении. Следует учитывать относительную важность каждого показателя для достижения целей. Например, там, где продукт используется не интенсивно, более важное значение может быть придано измерениям для понимания и обучаемости, а не качеству использования.

Показатели качества при использовании должны основываться на данных, отражающих результаты взаимодействия пользователей с продуктом. Можно собирать данные с помощью объективных средств, таких как измерение производительности, скорости работы или наступления определенных событий. Кроме того, данные могут быть собраны из субъективных ответов пользователей, выражающих чувства, убеждения, отношения или предпочтения. Объективные показатели дают прямые указания на эффективность и результативность, в то время как субъективные показатели могут быть непосредственно связаны с удовлетворением.

Оценки могут проводиться в различных условиях, от полевых до лабораторных, в зависимости от вопросов, которые необходимо исследовать, и полноты продукта, доступного для тестирования. Выбор тестовой среды и показателей будет зависеть от целей измерительной деятельности и их взаимосвязи с циклом проектирования.

D.3.3.2 Результативность

Показатели эффективности измеряют точность и полноту, с которыми могут быть достигнуты цели.

Например, если желаемой целью является точное воспроизведение двухстраничного документа в заданном формате, то точность может быть определена или измерена количеством орфографических ошибок и количеством отклонений от заданного формата, а полнота может быть определена или измерена количеством слов транскрибируемого документа, деленным на количество слов в исходном документе.

Показатели свободы от риска относятся к риску эксплуатации программного обеспечения или компьютерной системы с течением времени, условиям использования и контексту использования. Свобода от риска может быть проанализирована с точки зрения снижения операционного риска и риска непредвиденных обстоятельств. Снижение операционного риска — это способность программного обеспечения удовлетворять требованиям пользователя при нормальной работе без ущерба для других ресурсов и окружающей среды. Снижение риска непредвиденных обстоятельств — это способность программного обеспечения работать вне своей нормальной работы и отвлекать ресурсы для предотвращения эскалации риска.

D.3.3.5 Удовлетворение

Удовлетворенность измеряет степень, в которой пользователи свободны от дискомфорта, и их отношение к использованию продукта.

Удовлетворенность может быть определена и измерена с помощью субъективной оценки по таким шкалам, как: симпатия к продукту, удовлетворенность использованием продукта, приемлемость рабочей нагрузки при выполнении различных задач или степень достижения конкретных целей использования (таких как обучаемость). Другие показатели удовлетворенности могут включать в себя количество положительных и отрицательных комментариев, зафиксированных во время использования. Дополнительная информация может быть получена из более долгосрочных показателей, таких как частота простоев, наблюдение за когнитивной или физической загруженностью пользователя, или из отчетов о проблемах со здоровьем, а также частотой, с которой пользователи запрашивают перевод на другую работу.

Субъективные меры удовлетворенности производятся путем количественной оценки субъективно выраженных реакций, установок или мнений пользователя. Этот процесс количественной оценки может быть осуществлен несколькими способами, например попросив пользователя дать число, соответствующее его ощущениям в любой конкретный момент использования, или попросив пользователей ранжировать продукты в порядке предпочтения, или используя шкалу отношения, основанную на анкете.

Правильно разработанные веса отношения могут быть быстро использованы, обладают известной надежностью и не требуют специальных навыков для применения. Опросники отношения, разработанные с использованием психометрических методов, будут иметь известные и поддающиеся количественной оценке уровни надежности и валидности и могут быть устойчивы к таким факторам, как фальсификация, положительная или отрицательная предвзятость ответа и социальная желательность. Они также позволяют сравнивать результаты с установленными нормами для ответов, полученных в прошлом. См. библиографию для примеров вопросников, которые измеряют удовлетворенность компьютерными системами.

Выбор критериальных значений используемых показателей качества зависит от требований к продукту и потребностей организации, устанавливающей критерии. Цели качества при использовании могут быть связаны с основной целью (например, создание письма) или подцелью (например, поиск и замена). Фокусирование целей качества при использовании на наиболее важных целях пользователя может означать игнорирование многих функций, но, скорее всего, это будет наиболее практичный подход. Постановка целей качества при использовании для конкретных подцелей может позволить провести оценку на более ранних этапах процесса разработки.

При задании значений критериев для группы пользователей они могут быть заданы как среднее значение (например, среднее время выполнения задачи должно составлять не более 10 минут), для отдельных лиц (например, все пользователи могут выполнить задачу в течение 10 минут) или для процента пользователей (например, 90% пользователей могут выполнить задачу за 10 минут).

При установлении критериев следует позаботиться о том, чтобы каждому элементу измерения был придан соответствующий вес. Например, чтобы установить критерии, основанные на ошибках, может потребоваться назначить весовые коэффициенты, отражающие относительную важность различных типов ошибок.

Поскольку относительная важность характеристик качества в использовании зависит от контекста использования и целей, для которых определяется или оценивается качество при использовании, не существует общего правила выбора или комбинирования показателей.

Следует проявлять осторожность при обобщении результатов любых показателей качества при использовании в другом контексте, который может иметь значительно отличающиеся типы пользователей, задач или сред. Если показатели качества при использовании получаются в течение коротких периодов времени, то значения могут не учитывать нечастые события, которые могут оказать значительное влияние на качество при использовании, например периодические системные ошибки.

Для продукта общего назначения, как правило, необходимо определить или измерить качество при использовании в нескольких различных репрезентативных контекстах, которые будут представлять собой подмножество возможных контекстов и задач, которые могут быть выполнены. Между качеством при использовании в этих контекстах могут быть различия.

Оценка должна проводиться в условиях, максимально приближенных к тем, в которых будет использоваться продукт. Важно, чтобы:

• пользователи являлись репрезентативными для множества пользователей, использующих продукт.

Примечание — В приложении C [5] подробно описано, как выбрать репрезентативную выборку пользователей, включая то, как учитывать незначительные группы пользователей (такие как конкретная национальность или конкретная инвалидность);

• задачи являлись репрезентативными по отношению к предназначению системы;
• условия являлись репрезентативными для нормальных условий, в которых используется продукт (включая доступ к помощи, временные ограничения и отвлекающие факторы).

Опыт показал, что надежные результаты могут быть получены только на выборке, состоящей из не менее восьми участников (см. [10]).

D.5 Выполнение оценки

D.5.1 Выполнение пользовательских тестов и сбор данных

При оценке качества при использовании важно, чтобы пользователи работали без посторонней помощи, имея доступ только к тем формам помощи, которые были бы доступны при нормальных условиях использования. Помимо измерения эффективности, результативности и удовлетворенности, обычно документируют проблемы, с которыми сталкиваются пользователи, и обсуждают их в конце сеанса. Часто бывает полезно записать оценку на видео, что позволяет проводить более детальный анализ. Кроме того, пользователям легче работать без помех, если они контролируются удаленно с помощью видео.

D.6 Подготовка доклада

Если требуется всеобъемлющий отчет, то общий отраслевой формат [10] обеспечивает хорошую структуру для отчетности об эффективности, результативности и удовлетворенности.

Приложение E (справочное)

ВЗАИМОСВЯЗЬ МЕЖДУ РАЗЛИЧНЫМИ МОДЕЛЯМИ КАЧЕСТВА

Качество систем/программного продукта — это степень, в которой он удовлетворяет заявленные и подразумеваемые потребности различных заинтересованных сторон и, таким образом, обеспечивает ценность. Эти заявленные и подразумеваемые потребности представлены в серии стандартов SQuaRE моделями качества, которые классифицируют качество системы/программного продукта по характеристикам, которые в некоторых случаях далее подразделяются на подхарактеристики.

Потребности пользователей в качестве включают в себя требования к качеству системы, используемой в конкретных условиях. Эти выявленные потребности могут быть использованы при определении внешних и внутренних показателей качества с использованием характеристик и подхарактеристик качества системы в процессе ее использования.

Качество программного обеспечения может быть оценено путем измерения внутренних свойств (как правило, статических показателей промежуточных продуктов) или путем измерения внешних свойств (как правило, путем измерения поведения кода при выполнении).

Качество системы/программного продукта при использовании может быть оценено путем измерения свойств качества при использовании (когда продукт находится в реальном использовании или тестовой среде).

Соответствующие внутренние свойства программного обеспечения являются предпосылкой для достижения требуемого внешнего поведения, а соответствующее внешнее поведение является предпосылкой для достижения качества использования (см. рисунок E.1).

Рисунок E.1 — Взаимосвязь между типами показателей качества

Приложение F (справочное)

КОНЦЕПЦИИ ИЗМЕРЕНИЯ КАЧЕСТВА

Измеримые свойства системы/программного продукта, связанные с качеством, называются свойствами для количественной оценки с соответствующими показателями качества. Эти свойства измеряются с помощью метода измерения. Метод измерения — это логическая последовательность операций, используемых для количественной оценки свойств относительно заданного масштаба. Результат применения метода измерения называется элементом показателя качества.

Качественные характеристики и подхарактеристики могут быть количественно оценены с помощью применения измерительных функций. Функция измерения — это алгоритм, используемый для объединения элементов показателя качества.

Результат применения измерительной функции называется показателем качества. Таким образом, показатели качества становятся количественными показателями качественных характеристик и подхарактеристик. Для измерения характеристики качества или подхарактеристики может использоваться несколько показателей качества (см. рисунок F.1).

Примечание — Целевым объектом может быть система, программный продукт, данные или пользователь (см. ИСО/МЭК 25010, рисунок 5).

Рисунок F.1 — Измерение качественных характеристик

Приложение G (справочное)

ИСПОЛЬЗОВАНИЕ ЭЛЕМЕНТА ПОКАЗАТЕЛЯ КАЧЕСТВА (QME) ДЛЯ ОПРЕДЕЛЕНИЯ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

Большинство QME полностью описаны в определении каждого показателя качества. Некоторые QME, используемые в нескольких показателях качества, определены ниже:

• задача (действия, предпринимаемые Пользователем для достижения поставленной цели);
• объект;
• назначение задачи;
• ошибка пользователя (действие или убеждение пользователя, которое непреднамеренно отклоняет его от правильных действий);
• задачи с ошибками (задачи, в которых пользователь непреднамеренно отклоняется от правильного решения).

Приложение ДА (справочное)

СВЕДЕНИЯ О СООТВЕТСТВИИ ССЫЛОЧНЫХ МЕЖДУНАРОДНЫХ СТАНДАРТОВ НАЦИОНАЛЬНЫМ СТАНДАРТАМ

Таблица ДА.1

БИБЛИОГРАФИЯ