ГОСТ Р ИСО/МЭК 20741-2019. Национальный стандарт Российской Федерации. Системная и программная инженерия. Руководство для оценки и выбора инструментальных средств программной инженерии

(утв. и введен в действие Приказом Росстандарта от 18.10.2019 № 1031-ст)

1 января 2021 года

Предисловие

1 ПОДГОТОВЛЕН Акционерным обществом «Всероссийский научно-исследовательский институт сертификации» (АО «ВНИИС») и Обществом с ограниченной ответственностью «Информационно-аналитический вычислительный центр» (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 022 «Информационные технологии»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2019 г. № 1031-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 20741:2017 «Системная и программная инженерия. Руководство для оценки и выбора инструментальных средств программной инженерии» (ISO/IEC 20741:2017 «Systems and software engineering — Guideline for the evaluation and selection of software engineering tools», IDT).

ИСО/МЭК 20741 разработан подкомитетом ПК 7 «Проектирование систем и программного обеспечения» Совместного технического комитета СТК 1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК)

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

В области системной и программной инженерии инструментальные средства программной инженерии представляют собой основную часть вспомогательных технологий, используемых для разработки и обслуживания информационно-технологических систем. Выбор инструментальных средств осуществляется с тщательным учетом как технических, так и управленческих требований.

Целью процесса оценки является получение количественных и сопоставимых результатов по всем альтернативным кандидатам. Окончательный выбор может быть основан на этих результатах. Чтобы быть полезными и принятыми, процессы оценки и выбора инструментальных средств должны помогать как их пользователям, так и поставщикам. Чем более объективными, повторяемыми и беспристрастными являются процессы оценки и выбора, тем более широко они применяются. Информация и руководство, изложенные в настоящем стандарте, призваны привести к более экономичному выбору инструментальных средств и единообразию в описании функций и свойств инструментальных средств программной инженерии.

Для оценки и выбора инструментальных средств программной инженерии необходим набор процессов, поддерживающих процедуру оценки и выбора, перечень возможностей, обеспечивающих область применения функциональных требований, а также перечень характеристик, обеспечивающих область применения нефункциональных требований.

Как правило, оценка и выбор инструментальных средств выполняются в рамках конкретной, целевой области применения инструментальных средств по практическим соображениям для управления областью применения оценки и выбора. Примеры таких областей характеризуют инструментальные средства разработки требований и управления конфигурацией. Перечни возможностей зависят от области применения инструментальных средств, но перечень характеристик и набор процессов оценки и выбора являются более общими для всех областей применения инструментальных средств программной инженерии.

Настоящий стандарт определяет набор процессов и перечень характеристик, которые могут применяться в любых областях применения инструментальных средств программной инженерии. Настоящий стандарт может использоваться вместе с любым стандартом, который определяет перечень возможностей для области применения инструментальных средств.

Так, опубликованы международные стандарты, определяющие перечни возможностей для конкретных областей применения инструментальных средств, такие как ИСО/МЭК 30130 — для инструментальных средств тестирования программных средств, ИСО/МЭК ТО 24766 — для инструментальных средств разработки требований и ИСО/МЭК ТО 18018 — для инструментальных средств управления конфигурацией. Перечни возможностей для других областей программной инженерии могут быть разработаны в виде серии стандартов в соответствии с их приоритетностью.

В настоящем стандарте предполагается, что область применения инструментальных средств определяется перед началом оценки и выбора. Рекомендуется, чтобы решение было основано на ИСО/МЭК 15940, в котором определены услуги программной инженерии для каждой области применения инструментальных средств.

В настоящем стандарте принята общая модель характеристик и подхарактеристик качества программного продукта, которая определена в ИСО/МЭК 25010, и даны дополнительные указания по применению модели, когда программный продукт является инструментальным средством разработки программного обеспечения. Настоящий стандарт также соответствует модели оценки программного продукта, определенной в ИСО/МЭК 25041.

1 Область применения

В настоящем стандарте представлены руководящие указания для оценки и выбора инструментальных средств программной инженерии (далее по тексту — инструментальных средств), частично или полностью охватывающие жизненный цикл программной инженерии.

В настоящем стандарте определены процессы и действия, которые должны быть использованы для оценки и выбора наиболее подходящих инструментальных средств из нескольких приемлемых вариантов.

Для выбранных процессов установлены задачи и действия, применимые для оценки и выбора наиболее подходящих инструментальных средств из нескольких приемлемых вариантов.

В настоящем стандарте установлены процессы для оценки и выбора наиболее подходящих инструментальных средств из нескольких приемлемых вариантов.

Поскольку эти процессы являются общими, организации могут адаптировать эти процессы для удовлетворения своих потребностей. Процессы оценки и выбора инструментальных средств можно рассматривать в более широком контексте процесса внедрения технологий в организации.

Настоящий стандарт предоставляет следующее:

a) руководящие указания по определению организационных требований к инструментальным средствам;

b) руководящие указания по сопоставлению этих требований с характеристиками инструментальных средств, подлежащих оценке;

c) процесс выбора наиболее подходящих инструментальных средств из нескольких приемлемых, основанный на измерениях определенных характеристик.

Примечание 1 — Руководящие указания по сопоставлению этих требований с возможностями инструментальных средств не включены в настоящий стандарт, соответствующие положения содержатся в серии стандартов для каждой области приложения конкретных инструментальных средств.

Главными пользователями настоящего стандарта являются организации, имеющие намерения применять инструментальные средства для поддержания процессов жизненного цикла программных средств. Поставщики инструментальных средств также могут использовать настоящий стандарт для описания характеристик своих инструментальных средств программной инженерии.

Настоящий стандарт не применяется:

a) к основам программной инженерии, цель которых заключается в предоставлении механизмов интеграции данных, управления и представления;

b) инструментальным средствам общего назначения (например, текстовым процессорам, электронным таблицам), которые могут использоваться в программной инженерии, а также к средствам очень узкой области или специального назначения (например, компиляторам);

c) планированию внедрения инструментальных средств внутри организации.

Примечание 2 — Пользователь, применяющий настоящий стандарт, может выбрать наилучшее инструментальное средство, однако при этом не будет обладать гарантиями относительно его успешного внедрения.

Методы, определенные в настоящем стандарте, являются полезными не только при выборе инструментальных средств, но и для любого проекта, где вместо разработки нового программного обеспечения могут быть выбраны ГКП или ПООИК.

Соблюдение указаний, представленных в настоящем стандарте, заключается в выполнении действий и задач, которые свойственны определенным процессам оценки и выбора программных средств. Организации, использующие настоящий стандарт в целях торговли, могут указать минимальный набор процессов и связанных с ними действий и задач, подходящих для данного применения инструментальных средств.

2 Нормативные ссылки

В настоящем стандарте нормативные ссылки отсутствуют.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями.

ИСО и МЭК обеспечивают терминологические базы данных стандартизации, которые находятся по следующим ссылкам:

• Электропедия МЭК доступна на сайте: http://www.electropedia.org/
• Платформа онлайн просмотра ИСО доступна на сайте: http://iso.org/obp

3.1 неделимые подхарактеристики (atomic sub-characteristic): Самый низкий уровень подхарактеристик.

Примечание - Оценочные категории наивысшего уровня называются характеристиками. Характеристики обычно разделяются на подхарактеристики. На самом низком уровне, когда последующие деления являются невозможными, характеристики именуются неделимыми подхарактеристиками.

3.2 характеристика (characteristic): Свойство продукта, согласно которому он может быть описан и оценен.

Примечание - Характеристика может быть детализирована на многих уровнях подхарактеристик, которые касаются их способности удовлетворять сформулированным или подразумеваемым потребностям.

3.3

показатель (measure): Переменная, которой присваивается значение в результате измерения. Примечание — Термин «показатели» используется для коллективного обозначения базовых показателей, производных показателей и индикаторов. [ИСО/МЭК 15939:2007, статья 2.15, с изменениями. Словосочетание «множественная форма» изменено на «термин»].

3.4

измерять (measure): Производить измерение, оценку. [ИСО/МЭК 25040:2011, статья 4.39].

3.5

измерение, оценка (measurement): Множество операций, направленных на определение значения показателя. Примечание — Измерение (оценка) может включать в себя назначение качественной категории, например язык исходной программы (Ада, Си, Кобол и др.). [ИСО/МЭК 15393: 2007, статья 2.17, с изменениями примечания 1].

3.6 инструментальное средство программной инженерии (software engineering tool): Программный продукт, который помогает специалистам программной инженерии обеспечивать автоматизированную поддержку.

3.7 ранжирование (rating): Действие, направленное на установление значения измерения (оценки) соответствующему уровню ранжирования.

Примечания

1 Используется для определения уровня ранжирования программного средства согласно установленной характеристике качества.

2 Ранжирование и уровни ранжирования могут применяться к иным характеристикам, а не только к характеристикам качества.

3.8 уровень ранжирования (gratin level): Значение на порядковой шкале, которая используется для ранжирования по шкале измерения (оценки).

Примечания

1 Уровень ранжирования позволяет классифицировать (ранжировать) программное средство в соответствии со сформулированными или подразумеваемыми потребностями (см. 8.2).

2 Соответствующие уровни ранжирования могут относиться к разным точкам зрения на качество (например, с точки зрения «Пользователей», «Менеджеров» или «Разработчиков»).

4 Сокращения

В настоящем стандарте использованы следующие сокращения:

СИ — стендовые испытания;

ГКП — готовый коммерческий продукт;

ПООИК — программное обеспечение с открытыми исходными кодами;

ГПИ — графический пользовательский интерфейс.

5 Общее представление оценки и выбора инструментальных средств

5.1 Введение в оценку и выбор инструментальных средств

В настоящем стандарте определены как набор процессов, так и структурированное множество характеристик, используемых для технической оценки и окончательного выбора инструментального средства. Стандарт соответствует модели оценки программного продукта, которая приведена в ИСО/МЭК 25041.

Настоящий стандарт утверждает общую модель характеристик и подхарактеристик качества программного продукта, которая определена в ИСО/МЭК 25010, и применяет их к инструментальному средству программной инженерии; он обеспечивает учет специфики инструментальных средств, как описано в 10.2 - 10.4. Множество характеристик подразделяется далее на три группы: характеристики, связанные с функциональностью использования инструментальных средств, характеристики с общим качеством, а также характеристики, не связанные с качеством.

Примечание - Функциональные возможности инструментальных средств программной инженерии описаны в ряде стандартов для каждой области приложения.

Целью процесса технической оценки является предоставление количественных результатов, на которых основывается окончательный выбор. Измерение определяет количество (или другие данные ранжирования) для атрибутов сущностей. Главное действие заключается в получении результатов измерения для последующего использования при выборе инструментальных средств. Результаты окончательного выбора должны быть объективными, повторяемыми и беспристрастными. Решение указанных задач и достижение достоверности результатов зависят от ресурсов, которые использовались в процессе общей оценки и выбора. Пользователю настоящего стандарта предлагается решить эти проблемы на ранней стадии.

5.2 Основные положения оценки и выбора инструментальных средств

Данный подраздел иллюстрирует общее представление оценки и выбора инструментальных средств по настоящему стандарту, приведенное на рисунке 1. Оценка и выбор инструментальных средств включают в себя четыре основных процесса:

• процесс подготовки;
• процесс структурирования;
• процесс оценки;

На схемах процессов, приведенных на рисунках 1 - 5, прямоугольник с округленными углами обозначает процесс/действие, обычный прямоугольник — результат процесса/действия, а пунктирный прямоугольник — план, предполагаемый каждым процессом без каких-либо ссылок. Кроме того, сплошная стрелка обозначает поток данных, а пунктирная стрелка показывает порядок выполнения перехода между процессами/действиями.

Основной процесс — это структурирование множества требований, помогающих в оценке подходящих инструментальных средств, на которых основываются решения по выбору. Характеристики инструментальных средств, определенные в 10.2 - 10.4, формируют основу для структурирования требований, а также играют главную роль во всем процессе.

5.3 Общие положения по процессу

В целом существует несколько положений по процессам, которые описаны в настоящем стандарте. Задача таких положений заключается в том, чтобы пользователь настоящего стандарта мог применить их таким образом, чтобы максимально увеличить успешность оценки и выбора инструментальных средств, а также минимизировать затраты и риски.

5.3.1 Последовательность процессов

Настоящий стандарт не навязывает последовательности действий в процессах, описанных выше и в следующих пунктах. Организация должна выбрать соответствующие процессы и действия, необходимые для достижения целей оценки и выбора.

Организация решает, что применять, в какой последовательности и с какой степенью параллельности. Последовательность действий процессов следует документировать в плане проекта по оценке.

5.3.2 Снижение затрат и рисков

Как правило, организации, применяющие настоящий стандарт, стремятся, насколько это возможно, минимизировать затраты всего процесса оценки и выбора, сохраняя при этом уровень усилий, необходимый для выбора наиболее подходящих инструментальных средств для их использования. Эти цели могут быть достигнуты путем сведения к минимуму числа оцениваемых инструментальных средств, минимизации затрат на оценку конкретных инструментальных средств и обеспечения того, чтобы формальность процесса была приемлемой для организации.

Действия, направленные на сбор информации об инструментальных средствах, а также определение возможных вариантов инструментальных средств (см. раздел 9), позволяют пользователю настоящего стандарта эффективно сопоставлять имеющиеся инструментальные средства с потребностями организации и исключать из рассмотрения те средства, которые не удовлетворяют или навряд ли удовлетворят потребностям организации.

Организация может оказаться в состоянии, когда не находит какое-либо инструментальное средство, которое, как представляется, будет в достаточной степени удовлетворять ее потребностям. В таком случае следует пересмотреть заявленные потребности, и если окажется, что они адекватно отражают фактические потребности организации в совершенствовании технологии, то от стандартного процесса оценки и выбора можно будет отказаться. Аналогичным образом, если возможные инструментальные средства представляются несущественными с точки зрения удовлетворения потребностей организации, то уровень детализации и формальности последующих действий должен отражать фактор риска, и организация должна быть готова не выбирать инструментальное средство, если об этом свидетельствует процесс оценки, поскольку типовые затраты на внедрение нового инструмента в оперативное использование окажутся существенными.

Оценка возможных инструментальных средств должна быть выполнена заранее, а ее результаты должны быть пригодны для организации. Такая информация может использоваться для снижения затрат на оценку возможных инструментальных средств.

Примечание 1 — Предыдущие оценки, которые были выполнены на другой версии возможного инструментального средства-кандидата, еще могут оказаться полезными. Аналогичным образом, оценки, учитывающие различные организационные потребности, могут по-прежнему дать полезную информацию.

Настоящий стандарт рекомендует разработку нескольких планов и отчетов, а также их рассмотрение различными сотрудниками организации. Кроме того, необходимы действия для выполнения четырех описанных выше процессов.

Формат и уровень детализации информационных продуктов оставляются на усмотрение организации, как и уровень усилий, необходимых для выполнения действий.

Примечание 2 — Некоторые организации могут потребовать ограничить область применения, детализацию и формальность процессов для того, чтобы настоящий стандарт использовался в условиях существующих ограничений на ресурсы.

6 Процесс подготовки

6.1 Цель

В ходе выполнения данного процесса определяются цели и критерии выбора инструментальных средств, а также план проекта по оценке и выбору инструментальных средств.

Определяется набор руководств по выбору инструментальных средств, разрабатывается план проекта. Общее представление процесса подготовки приведено на рисунке 2.

6.2 Результаты

Результаты, полученные после успешного проведения процесса подготовки, включают в себя:

a) задачи для выбора инструментального средства;

b) перечень критериев выбора;

c) план проекта по оценке и выбору инструментальных средств.

6.3 Действия и задачи

6.3.1 Определение цели

Разработка множества реальных целей является первым обязательным действием. В ходе определения целей следует обосновать целесообразность приобретения (почему необходимо приобрести инструментальное средство), а также общую политику приобретения (какой тип инструментального средства приобрести и как это сделать).

Примечание - Действия, связанные с определением цели, которые включают в себя возможность установления критериев выбора, должны быть выполнены как часть других действий до начала официального процесса подготовки к оценке и выбору инструментальных средств.

Важно решить следующие задачи:

a) обосновать целесообразность приобретения:

1. проанализировать текущий процесс разработки программных средств организацией, определяя его завершенность и проблемные области;

2. проанализировать текущее состояние технологий инструментальных средств, а также проследить тенденции последующего использования таких технологий;

3. сравнить существующие практики организации с возможными будущими (при использовании инструментальных средств), а также определить сферы потенциальной выгоды;

b) определить цели и ожидания:

1. определить общие цели (например, повышение производительности, улучшение качества, совершенствование управления процессом);

2. определить ограничения, касающиеся выбора (например, затраты, графики, ресурсы);

3. выразить количественно и классифицировать ожидания (на основе целей);

c) установить общую политику приобретения:

1. определить ограничения на приобретение инструментального средства (например, затраты на внедрение средств, график внедрения и иные ресурсы);

2. разработать альтернативные подходы к внедрению/дополнению инструментальных средств (например, закупка, изменение существующего или разработка нового инструментального средства);

3. оценить возможность реализации разных альтернативных типов инструментальных средств с учетом готовности, технических соображений, эксплуатационных характеристик и ресурсов организации;

4. определить возможное влияние инструментальных средств на организацию, например на сферы, где для эффективного развертывания инструментального средства требуются повышение квалификации и обучение, определенные знания, руководства и техническая поддержка;

5. использовать цели и ожидания, представленные в настоящем стандарте, для того, чтобы управлять последующими действиями всего процесса и в конечном результате утвердить решение по выбору.

6.3.2 Установление критериев выбора

Критерии выбора должны быть установлены с учетом целей и ожиданий, разработанных выше.

a) Разделение целей высшего уровня на множество критериев для принятия решения относительно выбора (решение «пригоден-непригоден»).

Критерии выбора должны быть объективными и количественными. Каждый критерий должен включать в себя определенный порог, на основе которого в процессе выбора делается главное решение о пригодности или непригодности инструментального средства.

b) Определение относительной значимости критериев выбора.

Примечание 1 — Относительная значимость критериев выбора используется для определения весов характеристик, подхарактеристик инструментального средства и/или возможностей для оценки.

c) Определение уровня детализации и природы выполняемых действий по оценке.

Примечание 2 — Действия по оценке охватывают методы, которые используются для сбора данных (например, ссылка, как с помощью заранее установленных критериев измеряются или собираются данные). Кроме того, такие действия могут основываться на субъективных наблюдениях.

d) Определение сценария оценки/выбора, который необходимо выполнить.

Примечание 3 — Сценарий оценки/выбора определяется как метод, такой, например, как оценка в небольшой команде реального проекта, оценка в экспериментальном пилотном проекте или оценка с помощью каталога инструментальных средств.

6.3.3 Планирование и контроль проекта

Опираясь на цели и критерии выбора, которые определяются для всего процесса оценки и выбора, необходимо создать план проекта и реализовать механизм его контроля. План проекта и механизм контроля должны быть разработаны в соответствии с принятыми в организации процессами планирования и контроля, которые должны содержать следующее:

a) формирование проектной группы с распределением обязанностей.

Умения экспертов влияют на результаты оценки, а также их применимость в пределах организации. Именно с таким подходом стоит выбирать персонал, который будет осуществлять оценку. Уровень умений экспертов будет являться фактором оценивания результатов оценки. Экспертная комиссия должна включать в себя представителей группы пользователей, которые используют инструментальное средство;

b) заранее установленное множество функциональных целей, полученных в результате декомпозиции целей высшего уровня.

Примечание - Например, цель «Не требуется установки инструментального средства для каждого клиента» разделяется на такие функциональные цели, как: «Необходимо работать с определенным веб-браузером» и «Серверная сторона инструментального средства и данные инструментального средства должны быть установлены на сервере собственной внутренней сети»;

c) множество руководств выбора: взвешенные критерии выбора, определение уровня детализации и специальные свойства, а также сценарий оценки и выбора;

d) график действий и их задачи наряду с определением требований к ресурсам и затратам.

План проекта, стратегия оценки и затраты должны быть пропорциональны стоимости жизненного цикла и ожидаемой выгоды от оцениваемого инструментального средства;

e) средства мониторинга и контроля за выполнением плана;

f) план проекта и механизм контроля (при наличии) должны обновляться в процессе выполнения проекта.

7 Процесс структурирования

7.1 Цель

Поскольку на этапе подготовки создается структура выбора и оценки, в процессе структурирования требования к инструментальному средству собираются от организации пользователя, а детали требований структурируются (см. рисунок 3).

7.2 Результаты

Результаты, полученные после успешной реализации процесса структурирования, включают в себя:

a) организационную информацию;

b) требования к инструментальному средству;

c) структурированные требования к инструментальному средству.

7.3 Действия и задачи

7.3.1 Определение требований

7.3.1.1 Общее представление

В процессе определения требований необходимо собрать требования, касающиеся инструментального средства, которые далее следует объединить в его характеристики. В 10.2 указаны характеристики, относящиеся к функциональности инструментальных средств, в 10.3 - общие характеристики качества программных средств, в 10.4 - перечень характеристик, не связанных с качеством, а в ряде стандартов для каждой области применения определены специальные возможности инструментального средства.

7.3.1.2 Сбор организационной информации

Для того чтобы определить множество детальных требований, которым должно удовлетворять инструментальное средство, необходимо собрать информацию об организации, в том числе:

a) заинтересованность организации в полном финансировании и внедрении инструментального средства;

b) описание действующей среды программной инженерии внутри организации, в том числе данные, которые касаются имеющегося оборудования, операционного программного обеспечения, использования инструментальных средств и облачной среды (например, информация как услуга (IaaS), платформа как услуга (PaaS) или программное обеспечение как услуга (SaaS));

c) типы проектов разработки программных средств организацией, включая их размер, область применения;

d) характеристики и ограничения, касающиеся целевых систем, для которых разрабатываются программные средства;

e) специальное ожидаемое влияние на организацию и усовершенствования со стороны инструментального средства;

f) требования потенциальных и конечных пользователей инструментального средства;

g) применяемые организационные политики закупок;

h) информацию о политиках безопасности при принятии программных средств.

Данная информация является необходимой для того, чтобы обеспечить соответствующую функциональность инструментального средства (средств) внутри организации, а также выполнение организационных требований и требований будущих пользователей.

Примечание - Настоящая информация может быть собрана несколькими способами, включая опросы и ориентированные группы.

7.3.1.3 Идентификация требований

Требования пользователей инструментального средства должны относиться к вопросу, который касается того, что инструментальное средство должно обеспечивать и каково его воздействие на существующую среду. Для того чтобы сформировать перечень требований, необходимо решить следующие задачи:

a) проанализировать требования и найти уровень детализации, для которого требования должны быть определены и оценены;

b) оценить фактическую необходимость в инструментальных средствах, принимая во внимание те проекты, в которых данные средства должны быть использованы с самого начала;

c) определить предпочтительную методологию;

d) определить этапы жизненного цикла, которые необходимо поддерживать (например, планирование, анализ, проектирование);

e) определить необходимые возможности инструментального средства;

f) определить необходимые характеристики, которые касаются функциональности инструментального средства;

g) определить общие необходимые характеристики качества инструментального средства;

h) определить необходимые характеристики, которые не касаются качества инструментального средства;

i) проверить соответствие требований установленным ранее целям.

Примечания

1 Эти требования представляют общий перечень организационных требований. Существует возможность того, что ни одно инструментальное средство не удовлетворит всем требованиям. Однако некоторые инструментальные средства способны удовлетворить большую часть требований, оправдывая таким образом их использование организацией. А это, в свою очередь, поспособствует дальнейшему поиску инструментальных средств, которые удовлетворят оставшимся требованиям.

2 В процессе идентификации необходимых требований в ряде стандартов предлагается выделить возможности каждой области применения инструментального средства. При отсутствии соответствующих стандартов такие возможности должны быть определены в конкретном проекте оценки и выбора.

7.3.1.4 Структурирование требований

Должна быть определена практичность пользовательских потребностей, указанных в 10.2 - 10.4 и ряде стандартов, которые касаются области применения каждого инструментального средства, а также других требований, выдвигаемых организацией. Цель структурирования заключается в организации требований таким образом, чтобы выполнить оценку более эффективно. К задачам, требующим решения, относятся:

a) категоризация требований пользователя относительно понятий, указанных в 10.2 - 10.4 и ряде стандартов по каждой области применения инструментального средства, а также их декомпозицию на детальные спецификации;

b) выбор характеристик и функциональных возможностей, указанных в 10.2 - 10.4 и ряде стандартов по каждой области применения инструментального средства, которые необходимо оценить для определения того, насколько инструментальное средство удовлетворяет требованиям детальных спецификаций;

c) определение весов характеристик и/или возможностей.

Примечание - Веса применяются к рейтингам, определенным в ходе оценки в рамках процесса выбора, и отражают относительную важность соответствующего критерия выбора, определенного в процессе подготовки.

Присвоение весов является субъективной задачей, которая оказывает существенное влияние на результат всего процесса оценки и выбора. Присвоение весов должно отражать как фактические потребности организации, так и способность организации оценивать характеристики (см. приложение B).

В ИСО/МЭК 25051 установлены требования к качеству, применимые к инструментальным средствам, когда они рассматриваются как пакеты программного обеспечения, и с ними следует координироваться в рамках решения задачи структурирования требований. Это обеспечит дополнительные руководящие указания по подмножеству требований к качеству, приведенных в ИСО/МЭК 25010.

7.3.2 Сбор информации об инструментальном средстве

Общий поиск возможных инструментальных средств, которые необходимо оценить, проводится с учетом установленных требований и критериев выбора. Действия, направленные на сбор информации и определение возможных инструментальных средств, могут потребовать проведения нескольких циклов поиска, чтобы быстро и точно определить перспективные инструментальные средства для последующей оценки. В случае выявления наиболее перспективных инструментальных средств необходимо провести поиск дополнительной и более детальной информации, которая касается их потенциального приобретения. Эта дополнительная информация может помочь быстрому устранению многих инструментальных средств, позволяя сосредоточить внимание на оставшихся кандидатах. Информация, которую необходимо получить, включает в себя:

a) общую информацию о поставщике (например, историю бизнеса, возможную поддержку, планы и стратегии).

Примечание - Термин «поставщик» применяется к организации, которая поставляет коммерческие инструментальные средства, средства с открытым исходным кодом или облачные сервисы (например, PaaS и SaaS);

b) стратегию разработки конкретной продукции поставщика;

c) затраты на инструментальные средства (например, обслуживание, модификации, обучение персонала);

d) информацию об оборудовании и программном обеспечении, которые необходимы для поддержки инструментального средства;

e) информацию об оборудовании и программном обеспечении, которые необходимы для обеспечения применения приложения/продукции;

f) данные о проведении обучения персонала, которое требуется для эффективного использования инструментального средства;

g) информацию о функциональных возможностях инструментального средства;

h) данные о методологии инструментальных средств и поддержке жизненного цикла;

i) информацию о том, как инструментальное средство сопрягается с внешними системами;

j) количество пользователей, наличие групп пользователей, отзывы об инструментальном средстве;

k) механизм лицензирования средств (например, неисключительная лицензия с ограничениями, многопользовательские лицензии, многоплатформенные лицензии).

7.3.3 Определение окончательных инструментальных средств-кандидатов

Когда определено множество возможных инструментальных средств, следует осуществить выбор окончательных подходящих инструментальных средств-кандидатов (которые будут оцениваться). Для этого решаются следующие задачи:

a) устанавливается множество первоочередных и критических требований, которые должны быть удовлетворены инструментальными средствами;

b) сравниваются функциональные требования пользователя с функциональными возможностями инструментального средства, поддерживающей методологией и системной средой;

c) сравниваются управленческие требования с затратами на инструментальное средство, предоставляемым обучением и поддержкой;

d) анализируется база пользователей инструментального средства, которую имеют поставщики, отзывы пользователей, данные о технической поддержке и истории бизнеса;

e) определяются инструментальные средства, удовлетворяющие достаточному числу высокоприоритетных или критических требований, которые затем становятся окончательными кандидатами для формальной оценки. Результаты, полученные в ходе выполнения предыдущих задач, служат обоснованием для перечня инструментальных средств-кандидатов.

Примечание - Задачи, описанные выше, представляют собой «выбор», позволяющий организации определить наиболее приемлемых кандидатов, учитывая требования организации или способности поставщика. Определение окончательных кандидатов может быть выполнено параллельно со сбором информации об инструментальных средствах или эти действия могут быть повторены. Цель состоит в том, чтобы снизить стоимость оценки, рассматривая только отобранный набор окончательных инструментальных средств-кандидатов в процессе оценки.

8 Процесс оценки

8.1 Цель

Инструментальные средства-кандидаты отбираются в процессе структурирования. Они оцениваются согласно плану оценки с последующим предоставлением результатов (см. рисунок 4). Процесс выбора осуществляется согласно настоящему отчету.

8.2 Результаты

Результатами, полученными после успешной реализации процесса оценки, являются:

a) показатели и ранжирования для оценки;

b) отчет об оценке.

8.3 Действия и задачи

8.3.1 Подготовка к процессу оценки

Для того чтобы определить необходимый уровень детализации перед началом процесса оценки, необходима завершающая подготовка. Принимая во внимание перечень инструментальных средств-кандидатов и структурированные требования, необходимо решить следующие задачи:

a) для каждой неделимой подхарактеристики и/или функциональной возможности определить или выбрать один либо несколько показателей, а также определить особенности их применения;

b) задать уровни ранжирования и определить средства, с помощью которых такие уровни формируются и рассчитываются.

Примечание 1 — Оцененному значению (например, средняя величина строки программы на модуль = 274) присваивается предельно допустимое значение (согласно четырем степеням: A, B, C и D). Определяются пути получения уровней ранжирования из измерений (оценок);

c) определить характеристики и/или возможности для оценки, установить, какие из них являются допустимыми, если учитывать ранее установленные уровни ранжирования и особенности использования продукта;

d) определить и составить список всех действий, которые выполняются в процессе оценки.

Примечание 2 — Действия включают в себя подготовку любых наборов данных, необходимых для выполнения оценки, а также получение документации на инструментальное средство. Такие действия являются примером оценки инструментального средства, обеспечения соответствующего обучения специфике использования и практического применения этого средства, фиксации информации о результатах применения инструментального средства и анализа этих результатов.

В некоторых случаях в ходе проведения оценки необходимо выполнить стендовые испытания (СИ). Рекомендуемый подход к СИ включает в себя:

• определение необходимых важных функций инструментального средства;
• определение тестового проекта или типовой программы, которые станут основой для СИ;
• разработку сценария СИ, определение исходных данных и ожидаемых результатов.

Для того чтобы сосредоточиться на действиях по оценке и обеспечить согласованность процесса оценки, следует разработать план оценки, который включает в себя указанную выше информацию.

8.3.2 Оценка инструментальных средств

8.3.2.1 Общее представление

Программное обеспечение оценивается по сравнению с каждой выбранной функциональной характеристикой и/или функциональной возможностью. Оценка — это процесс измерения, ранжирования и анализа.

8.3.2.2 Измерение

Измерения могут основываться на информации, которая получена в результате испытания инструментального средства, или информации, которая получена в ходе выполнения следующих типов задач:

a) изучения документации, предоставляемой поставщиком;

b) изучения исходного кода программы и другой продукции промежуточного назначения (по возможности);

c) опроса фактических пользователей программного обеспечения;

d) визуализации демонстрационной версии программного обеспечения и опроса лиц, демонстрирующих версию;

e) выполнения тестов;

f) применения тестовых проектов;

g) изучения результатов предыдущих оценок (тех, которые выполнялись внутри организации, третьими сторонами, или других видов оценки);

h) выполнения СИ с использованием инструментальных средств-кандидатов и анализ результатов.

Значения измерений могут быть двоичными, основанными на непрерывной шкале (поддающейся количественной оценке), или текстовыми. Существуют как объективные, так и субъективные характеристики.

Примечание - Объективными характеристиками являются характеристики, которые обеспечивают проведение независимого и повторяемого тестирования или измерения. Субъективные характеристики исключают проведение независимого и повторяемого тестирования или измерения (например, соответствие пользовательского интерфейса культуре пользователя).

В случае объективных характеристик оценка должна быть представлена повторяемой процедурой, которая бы позволила другому эксперту получить аналогичные результаты. В ходе проведения оценки (если используются тестовые сценарии) необходимо применять единый предварительно определенный и документально оформленный набор сценариев.

Для субъективных характеристик процедура оценки должна выполняться независимо разными специалистами, которые далее будут обсуждать и согласовывать результаты оценки.

Результаты оценки необходимо, по возможности, зафиксировать в количественной форме, а также предоставить их текстовое подтверждение (при необходимости).

8.3.2.3 Ранжирование

При выполнении задачи ранжирования каждое измеренное значение ранжируется согласно шкале значений, которая определена в плане оценки. Уровни ранжирования формируются непосредственно или вычисляются в соответствии с ранее определенными алгоритмами.

Примечание - Шкала оценок может пересматриваться в том случае, если в ходе оценки требования были пересмотрены.

8.3.2.4 Анализ

Анализ подхарактеристик, характеристик и/или функциональных возможностей выполняется с учетом результатов ранжирования и ранее установленных критериев анализа. Согласно рекомендациям по выбору и плану оценки, расчетные параметры должны быть интегрированы вплоть до верхнего уровня.

8.3.3 Отчет об оценке

Конечные результаты оценки должны быть представлены в отчете об оценке. Один отчет об оценке может охватывать все инструментальные средства, которые были оценены. В качестве альтернативы может быть составлено несколько отчетов об оценке, каждый из которых представляет собой подмножество оцененных инструментальных средств.

Результаты оценки должны быть представлены в терминах наименьшего уровня декомпозиции субхарактеристики и/или возможности. Для каждой подхарактеристики и/или возможности значение измерения должно быть указано в терминах уровня оценки для этого показателя.

Основываясь на результатах самого низкого уровня, должна быть показана последующая интеграция с прояснением метода интеграции: любые используемые веса, агрегированные элементы и уровень, до которого выполняется интеграция. Результатом является профиль, описывающий результаты в терминах оценок для характеристик и/или возможностей, определенных в разделе 7, или в терминах оценок для подхарактеристик и/или возможностей, в зависимости от уровня интеграции.

Если в отчете представлена информация о многих инструментальных средствах, а результаты оценки сравнены с результатами других оценок, стоит обратить внимание на то, чтобы результаты оценки были представлены в едином формате, который облегчит сравнение (например, использование шаблонов). Объективные результаты должны содержать минимальный объем сопроводительного текста. Субъективные результаты должны быть подтверждены текстовой информацией, которая описывает конкретные причины анализа значений.

9 Процесс выбора инструментальных средств

9.1 Цель

В процессе выбора определяется его метод и осуществляется выбор с обоснованием в отчете об оценке (см. рисунок 5). Пригодность выбранного инструментального средства проверяется на уровне цели и руководства.

9.2 Результаты

Результатами, полученными после успешной реализации процесса выбора, являются:

a) алгоритм выбора;

b) решение по выбору.

9.3 Действия и задачи

9.3.1 Подготовка выбора

Алгоритм выбора определяет, как перерабатываются и сравниваются с результатами ранжирования каждого инструментального средства-кандидата данные, полученные в процессе проведения разных оценок.

С учетом исходных целей и рекомендаций по выбору определяется множество критериев выбора, а также основы оценки этих критериев. Такое определение основывается на анализе оценок с последующей интеграцией, который описан в 8.3.3.

В случае когда критерии выбора и/или ранжирования являются неприемлемыми, их необходимо изменить.

Алгоритм дальнейшей интеграции результатов, сравнения инструментальных средств-кандидатов и вынесения решения определяется далее. Положения, касающиеся алгоритмов выбора, приведены в приложении A.

9.3.2 Применение алгоритма выбора

Алгоритм выбора использует результаты оценки в качестве исходных данных. Информация, касающаяся инструментальных средств-кандидатов, является выходным результатом. Результаты оценки каждого инструментального средства являются техническим выводом по каждой характеристике инструментального средства, который сформирован до уровня, указанного в алгоритме выбора (обычно уровень характеристики). Алгоритм выбора комбинирует результаты оценок для разных инструментальных средств, обеспечивает их сравнение для использования специалистами, принимающими решение.

9.3.3 Рекомендации по принятию решения

В случае использования алгоритма выбора можно принять решение относительно приобретения инструментального средства или набора средств. Это управленческое решение основывается на дополнительных управленческих критериях, а также техническом сравнении средств, представленном выше.

В таком решении следует показать, что для последующего выбора представлены наиболее подходящие инструментальные средства-кандидаты. В качестве альтернативы анализ результатов оценки может свидетельствовать о необходимости получения дополнительной информации. В этом случае некоторые предыдущие действия могут быть повторены.

Решение о выборе должно содержать обоснование, суммирующее информацию и логику, которые привели к выбору.

9.3.4 Проверка (валидация) принятого решения

Последним действием всего процесса оценки и выбора должна стать проверка (валидация) рекомендуемого выбора. Исходные цели и рекомендации по выбору должны быть изучены и сопоставлены с результатами оценки и другими данными, которые касаются рекомендуемого выбора. Проверку необходимо проводить, чтобы убедиться в том, что если рекомендации принимаются, то цели высшего уровня (или их большая часть) будут удовлетворены. Может оказаться, что подходящего инструментального средства нет. В таком случае, выбор должен быть сделан между разработкой нового средства, модификацией существующего (внутри или вне организации-пользователя) или прекращением проведения процесса оценки и выбора.

10 Общие характеристики инструментального средства

10.1 Общее представление

Оценка и ранжирование определяются в процессе структурирования с использованием характеристик и функциональных возможностей, упомянутых в данном разделе.

Потребности пользователя, которые управляют каким-либо процессом оценки и/или выбора, основаны на характеристиках и подхарактеристиках, приведенных ниже, и возможностях, описанных в любом специальном стандарте из заданной области, который определяет перечень возможностей для области инструментального средства. С учетом потребности пользователей оценки и сравнения должны производиться на основании широкого, общего и почти полного набора характеристик и/или возможностей. Требуются действия по структурированию для преобразования множества потребностей, первоначально определенных пользователем, в условия, указанные в настоящем разделе, а также в конкретном стандарте из заданной области применения инструментального средства.

Основные категории оценки высшего уровня называются характеристиками и/или возможностями. Каждая характеристика подразделяется на подхарактеристики. Подхарактеристики могут быть дополнительно подразделены на подхарактеристики более низшего уровня. Подхарактеристики низшего уровня называются неделимыми подхарактеристиками. Неделимые подхарактеристики, указанные в 10.2 - 10.4, определяются с точки зрения их атрибутов; каждой из них присваивается значение в процессе оценки на основе одного или нескольких значений (см. 8.2). Каждой возможности, определенной в последующей части данного стандарта, также присваивается значение в процессе оценки на основе одного или нескольких значений (см. 8.2).

Маловероятно, что какому-то пользователю настоящего стандарта потребуется использовать все приведенные ниже неделимые подхарактеристики; пользователи должны выбирать только те подхарактеристики, которые соответствуют требованиям их организации. Имеют место случаи, когда дополнительные потребности или характеристики, специфичные для конкретной оценки или выбора, должны быть добавлены к перечисленным ниже; в некотором смысле перечисленные ниже неделимые подхарактеристики могут рассматриваться в качестве ориентировочного списка, который следует дополнять по мере необходимости.

Подхарактеристикам значения присваиваются путем интеграции значений их компонентных подхарактеристик, взвешенных в соответствии с планом оценки. Данная задача интеграции продолжается до тех пор, пока не будут достигнуты уровни интеграции, предусмотренные в плане оценки. Затем алгоритм выбора используется для комбинации результатов оценки различных инструментальных средств для сравнения и принятия решения.

10.2 Характеристики функциональности инструментальных средств

10.2.1 Общее представление

Следующие характеристики относятся к инструментальному средству с его средой и проектами, в которых оно используется для поддержки.

10.2.2 Характеристики среды функционирования инструментального средства

Перечень неделимых подхарактеристик, касающихся связи между инструментальным средством и средой его функционирования, приведен в таблице 1.

Таблица 1

N	Неделимые подхарактеристики	Описание
1	Необходимые аппаратные характеристики инструментального средства	Атрибуты, относящиеся к любым требованиям к оборудованию для использования a. Примечание — Типичные аппаратные элементы, которые должны быть перечислены, включают в себя процессоры (а также сопроцессоры), тип основной памяти, тип шины, тип и размер периферийных устройств хранения, расширения или видеокарты, оборудование ввода и вывода.
2	Необходимая программная среда инструментального средства	Атрибуты, относящиеся к любым элементам программного обеспечения, необходимые для его использования. Примечание — Типичные программные элементы, которые должны быть перечислены, включают в себя операционные системы, языки систем управления базами данных, наборы символов и коды символов, а также коммуникационные/сетевые пакеты.
3	Физическая среда инструментального средства	Атрибуты, относящиеся к любым географическим аспектам среды разработки, влияющие на использование инструментального средства. Примечание — Производительность включает в себя физическое и временное разделение пользователей и связанные с этим вопросы производительности сети, вопросы онлайн/офлайн и хранилище обновлений/симметричного отображения на нескольких сайтах.
a Пользователь настоящего стандарта должен определить аппаратные элементы, для которых минимальные требования не могут обеспечить достаточную производительность, например, основная память. Необходимо определить оборудование, требуемое для обеспечения приемлемой производительности. Пользователь настоящего стандарта должен определить аппаратные элементы, которые поддерживаются инструментальным средством в качестве параметров, например устройства ввода и вывода.

10.2.3 Характеристики интегрируемости инструментального средства

Множество неделимых подхарактеристик, имеющих отношение к способности инструментального средства к интеграции и обеспечению интероперабельности с другими элементами в своей среде функционирования, приведено в таблице 2. Оценка и выбор инструментальных средств выполняются в контексте среды программной инженерии, в которой используются инструментальные средства.

Примечание - Примеры других элементов среды включают в себя те элементы, которые приведены в аппаратной и программной среде вышеупомянутого инструментального средства.

N	Неделимые подхарактеристики	Описание
1	Совместимость с элементами среды	Атрибуты, связанные с их способностью обеспечить интероперабельность и/или напрямую обмениваться данными с аппаратно-программными средами a. Примечания 1 Примеры других программных инструментальных средств включают в себя текстовые процессоры и другие инструментальные средства документации, базы данных, хранилища и другие средства программной инженерии. 2 Степень, до которой инструментальное средство соответствует стандартам «открытости», включая в себя форматы обмена данными, может быть оценена с точки зрения множества существующих стандартов, например ИСО/МЭК 15476-1.
2	Интеграция данных	Атрибуты, относящиеся к их способности использовать, обрабатывать и доставлять информацию, совместно используемую другими инструментальными средствами или частью хранилища b.
3	Интеграция контроля	Атрибуты, связанные с их способностью взаимодействовать с другими инструментальными средствами. Примечания 1 Взаимодействие инструментального средства может контролироваться с помощью правил, например политикой безопасности, предварительного или последующего вызова других инструментальных средств, допустимого параллельного доступа и синхронизации. Правила могут быть определены поддерживаемым методом. Уровень совместимости правил может быть конкретизирован. 2 Различные механизмы связи существуют в разных рамках. Связь между инструментальными средствами можно осуществлять путем обмена данными в хранилище, очередями сообщений между инструментальными средствами, подходами клиент-сервер или удаленными вызовами процедур.
4	Интеграция представления	Атрибуты, относящиеся к уровню однородности, совместимости и содержательности их пользовательского интерфейса во взаимодействии с другими инструментальными средствами.
5	Доступ к метаданным	Атрибуты, относящиеся к доступу к метаданным инструментального средства.
a Если инструментальное средство содержит возможность взаимодействия (например, интерфейс программирования приложений), которая позволяет использовать инструментальное средство независимо от элементов среды, данный интерфейс должен быть описан. Управление процессами, управление проектами и функции разработки системы могут быть обеспечены отдельными специализированными инструментальными средствами. В данном случае связь между различными инструментальными средствами должна рассматриваться в рамках данной подхарактеристики. b Инструментальное средство должно оцениваться по: - метаданным: если структура основана на конкретной модели данных (например, сущность/взаимосвязь или объектная ориентированность), способности инструментального средства генерировать, манипулировать или получать доступ к совместимым структурам соответствующей модели данных (например, совместимый тип, ограничение, атрибут или отношения); - инженерии данных продукции: если в хранилище содержится формальное описание данных для программной инженерии, способность инструментального средства генерировать, манипулировать или получать доступ к соответствующим данным в соответствии с областью его функционального приложения.

10.2.4 Характеристики применения инструментального средства

Перечень неделимых подхарактеристик, касающихся связи между инструментальным средством и проектами, в которых они используются, включая среду их продуктов и характеристики этих продуктов, приведен в таблице 3.

N	Неделимые подхарактеристики	Описание
1	Аппаратно-программная среда продуктов инструментального средства	Атрибуты, относящиеся к множеству аппаратных и программных элементов, на которых или с которыми могут использоваться продукты инструментального средства. Примечание — Может быть рассмотрен уровень поддержки платформы в целевой среде, например: генерирует ли инструментальное средство экраны и генерирует ли вызовы внешней (платформы или среды) службы для создания экранов.
2	Соответствие стандартам относительно продуктов инструментального средства	Атрибуты, связанные с соответствием стандартам относительно продуктов, возникающих в результате использования инструментального средства. Примечание — Примеры включают в себя язык, базу данных, хранилище, связь, графический интерфейс пользователя (GUI), документацию, разработку, управление конфигурацией, безопасность, мобильность и стандарты обмена информацией.
3	Область применения	Атрибуты, связанные с доменами приложений, для поддержки которых инструментальное средство было спроектировано. Примечание — Примеры доменов приложений включают в себя обработку транзакций, управление в реальном времени, управление информацией, безопасность в критичных системах и мобильность.
4	Размер поддерживаемого приложения	Атрибуты, которые приводят к ограничениям размера приложения и, следовательно, ограничивают применимость инструментального средства. Примечание — Такие параметры могут включать в себя строки кода, уровни вложенности, размер базы данных, количество элементов данных и элементов конфигурации.
5	Поддерживаемые языки	Атрибуты, связанные с их способностью поддерживать определенные языки. Примечание — К примерам таких языков относятся языки программирования, данные и языки запросов, графические языки, интерфейсы операционной системы, языки управления заданиями, сценарии выполнения программы и язык XML.
6	Поддерживаемые базы данных	Атрибуты, связанные с их способностью поддерживать конкретные базы данных.
7	Хранилище программного обеспечения (информационная база)	Атрибуты, связанные с их способностью размещать и управлять всей соответствующей информацией о процессе программной инженерии. Примечания 1 Это включает в себя их способность создавать информацию, разработанную в рамках одного жизненного цикла активности, доступной для использования во время других видов активности, а также их способность предоставлять доступ к данной информации другим элементам среды. 2 Примерами такой информации являются требования и конструкторская документация, коды и тестовые данные. 3 Включает в себя возможность обработки соответствующих данных по варианту
8	Поддержка методологии	Атрибуты, связанные с множеством методов или методологий, которые инструментальное средство может поддерживать. Примечания 1 Примеры методов или методологий включают в себя различные объектно ориентированные подходы, структурированные (нисходящие) подходы, подходы, основанные на данных, и расширения для режима реального времени. 2 Поддержка метода или методологии со стороны инструментального средства оценивается на основе того, насколько инструментальное средство предоставляет конкретные возможности, необходимые для реализации методологии.
9	Интернационализация	Атрибуты, связанные с их способностью использоваться в разных культурах и создавать продукты с точки зрения разных стран или культур. Примечания 1 Примеры включают в себя использование разных естественных языков, наборов символов, режимов персонажа и графического представления (левый-правый, верхний-нижний) и разные форматы дат. 2 Данная подхарактеристика может влиять на другие элементы аппаратной или программной среды.

10.3 Общие характеристики качества

10.3.1 Общее представление

Следующие характеристики описывают качество инструментального средства в соответствии с ИСО/МЭК 25010.

Примечание - Дальнейшие рекомендации по оценке подхарактеристик в данном разделе приведены в ИСО/МЭК 25051.

10.3.2 Характеристики функционального соответствия

Функциональное соответствие — это степень, до которой продукт или система обеспечивают функции, соответствующие заявленным и подразумеваемым потребностям при использовании в определенных условиях. Неделимые подхарактеристики функционального соответствия приведены в таблице 4.

N	Неделимые подхарактеристики	Описание
1	Функциональная полнота	Степень покрытия совокупностью функций всех определенных задач и целей пользователя.
2	Функциональная корректность	Степень обеспечения продуктом или системой необходимой степени точности корректных результатов.
3	Функциональная целесообразность	Степень функционального упрощения выполнения определенных задач и достижения целей. Пример — Для решения задачи пользователю предоставляется возможность выполнять только необходимые шаги, исключая любые ненужные. Примечание — Функциональная целесообразность соответствует пригодности задачи по ИСО 9241-110.

10.3.3 Характеристики уровня производительности

Уровень производительности — это производительность относительно суммы использованных при определенных условиях ресурсов. Неделимые подхарактеристики уровня производительности приведены в таблице 5.

Примечание - Ресурсы могут включать в себя другие программные продукты, конфигурацию программного и аппаратного обеспечения системы и материалы (например, бумагу для печати, носители).

N	Неделимые подхарактеристики	Описание
1	Временные характеристики	Степень соответствия требованиям по времени отклика, времени обработки и показателей пропускной способности продукта или системы.
2	Использование ресурсов	Степень удовлетворения требований по потреблению объемов и видов ресурсов продуктом или системой при выполнении их функций. Примечание — Человеческие ресурсы учитываются в эффективности, производительности.
3	Потенциальные возможности	Степень соответствия требованиям предельных значений параметров продукта или системы. Примечание — В качестве параметров могут быть возможное количество сохраняемых элементов, количество параллельно работающих пользователей, емкость канала, пропускная способность по транзакциям и размер базы данных.

10.3.4 Характеристики совместимости

Совместимость — это способность продукта, системы или компонента обмениваться информацией с другими продуктами, системами или компонентами и/или выполнять требуемые функции при совместном использовании одних и тех же аппаратных средств или программной среды. Неделимые подхарактеристики совместимости приведены в таблице 6.

Примечание - Адаптировано из ISO/IEC/IEEE 24765.

N	Неделимые подхарактеристики	Описание
1	Сосуществование (совместимость)	Способность продукта совместно функционировать с другими независимыми продуктами в общей среде с разделением общих ресурсов и без отрицательного влияния на любой другой продукт.
2	Функциональная совместимость (интероперабельность)	Способность двух или более систем, продуктов или компонент обмениваться информацией и использовать такую информацию. Примечание — Адаптировано из ISO/IEC/IEEE 24765.

10.3.5 Характеристики удобства использования

Удобство использования — это степень, в которой продукт или система могут быть использованы определенными пользователями для достижения конкретных целей с эффективностью, результативностью и удовлетворенностью в заданном контексте использования. Неделимые подхарактеристики практичности приведены в таблице 7.

Примечания

1 Адаптировано из ИСО 9241-210.

2 Удобство использования может быть задано или измерено как характеристика качества продукта в терминах ее подхарактеристик, либо задано, либо измерено непосредственно показателями, которые составляют подмножество качества при использовании.

N	Неделимые подхарактеристики	Описание
1	Определимость пригодности	Возможность пользователей понять, подходит ли продукт или система для их потребностей, сравнимы ли они с функциональной целесообразностью. Примечания 1 Определимость пригодности зависит от возможности распознать уместность продукта или функций системы, от первоначальных впечатлений о продукте или системе и/или от какой-либо связанной с ними документации. 2 Информация, предоставляющая продукт или систему, может включать в себя демонстрации, обучающие программы, документацию, а для веб-сайта — информацию на домашней странице.
2	Изучаемость	Возможность использования продукта или системы определенными пользователями для достижения конкретных целей обучения, для эксплуатации продукта или системы с эффективностью, результативностью, свободой от риска и в соответствии с требованиями в указанном контексте использования. Примечание — Изучаемость может быть задана или измерена либо как степень возможности использования продукта или системы определенными пользователями для достижения конкретных целей обучения, для эксплуатации продукта или системы с эффективностью, результативностью, свободой от риска и в соответствии с требованиями в указанном контексте использования, либо как свойства продукта, соответствующие пригодности для обучения, по ИСО 9241-110.
3	Управляемость	Наличие в продукте или системе атрибутов, обеспечивающих простое управление и контроль. Примечание — Управляемость (operability) соответствует управляемости (controllability), устойчивости к ошибкам (оператора) и согласованности с ожиданиями пользователей, как приведено в ИСО 9241-110.
4	Защищенность от ошибок пользователя	Уровень системной защиты пользователей от ошибок.
5	Эстетика пользовательского интерфейса	Степень «приятности» и «удовлетворенности» пользователя интерфейсом взаимодействия с пользователем. Примечание — Это свойство относится к тем свойствам продукта или системы, которые повышают привлекательность интерфейса для пользователя, таким как использование цвета и естественного графического дизайна.
6	Доступность	Возможность использования продукта или системы для достижения определенной цели в указанном контексте использования широким кругом людей с самыми разными возможностями. Примечания 1 В диапазон возможностей входят ограничения возможностей, связанные с возрастом. 2 Доступность для людей с ограниченными возможностями может быть задана или измерена либо как степень, в которой продукт или система могут быть применены пользователями с указанными ограниченными возможностями для достижения определенных целей с эффективностью, результативностью, свободой от риска и в соответствии с требованиями в указанном контексте использования, либо как наличие свойств продукта для поддержки доступности.

10.3.6 Характеристики надежности

Надежность — это степень выполнения системой, продуктом или компонентом определенных функций при указанных условиях в течение установленного периода времени. Неделимые подхарактеристики надежности приведены в таблице 8.

Примечания

1 Это определение адаптировано из ISO/IEC/IEEE 24765.

2 В программном обеспечении износы не происходят. Проблемы с надежностью возникают из-за недостатков в требованиях, при разработке и реализации или из-за изменений условий использования.

3 Характеристики функциональной надежности программного обеспечения включают в себя готовность и либо присущие ей, либо внешние влияющие факторы, такие как надежность и доступность (включая отказоустойчивость и восстанавливаемость), безопасность (включая обеспечение конфиденциальности и целостность), пригодность для обслуживания, долговечность и техническую поддержку.

N	Неделимые подхарактеристики	Описание
1	Завершенность	Степень соответствия системы, продукта или компонента при нормальной работе требованиям надежности. Примечание — Понятие завершенности может также быть применено и к другим характеристикам качества для определения степени соответствия требованиям при нормальной работе.
2	Готовность	Степень работоспособности и доступности системы, продукта или компонента. Примечания 1 Адаптировано из ISO/IEC/IEEE 24765. 2 В общем, готовность можно оценить как долю общего времени, в течение которого система, продукт или компонент находятся в работающем состоянии. Готовность, таким образом, определяется сочетанием завершенности (которая определяет частоту отказов), отказоустойчивости и восстанавливаемости (которая, в свою очередь, определяет продолжительность времени простоя после каждого отказа).
3	Отказоустойчивость	Способность системы, продукта или компонента работать как предназначено, несмотря на наличие дефектов программного обеспечения или аппаратных средств. Примечание — Адаптировано из ISO/IEC/IEEE 24765.
4	Восстанавливаемость	Способность продукта или системы восстановить данные и требуемое состояние системы в случае прерывания или сбоя. Примечание — В некоторых случаях после сбоя вычислительная система находится в нерабочем состоянии некоторое время, продолжительность которого определяется ее восстанавливаемостью.

10.3.7 Характеристики защищенности

Защищенность — это степень защищенности информации и данных, обеспечиваемая продуктом или системой путем ограничения доступа людей, других продуктов или систем к данным в соответствии с типами и уровнями авторизации. Неделимые подхарактеристики безопасности приведены в таблице 9.

Примечания

1 Защищенность применима также к данным при передаче в случаях, когда данные сохраняются непосредственно в продукте или системе или вне их.

2 Жизнестойкость (степень, в которой продукт или система продолжают выполнять свою миссию, предоставляя основные услуги своевременно, несмотря на присутствие атак) обеспечивается восстанавливаемостью.

3 Защищенность, иммунитет (степень устойчивости продукта или системы к атакам) обеспечивается целостностью.

4 Защищенность вносит свой вклад в доверие.

N	Неделимые подхарактеристики	Описание
1	Конфиденциальность	Обеспечение продуктом или системой ограничения доступа к данным только для тех, кому доступ разрешен.
2	Целостность	Степень предотвращения системой, продуктом или компонентом несанкционированного доступа или модификации компьютерных программ или данных. Примечание — Адаптировано из ISO/IEC/IEEE 24765.
3	Неподдельность	Степень, с помощью которой может быть доказан факт события или действия таким образом, что этот факт не может быть отвергнут когда-либо позже. Примечание — Адаптировано из ИСО 7498-2.
4	Отслеживаемость	Степень, до которой действия объекта могут быть однозначно прослежены к объекту. Примечание — Адаптировано из ИСО 7498-2.
5	Подлинность	Степень достоверности тождественности объекта или ресурса требуемому объекту или ресурсу. Примечание — Адаптировано из ИСО/МЭК 13335-1.

10.3.8 Характеристики сопровождаемости

Сопровождаемость — это результативность и эффективность, с которыми продукт или система могут быть модифицированы предполагаемыми специалистами по обслуживанию. Неделимые подхарактеристики сопровождаемости приведены в таблице 10.

Примечания

1 Модификация может включать в себя исправления, улучшения или адаптацию программного обеспечения к изменениям в условиях использования, в требованиях и функциональных спецификациях. Модификации могут быть выполнены как специализированным техническим персоналом, так и рабочим или операционным персоналом и конечными пользователями.

2 Сопровождаемость включает в себя установку разного рода обновлений.

3 Сопровождаемость можно интерпретировать либо как присущее продукту или системе свойство, упрощающее процесс обслуживания, либо как качество при использовании, проверенное на практике специалистами по обслуживанию в целях поддержки продукта или системы.

N	Неделимые подхарактеристики	Описание
1	Модульность	Степень представления системы или компьютерной программы в виде отдельных блоков таким образом, чтобы изменение одного компонента оказывало минимальное воздействие на другие компоненты. Примечание — Адаптировано из ISO/IEC/IEEE 24765.
2	Возможность многократного использования	Степень, в которой актив может быть использован в нескольких системах или в создании других активов. Примечание — Адаптировано из IEEE 1517-2004.
3	Анализируемость	Степень простоты оценки влияния изменений одной или более частей на продукт или систему, или простоты диагностики продукта для выявления недостатков и причин отказов, или простоты идентификации частей, подлежащих изменению. Примечание — Конкретная реализация продукта или системы может включать в себя механизмы анализа собственных дефектов, формирования отчетов об отказах и других событиях.
4	Модифицируемость	Степень простоты эффективного и рационального изменения продукта или системы без добавления дефектов и снижения качества продукта. Примечания 1 Реализация модификации включает в себя кодирование, разработку, документирование и проверку изменений. 2 Модульность и анализируемость могут оказывать влияние на модифицируемость. 3 Модифицируемость — это сочетание изменяемости и устойчивости.
5	Тестируемость	Степень простоты эффективного и рационального определения для системы, продукта или компонента критериев тестирования, а также простоты выполнения тестирования с целью определения соответствия этим критериям. Примечание — Адаптировано из ISO/IEC/IEEE 24765.

10.3.9 Характеристики переносимости

Переносимость — это степень простоты эффективного и рационального переноса системы, продукта или компонента из одной среды (аппаратных средств, программного обеспечения, операционных условий или условий использования) в другую. Неделимые подхарактеристики переносимости приведены в таблице 11.

Примечания

1 Это определение адаптировано из ISO/IEC/IEEE 24765.

2 Переносимость можно интерпретировать либо как присущее продукту или системе свойство продукта или системы, упрощающее процесс переноса, либо как качество при использовании, предназначенное для переноса продукта или системы.

Неделимые подхарактеристики переносимости

N	Неделимые подхарактеристики	Описание
1	Приспособляемость	Степень простоты эффективной и рациональной адаптации для отличающихся или усовершенствованных аппаратных средств, программного обеспечения, других операционных сред или условий использования. Примечания 1 Адаптируемость включает в себя масштабируемость внутренних потенциальных возможностей (например, экранных полей, таблиц, объемов транзакции, форматов отчетов и т.д.). 2 Адаптация может быть выполнена как специализированным техническим персоналом, так и рабочим или операционным персоналом и конечными пользователями. 3 Если система должна быть адаптирована конечным пользователем, то адаптируемость соответствует пригодности для индивидуализации, как определено в ИСО 9241-110.
2	Устанавливаемость	Степень простоты эффективной и рациональной успешной установки и/или удаления продукта или системы в заданной среде. Примечание — В случае если продукт или система должны устанавливаться конечным пользователем, устанавливаемость может повлиять на результирующие функциональную целесообразность и управляемость.
3	Взаимозаменяемость	Способность продукта заменить другой конкретный программный продукт для достижения тех же целей и в тех же условиях. Примечания 1 Взаимозаменяемость новой версии программного продукта важна для пользователя при обновлении программного продукта. 2 Во взаимозаменяемость могут быть включены такие атрибуты, как устанавливаемость и адаптируемость. Это понятие было введено как отдельная подхарактеристика из-за ее важности. 3 Взаимозаменяемость снижает риск блокировки так, что, например, при стандартизации форматов файлов допускается применение других программных продуктов вместо используемого.

10.4 Общие характеристики, не относящиеся к качеству

10.4.1 Общее представление

Следующие характеристики носят общий характер и касаются как самого инструментального средства, так и его разработчика и/или поставщика.

10.4.2 Характеристики процесса приобретения

Перечень неделимых подхарактеристик, относящихся к процессу приобретения, необходимого в случае выбора инструментального средства для применения, приведен в таблице 12.

Таблица 12

N	Неделимые подхарактеристики	Описание
1	Стоимость реализации инструмента	Атрибуты, относящиеся к стоимости реализации инструментального средства a.
2	Политика лицензирования	Атрибуты, относящиеся к политике лицензирования поставщика. Примечание — К ним относятся доступные варианты лицензий, права на копирование (для средств массовой информации и документирования), а также любые ограничения и/или сборы за вторичное использование. То есть пользователь инструмента продает продукты, включающие в себя некоторый элемент или аспект инструментального средства, используемый для разработки конкретного продукта. Это также включает в себя любые условия, в том числе гарантии продукта, применяемые к инструментальному средству.
3	Ограничения на экспорт	Атрибуты, относящиеся к определению любых ограничений на экспорт инструментального средства или любого инструмента вторичного пользования.
a Следует учитывать все аспекты, относящиеся к отдельному экземпляру, а не только цену покупки инструментального средства, а также затраты на установку, первоначальное обслуживание, пересмотр или модернизацию оборудования/программного обеспечения и обучение. Необходимо учитывать ценовые данные по всем соответствующим конфигурациям, включая единичность экземпляра поставки, несколько копий, установочную лицензию, корпоративную и сетевую лицензии.

10.4.3 Специфика реализации

Перечень неделимых подхарактеристик, относящихся к доставке, установке и эксплуатации инструментального средства, приведен в таблице 13.

N	Неделимые подхарактеристики	Описание
1	Рентабельность	Атрибуты, относящиеся к стоимости эксплуатации инструментального средства. Примечание — Может быть проведен анализ рентабельности или привлечено некоторое внимание к ожидаемому уровню производительности инструментального средства.
2	Ограничения на осуществление деятельности в области развития	Атрибуты, относящиеся к любым ограничениям в сроках, связанных с дальнейшим развитием и/или доставкой продукта a.
3	Обходные решения, необходимые для организации пользователей	Атрибуты, относящиеся к любым обходным решениям, необходимым для реализации инструментального средства в среде пользователя. Примечание — Примером такого обходного решения является поиск способа использования централизованного инструмента (единой общей базы данных) в распределенной среде.
4	Потребности в инфраструктуре	Атрибуты, касающиеся требований к инфраструктуре для использования инструментального средства. Примечание — Примеры включают в себя площадь, пространство стола, мебель, электроэнергию и другие физические требования, возникающие в результате использования новых средств или оборудования.
a Кроме того, необходимо также учитывать время, необходимое для того, чтобы пользователи стали успешными с помощью инструментального средства (кривая освоения).

10.4.4 Характеристики показателей поддержки

Перечень неделимых подхарактеристик, относящихся к способности поставщика обеспечить поддержку инструментальному средству, приведен в таблице 14.

N	Неделимые подхарактеристики	Описание
1	Профиль поставщика	Атрибуты, относящиеся к общему показателю возможностей поставщика. Примечание — Примеры включают в себя размеры поставщика, количество лет в торговле, долю на рынке, финансовую отчетность, перечень любых дополнительных продуктов, определение соответствующих деловых отношений (например, других поставщиков инструментальных средств), присутствие на местах и запланированное направление компании для будущего развития.
2	Профиль продукта	Атрибуты, относящиеся к общей информации об использовании продукта. Примечание — Примеры включают в себя возраст продукта, количество платных установок, количество дистрибьютеров инструментального средства, наличие, размер и уровень активности группы пользователей, количество поддерживаемых версий, доступность горячей линии помощи, доступность контрактов на обслуживание, формальную систему отчетов о проблемах, программу разработки продукта, время выполнения (например, новые функции, отчеты о проблемах, поддержка клиентов), совокупность приложений, безошибочность и доступность (коммерческая, государственная, всеобщее достояние, служебная или в доработке).
3	Доступность обучения	Атрибуты, касающиеся наличия учебных материалов и учебных курсов, как на объекте поставщика, так и на объекте покупателя a.
a Должны быть рассмотрены условия, при которых может быть обеспечена подготовка, в том числе наличие курсов, настроенных для конкретных потребностей пользователей.

10.4.5 Оценка характеристик сертификации

Перечень неделимых подхарактеристик, относящихся к оценке или сертификации разработчика или продукта, приведен в таблице 15.

N	Неделимые подхарактеристики	Описание
1	Оценка или сертификация разработчика	Атрибуты, связанные с оценкой или сертификацией профессионально признанной организацией в области программной инженерии и свидетельствующие о том, что практики разработчика в области программной инженерии соответствуют некоторому минимальному уровню, или связанные с намерением поставщика получить такую оценку или пройти сертификацию. Примечание — Например, оценка зрелости процессов на основе модели зрелости возможностей инструментального средства разработки программного обеспечения, оценка программного процесса по ИСО/МЭК 15504 или сертификация по ИСО 9001.
2	Сертификация продукта	Атрибуты, относящиеся к сертификации в установленном порядке и свидетельствующие о том, что инструментальное средство соответствует определенному стандарту.

(справочное)

A.1 Общие положения

Важной частью процесса выбора является применение определенного алгоритма к результатам оценки. Алгоритмы, используемые организациями, значительно различаются. Процессы выбора основываются на некоторых присвоениях весов характеристикам и последующей интеграции полученных рейтинговых оценок с использованием некоторых алгоритмов.

A.2 Учитываемые положения при назначении весов

Веса, присваиваемые подхарактеристикам и характеристикам, должны отражать фактические потребности организации. Если присвоение весов отражает мнение отдельных предпочтений некоторых лиц, а не фактические потребности организации, имеет место высокий риск того, что выбранное инструментальное средство не будет успешно освоено.

Для того чтобы оценка давала полезную информацию для процесса выбора, весовые коэффициенты должны отражать отличия между инструментальными средствами-кандидатами в тех случаях, когда эти средства существенно различаются в удовлетворении потребностей конкретной организации. Опыт показывает, что характеристики, которые трудно оценить организации (например, отсутствие доступа к данным, нехватка ресурсов), как правило, приводят к очень узкому диапазону оценок для инструментальных средств-кандидатов. Например, если организация не в состоянии критически оценить какую-либо характеристику, например надежность, кандидатам скорее всего присваиваются рейтинги в узком диапазоне (например, от 3,0 до 3,5 из 4). Чем выше вес, присвоенный такой характеристике, тем меньше разброс между взвешенными оценками и, следовательно, тем меньше процесс способен различать инструментальные средства.

Таким образом, пользователь настоящего стандарта должен присваивать наивысшее значение тем характеристикам, которые отражают фактические потребности организации и могут быть оценены с некоторой степенью детальности.

A.3 Типы алгоритмов

Существует несколько общих подходов к алгоритмам выбора.

• Организация может использовать алгоритм, который приводит к единому рейтингу для каждого потенциально возможного инструментального средства, а затем сравнивает рейтинги.
• Организация может устанавливать верхний и нижний пороги, в пределы которых попадает рейтинг инструментального средства.
• Организация может сделать выбор на основе профиля каждого инструментального средства и использования управленческого решения.

Ниже приведены примеры нескольких типичных подходов.

Обычно используемые алгоритмы включают в себя алгоритмы, основанные на затратах, алгоритмы на основе оценок и алгоритмы ранжирования. Ниже приведены рассуждения и примеры применения алгоритмов. У каждого подхода имеются свои преимущества и недостатки, никаких рекомендаций не приводится. Организации, желающие получить достоверную оценку и процесс выбора, должны применять алгоритм, обладающий достаточными ресурсами для реализации и подходящий для каждого конкретного случая.

A.4 Алгоритмы, основанные на затратах

Данные алгоритмы определяют некоторый минимально приемлемый уровень возможностей (основанный на потребностях) и определяют все инструментальные средства, обеспечивающие данную возможность. Затем приемлемые инструментальные средства оцениваются по стоимости. Предположительно рекомендуется использовать самое дешевое приемлемое инструментальное средство. Такой подход иногда регулируется инструкциями по закупкам организации.

Сторонники подхода, основанного на затратах, обычно ссылаются на простоту применения, очевидную равнодоступность (более объективно) и низкие конечные затраты по рекомендованному инструментальному средству. Противники данного подхода часто не согласны с тем, что точное определение реальных требований пользователей очень сложное и представляет собой серьезный риск. Другие замечания заключаются в том, что данный подход не чувствителен к плюсам и минусам рентабельности. То есть инструментальное средство с низкой стоимостью отвечает минимальным требованиям, но инструментальное средство, которое несколько дороже, может обеспечить значительно более высокий уровень производительности, превысив минимальные требования, что приведет к лучшим общим результатам в долгосрочной перспективе.

A.5 Пример применения алгоритма, основанного на затратах

Организация решает, что она хочет предоставить своим разработчикам программного обеспечения детальное инструментальное средство проектирования, позволяющее своим пользователям вводить проектные данные, а затем создает словарь данных, определенные конкретные схемы и диаграммы и выполняет ряд проверок согласованности и полноты (все четко прописано). Инструментальное средство, которое нужно приобрести, работает в конкретной аппаратной/программной среде. Организация определяет все потенциально подходящие инструментальные средства, работающие в желаемой среде и гарантирующие предоставление необходимых возможностей. Она получает пробные копии потенциально инструментальных средств-кандидатов и назначает оценочный персонал для проверки того, что данные инструментальные средства действительно предоставляют требуемые продукты удовлетворительным образом. Затем вычисляются затраты каждого потенциально подходящего инструментального средства. Это организация рассматривает как «стоимость», включающую в себя цену покупки, пятилетнее обслуживание и обновление, документацию, первоначальную установку и обучение. В итоге приобретается инструментальное средство, обладающее самой низкой стоимостью.

A.6 Алгоритмы на основе оценок и ранжирования

Алгоритмы оценки и ранжирования очень похожи в том, что для каждого случая одно значение для каждого инструментального средства вычисляется путем умножения веса, заданного каждому пользователю, на некоторое число и добавления этих продуктов. В случае алгоритма, основанного на оценке, взвешенное число представляет собой оценку того, насколько хорошо инструментальное средство удовлетворяет потребности пользователя, в соответствии с некоторой предопределенной шкалой (например, 4 по шкале от 1 до 5). В случае рангового алгоритма взвешенное число представляет собой порядковый ранг того, насколько хорошо это инструментальное средство удовлетворяет потребности по сравнению с другими рассматриваемыми инструментальными средствами (например, второй является лучшим из пяти кандидатов). Основанные на оценке алгоритмы пытаются обеспечить абсолютную меру каждого оцененного инструментального средства, и сами инструментальные средства могут быть оценены индивидуально. Рекомендуется использовать инструментальное средство с самым высоким баллом. Ранговые алгоритмы пытаются обеспечить относительные меры многих инструментальных средств. Инструментальные средства не могут быть оценены индивидуально, и результат для данного средства зависит от набора конкурирующих оцениваемых инструментальных средств. Рекомендуется инструментальное средство с самым низким баллом.

При сравнении балльных и ранговых алгоритмов с алгоритмами, основанными на затратах, сторонники балльных и ранговых алгоритмов утверждают, что эти алгоритмы более чувствительны к потребностям пользователей инструментальных средств, а именно: оценки, как правило, менее функциональны и носят более качественный характер по своей природе и часто выполняются будущими пользователями. Они также утверждают, что эти подходы более чувствительны к диапазонам возможностей (по сравнению с минимальными возможностями) и поэтому поддаются анализу по критериям «затраты/выгоды» и повышения производительности.

Сторонники затратных подходов часто выступают против балльных и ранговых алгоритмов, утверждая, что оценки становятся гораздо более дорогими и субъективными. Они утверждают, что оценщики позволяют своим личным предубеждениям направлять присвоение оценок или рангов, утверждая, что оценщики сначала решают, какое средство выбрать (на основе субъективных характеристик), а затем назначают оценки или ранги, которые оправдывают их предыдущие решения. Они также утверждают, что большая часть дополнительной информации, обычно предоставляемой в оценках, основанных на баллах и рангах, является показной; на практике, когда веса применяются и значения от многих потребностей пользователей объединяются, результаты обычно очень близки, и различия в оценках, которые получены, несколько субъективны.

При сравнении алгоритмов на основе оценок с алгоритмами на основе рангов сторонники алгоритмов на основе оценок указывают, что алгоритмы на основе оценок обеспечивают «абсолютную» меру качества инструментального средства и независимы от других инструментальных средств, в частности от конкретного набора других кандидатов. Они определяют в качестве преимущества то, что анализы на основе оценок могут проводиться независимо друг от друга с использованием наиболее подходящего персонала, ресурсов и графиков. Сторонники ранговых подходов возражают, утверждая, что оценка инструментальных средств в вакууме бессмысленна и что, когда организация оценивает их с неизбежностью покупки, требуется прямое сравнение между инструментальными средствами и независимость не является преимуществом. Они также указывают на то, что, хотя для проведения оценок на основе рангов требуется один и тот же персонал, для оценки всех инструментальных средств-кандидатов различным специалистам по оценке очень трудно последовательно применять одни и те же оценочные характеристики. Оценка инструментального средства является функцией оценщиков, а не внутренним качеством инструментального средства.

A.7 Алгоритмы, основанные на профиле

Агентства по тестированию потребительских товаров часто предоставляют результаты в виде профиля каждого продукта-кандидата. В контексте инструментальных средств программной инженерии оцениваются характеристики, имеющие важное значение для пользователя, и результаты, вводимые в процесс выбора. Конкретное объединение этих частичных результатов не производится. Лицо, осуществляющее выбор, рассматривает профиль и делает выбор на основе суждения об относительной важности различных характеристик для организации.

A.8 Другие применимые алгоритмы

Существует множество дополнительных алгоритмов выбора, разработанных в научной среде. Они могут применяться, когда это необходимо для организации. Эти алгоритмы особенно полезны, когда организация сталкивается с данными оценки, являющимися нечеткими или разреженными, и испытывает трудности с объединением точек зрения нескольких оценщиков и/или лиц, осуществляющих выбор; среди таких алгоритмов можно указать:

• алгоритм Борда (Блек, 1958 г.; Фишберн, 1973 г.) — сумма ранговых алгоритмов;
• алгоритм Кондорсе (Блек, 1958 г.; Фишберн, 1973 г.) — алгоритм парного сравнения;
• алгоритм Доджсона (Блек, 1958 г.; Фишберн, 1973 г.) — алгоритм измерения предпочтений;
• алгоритм Фишберна (Фишберн, 1973 г.) — алгоритм упорядочения предпочтений;
• лексикографический алгоритм — алгоритм сравнения критериев;
• метод анализа иерархий (Саати, 1980 г.) — структурный алгоритм.

Алгоритмы, рассмотренные выше, основаны на количественных оценках. Другим подходом является подход, основанный на качественном анализе, отсылающий к так называемой приземленной теории. Вместо того чтобы начинать с установления требований, подлежащих удовлетворению, и критериев, подлежащих определению, данный подход начинается с изучения опыта до настоящего времени, например с обсуждения с пользователями инструментальных средств их опыта использования технологий в программной инженерии в качестве отправной точки. В число важных источников входят:

• Глассер и Штраус «Открытие приземленной теории, стратегии качественного исследования», Олдин, Нью-Йорк, 1967 г.;
• Бабкоко, Янис А. мл. «К хранилищу корпоративных знаний», SYSLAB Отчет № 91-023, 1991 г.

(справочное)

B.1 Информация об инструментальном средстве

Отчет об оценке должен содержать как минимум следующую информацию:

• название инструментального средства;
• номер версии инструментального средства;
• информацию о поставщике;
• конфигурацию хоста;
• тестовые элементы;
• предпосылки, при необходимости;
• часть(и) жизненного цикла, для которой предназначено инструментальное средство;
• тип программной модели, на которой основано инструментальное средство (например, водопадная модель, спиральная модель);
• описание среды инструментального средства (например, поддерживаемый язык(и) программирования, поддерживаемый метод, операционные системы, возможные конфигурации, конфигурация при оценке, минимальная конфигурация, совместимость с базой данных);
• программное обеспечение других поставщиков, необходимое для среды;
• функции инструментального средства;
• структуру ввода/вывода;
• информацию о потенциальных пользователях.

B.2 Процесс оценки

В отчете следует отразить конкретные действия и задачи в процессе оценки в деталях, необходимые для того, чтобы позволить читателю понять объем и глубину оценки и повторить ее, если это необходимо.

B.3 Специальные результаты

Результаты оценки должны быть представлены с точки зрения самого низкого уровня декомпозиции подхарактеристик (обычно неделимых подхарактеристик). Для каждой подхарактеристики измеренное значение должно указываться в терминах рейтингового уровня оценки для данного измерения.

На основе результатов самого низкого уровня следует показать любое объединение, чтобы четко определить метод интеграции: используемые веса, агрегируемые элементы и уровень, на котором выполняется интеграция. Результатом является профиль, описывающий результаты оценки в терминах оценочных значений для характеристик и подхарактеристик в зависимости от уровня агрегирования.

В тех случаях, когда отчет охватывает несколько инструментальных средств или когда результаты оценки сравниваются с результатами других оценок, следует позаботиться о том, чтобы результаты представлялись в едином формате, облегчающем сравнение (например, с использованием шаблонов). Объективные результаты должны быть представлены с минимальным сопроводительным текстом. Субъективные результаты должны подкрепляться текстом с описанием конкретных причин присвоения весов.

Примечание - Указанная выше информация может быть организована следующим образом:

• процесс оценки;
• цели, критерии, оцениваемые инструментальные средства;
• инструментальные средства для измерения (оценки);
• информация об инструментальном средстве (средствах);
• сценарий тестирования;
• результаты тестирования и оценка.

БИБЛИОГРАФИЯ

[1]	ISO 7498-2, Information processing systems — Open Systems Interconnection — Basic Reference Model — Part 2: Security Architecture
[2]	ISO 9001, Quality management systems — Requirements
[3]	ISO 9241-110, Ergonomics of human-system interaction — Part 110: Dialogue principles
[4]	ISO 9241-210, Ergonomics of human-system interaction — Part 210: Human-centred design for interactive systems
[5]	ISO/IEC/IEEE 12207:2017, Systems and software engineering — Software life cycle processes
[6]	ISO/IEC 13335-1 <1>, Information technology — Security techniques — Management of information and communications technology security — Part 1: Concepts and models for information and communications technology security management
[7]	ISO/IEC 15476-1, Information technology — CDIF semantic metamodel — Part 1: Foundation
[8]	ISO/IEC 15940, Systems and software engineering — Software Engineering Environment Services
[9]	ISO/IEC TR 18018, Information technology — Systems and software engineering — Guide for configuration management tool capabilities
[10]	ISO/IEC TR 24766, Information technology — Systems and software engineering — Guide for requirements engineering tool capabilities
[11]	ISO/IEC 25010, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models
[12]	ISO/IEC 25040:2011, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Evaluation process
[13]	ISO/IEC 25041, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Evaluation guide for developers, acquirers and independent evaluators
[14]	ISO/IEC 25051, Software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Requirements for quality of Ready to Use Software Product (RUSP) and instructions for testing
[15]	ISO/IEC 30130, Software engineering — Capabilities of software testing tools
[16]	ISO/IEC/IEEE 24765, Systems and software engineering — Vocabulary
[17]	IEEE 1517-2004, Standard for Information Technology — Software Life Cycle Processes — Reuse Processes
[18]	Glasser and Strauss. The Discovery of Grounded Theory, Strategies for qualitative research. Aldine, New York, 1967
[19]	Bubcoko J.A. «Towards a Corporate Knowledge Repository», SYSLAB Report No. 91-023, 1991
[20]	Black D. The Theory of Committees and Elections. Cambridge University Press, 1958
[21]	Fishburn P.C. The Theory of Social Choice. Princeton University Press, Princeton, N. J., 1973
[22]	Saaty T.L. 1980; The Analytic Hierarchy Process. McGraw-Hill, New York, 1980

---

<1> Изъято.

УДК 004:006.354	ОКС 35.080
Ключевые слова: системная и программная инженерия, инструментальные средства программной инженерии

---