ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристика качества и руководства по их применению
(утв. Постановлением Госстандарта РФ от 28.12.1993 № 267)
Утвержден и введен в действие Постановлением Госстандарта РФ от 28 декабря 1993 г. № 267
ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Information technology. Software product evaluation. Quality characteristics and guidelines for their use.
Дата введения 1 июля 1994 года
Предисловие
1. Подготовлен и внесен Техническим комитетом по стандартизации ТК 22 «Информационная технология».
2. Утвержден и введен в действие Постановлением Госстандарта России от 28 декабря 1993 г. № 267.
3. Стандарт подготовлен на основе применения аутентичного текста международного стандарта ИСО/МЭК 9126-91 «Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению».
1. Область применения
Настоящий стандарт определяет шесть характеристик, которые с минимальным дублированием описывают качество программного обеспечения. Данные характеристики образуют основу для дальнейшего уточнения и описания качества программного обеспечения. Руководства описывают использование характеристик качества для оценки качества программного обеспечения.
Настоящий стандарт не определяет подхарактеристики (комплексные показатели) и показатели, а также методы измерения, ранжирования и оценки. Данный стандарт придерживается определения качества по ИСО 8402.
Примечание. Предложения по определению комплексных показателей приведены в Приложении А.
Определения характеристик и соответствующая модель процесса оценки качества, приведенные в настоящем стандарте, применимы тогда, когда определены требования для программной продукции и оценивается ее качество в процессе жизненного цикла.
Эти характеристики могут применяться к любому виду программного обеспечения, включая программы ЭВМ и данные, входящие в программно-технические средства (встроенные программы).
Настоящий стандарт предназначен для характеристик, связанных с приобретением, разработкой, эксплуатацией, поддержкой, сопровождением или проверкой программного обеспечения.
2. Нормативные ссылки
В настоящем стандарте использованы ссылки на следующие стандарты:
ИСО/МЭК 2382-20-90. Информационная технология. Словарь. Часть 20. Разработка системы
ИСО 8402-86. Качество. Словарь.
Примечание. До прямого применения данных международных стандартов в качестве Государственных стандартов Российской Федерации они могут быть получены по запросам из ВНИИКИ Госстандарта России.
3. Определения
В настоящем стандарте применяются следующие термины.
3.1. Оценка (assessment) — действие по применению конкретного задокументированного критерия оценки к конкретному программному модулю, пакету или продукции с целью обусловленной приемки или выпуска программного модуля, пакета или продукции.
3.2. Признаки (показатели) (features) — признаки, определяющие свойства программной продукции, которые могут быть отнесены к характеристикам качества.
Примечание. Примеры признаков включают в себя длину маршрута, модульность, структуру программы и комментарии.
3.3. Программно-аппаратные средства (firmware) — технические средства, содержащие компьютерную программу и данные, которые не могут изменяться средствами пользователя. Компьютерная программа и данные, входящие в программно-аппаратные средства, классифицируются как программное обеспечение; схемы, содержащие компьютерную программу и данные, классифицируются как технические средства.
3.4. Уровень качества функционирования (level of performance) — степень, в которой удовлетворяются потребности, представленные конкретным набором значений для характеристик качества.
3.5. Измерение (measurement) — действие по применению показателя качества программного обеспечения к конкретной программной продукции.
3.6. Качество (quality) — весь объем признаков и характеристик продукции или услуги, который относится к их способности удовлетворять установленным или предполагаемым потребностям (ИСО 8402).
Примечание. В сфере контракта потребности определены, тогда как в других сферах предполагаемые потребности должны быть установлены и определены (ИСО 8402, примечание 1).
3.7. Ранжирование (рейтинг) (rating) — действие по отнесению измеренного значения к соответствующему уровню ранжирования. Используется для определения уровня ранжирования программного обеспечения по конкретной характеристике качества.
3.8. Уровень ранжирования (rating level) — диапазон значений в масштабе, позволяющем классифицировать (ранжировать) программное обеспечение в соответствии с установленными или предполагаемыми потребностями. Соответствующие уровни ранжирования могут быть связаны с различными представлениями о качестве, то есть для пользователей, руководителей или разработчиков. Данные уровни называются уровнями ранжирования.
Примечание. Данные уровни ранжирования отличны от «классов», определенных ИСО 8402.
3.9. Программное обеспечение (software) — программы, процедуры, правила и любая соответствующая документация, относящиеся к работе вычислительной системы.
3.10. Программная продукция (software product) — программный объект, предназначенный для поставки пользователю.
3.11. Качество программного обеспечения (software quality) — весь объем признаков и характеристик программной продукции, который относится к ее способности удовлетворять установленным или предполагаемым потребностям.
3.12. Критерий оценки качества программного обеспечения (software quality assessment criteria) — набор определенных и задокументированных правил и условий, которые используются для решения о приемлемости общего качества конкретной программной продукции. Качество представляется набором установленных уровней, связанных с программной продукцией.
3.13. Характеристики качества программного обеспечения (software quality characteristics) — набор свойств (атрибутов) программной продукции, по которым ее качество описывается и оценивается. Характеристики качества программного обеспечения могут быть уточнены на множестве уровней комплексных показателей (подхарактеристик).
3.14. Метрика качества программного обеспечения (software quality metric) — количественный масштаб и метод, которые могут быть использованы для определения значения признака, принятого для конкретной программной продукции.
4. Характеристики качества программного обеспечения
Качество программного обеспечения может быть оценено следующими характеристиками.
4.1 Функциональные возможности (Functionality)
Набор атрибутов, относящихся к сути набора функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности.
Примечания. 1. Данный набор атрибутов характеризует то, что программное обеспечение выполняет для удовлетворения потребностей, тогда как другие наборы, главным образом, характеризуют, когда и как это выполняется.
2. В данной характеристике для установленных и предполагаемых потребностей учитывают примечание к определению качества (см. 3.6).
4.2. Надежность (Reliability)
Набор атрибутов, относящихся к способности программного обеспечения сохранять свой уровень качества функционирования при установленных условиях за установленный период времени.
Примечания. 1. Износ или старение программного обеспечения не происходит. Ограничения надежности проявляются из-за ошибок в требованиях, проекте и реализации. Отказы из-за этих ошибок зависят от способа использования программного обеспечения и ранее выбранных версий программ.
2. В определении ИСО 8402 «надежность — способность элемента выполнять требуемую функцию». В настоящем стандарте функциональная возможность является только одной из характеристик качества программного обеспечения. Поэтому определение надежности расширено до «сохранения своего уровня качества функционирования» вместо «выполнения требуемой функции» (см. также 3.4).
4.3. Практичность (Usability)
Набор атрибутов, относящихся к объему работ, требуемых для использования и индивидуальной оценки такого использования определенным или предполагаемым кругом пользователей.
Примечания. 1. «Пользователи» могут интерпретироваться как большинство непосредственных пользователей интерактивного программного обеспечения. Круг пользователей может включать в себя операторов, конечных пользователей и косвенных пользователей, на которых влияет данное программное обеспечение или которые зависят от его использования. Практичность должна рассматриваться во всем разнообразии условий эксплуатации пользователем, которые могут влиять на программное обеспечение, включая подготовку к использованию и оценку результатов.
2. Практичность, определенная в данном стандарте как конкретный набор атрибутов программной продукции, отличается от определения с точки зрения эргономики, где рассматриваются как составные части практичности другие характеристики, такие как эффективность и неэффективность.
4.4. Эффективность (Efficiences)
Набор атрибутов, относящихся к соотношению между уровнем качества функционирования программного обеспечения и объемом используемых ресурсов при установленных условиях.
Примечание. Ресурсы могут включать другие программные продукты, технические средства, материалы (например, бумага для печати, гибкие диски) и услуги эксплуатирующего, сопровождающего или обслуживающего персонала.
4.5. Сопровождаемость (Maintainability)
Набор атрибутов, относящихся к объему работ, требуемых для проведения конкретных изменений (модификаций).
Примечание. Изменение может включать в себя исправления, усовершенствования или адаптацию программного обеспечения к изменениям в окружающей обстановке, требованиях и условиях функционирования.
4.6. Мобильность (Portability)
Набор атрибутов, относящихся к способности программного обеспечения быть перенесенным из одного окружения в другое.
Примечание. Окружающая обстановка может включать в себя организационное, техническое или программное окружение.
5. Руководство по применению характеристик качества
5.1. Применяемость
Настоящий стандарт применяется для установления требований к качеству программного обеспечения и оценивания (измерения, ранжирования и оценки) программных продуктов, включая:
- определение требований к качеству программной продукции;
- оценивание технических требований к программному обеспечению при контроле за тем, чтобы требования качества были удовлетворены в процессе разработки;
- описание признаков и свойств (атрибутов) внедренного программного обеспечения (например в руководствах пользователя);
- оценивание разработанного программного обеспечения перед его поставкой;
- оценивание программного обеспечения перед приемкой.
Существуют только несколько общепринятых метрик для характеристик, описанных в настоящем стандарте. Организации и группы по стандартизации могут устанавливать свои собственные модели процесса оценивания и методы формирования и проверки метрик, связанных с этими характеристиками, для охвата различных областей применения и стадий жизненного цикла. В тех случаях, когда соответствующие метрики отсутствуют и не могут быть разработаны, иногда пользуются словесными описаниями или «приблизительными методами».
При использовании шести характеристик качества в целях описания и оценивания также необходимо установить уровни ранжирования и критерии конкретно для данной организации или для данного применения, или для того и другого.
Должны быть установлены метрики, уровни ранжирования и критерии применительно к оценке качества, когда обмениваются результатами оценивания.
Хотя отсутствует общепринятая система классификации программного обеспечения, имеется несколько общепринятых классов программного обеспечения. Важность каждой характеристики качества меняется в зависимости от класса программного обеспечения. Например, надежность наиболее важна для программного обеспечения боевых критичных систем, эффективность наиболее важна для программного обеспечения критичных по времени систем реального времени, а практичность наиболее важна для программного обеспечения диалога конечного пользователя.
Важность каждой характеристики качества также меняется в зависимости от принятых точек зрения.
5.2. Представления о качестве программного обеспечения
Имеется несколько представлений о качестве, некоторые из которых обсуждаются ниже.
5.2.1 Представление пользователя
Определение качества по ИСО 8402 отражает представление пользователя так же, как и характеристики, определенные в настоящем стандарте.
Пользователи в основном проявляют заинтересованность в применении программного обеспечения, его производительности и результатах использования. Пользователи оценивают программное обеспечение без изучения его внутренних аспектов или того, как программное обеспечение создавалось.
Пользователя могут интересовать следующие вопросы:
- Насколько эффективно программное обеспечение?
- Является ли программное обеспечение удобным для использования?
- Насколько просто переносится программное обеспечение в другую среду?
5.2.2 Представление разработчика
Процесс создания требует от пользователя и разработчика использования одних и тех же характеристик качества программного обеспечения, так как они применяются для установления требований и приемки. Когда разрабатывается программное обеспечение для продажи, в требованиях качества должны быть отражены предполагаемые потребности.
Так как разработчики отвечают за создание программного обеспечения, которое должно удовлетворять требованиям качества, они заинтересованы в качестве промежуточной продукции так же, как и в качестве конечной продукции. Для того чтобы оценить качество промежуточной продукции на каждой фазе цикла разработки, разработчики должны использовать различные метрики для одних и тех же характеристик, потому что одни и те же метрики неприменимы для всех фаз жизненного цикла. Например, пользователь понимает эффективность в терминах времени реакции, тогда как разработчик использует в проектной спецификации термины длины маршрута и времени ожидания и доступа. Метрики, применяемые для внешнего интерфейса продукции, заменимы метриками, применяемыми для ее структуры.
Представление пользователя должно также включать представление о характеристиках качества, требуемое тем, кто сопровождает программное обеспечение.
5.2.3 Представление руководителя
Руководитель может быть более заинтересован в общем качестве, чем в конкретной характеристике качества, и по этой причине будет нуждаться в определении важности значений, отражающих коммерческие требования для индивидуальных характеристик.
Руководителю может также потребоваться сопоставление повышения качества с критериями управляемости, такими как плановая задержка или перерасход стоимости, потому что он желает оптимизировать качество в пределах ограниченной стоимости, трудовых ресурсов и установленного времени.
5.3. Модель процесса оценивания
Схема 1 отражает основные этапы, требуемые для оценивания качества программного обеспечения, начиная с характеристик качества, определенных в настоящем стандарте. Ряд детальных процедур, таких как анализ и проверка метрик, на схеме 1 не показаны.
Схема 1. Модель процесса оценивания
Процесс состоит из трех стадий: установление (определение) требований к качеству, подготовка к оцениванию и процедура оценивания. Данный процесс может применяться в любой подходящей фазе жизненного цикла для каждого компонента программной продукции.
5.3.1 Установление требований к качеству
Целью начальной стадии является установление требований в терминах характеристик качества и возможных комплексных показателей (подхарактеристик). Требования выражают потребности внешнего окружения для рассматриваемой программной продукции и должны быть определены до начала разработки. Так как программная продукция разделяется на основные компоненты, требования для продукции в целом могут отличаться от требований для отдельных компонентов.
5.3.2 Подготовка к оцениванию
Целью второй стадии является подготовка основы для оценивания.
5.3.2.1 Выбор метрик (показателей) качества
Способ, которым определялись характеристики качества, не допускает их непосредственного измерения. Существует потребность в установлении метрик (показателей), которые соотносятся с характеристиками программной продукции. Каждый количественный признак и каждое количественно оцениваемое взаимодействие программного обеспечения с его окружением, которые соотносятся с характеристикой, могут быть приняты в качестве метрики (показателя).
Метрики могут по-разному зависеть от окружения и фаз процесса разработки, в которых они используются. Метрики, используемые в процессе разработки, должны быть соотнесены с соответствующими метриками пользователя, потому что метрики из представления пользователя являются решающими.
5.3.2.2 Определение уровней ранжирования
Количественные признаки могут быть измерены, используя метрики качества. Результат, т.е. измеренное значение, отображается в масштабе. Данное значение не показывает уровень удовлетворения требований. Для этой цели данные шкалы должны быть разделены на диапазоны, соответствующие различным степеням удовлетворения требований (см. схему 2). Так как качество относится к конкретным потребностям, общие уровни ранжирования невозможны. Они должны определяться для каждого конкретного оценивания.
Схема 2. Измеренное значение и установленный уровень
5.3.2.3 Определение критерия оценки
Для определения качества продукции результаты оценивания различных характеристик должны быть подытожены. Оценщик должен подготовить для этого процедуры, используя, например, таблицы решений или средние взвешенные. Процедура обычно включает в себя другие аспекты, такие как время и стоимость, которые способствуют оценке качества программной продукции в конкретных условиях эксплуатации.
5.3.3 Процедура оценивания
Последняя стадия модели процесса оценивания уточняется по трем этапам, называемым «измерение», «ранжирование» и «оценка».
5.3.3.1 Измерение
Для измерения выбранные метрики применяются к программной продукции. Результатом являются значения в масштабах метрик.
5.3.3.2 Ранжирование
На этапе ранжирования устанавливается уровень ранжирования для измеренного значения (см. схему 2).
5.3.3.3 Оценка
Оценка является последним этапом процесса оценивания программного обеспечения, на котором обобщается множество установленных уровней. Результатом является заключение о качестве программной продукции. Затем обобщенное качество сравнивается с другими факторами, такими как время и стоимость. Окончательное решение руководства принимается на основе критерия управляемости. Результатом является решение руководства по приемке или отбраковке, или по выпуску или невыпуску программной продукции.
КОМПЛЕКСНЫЕ ПОКАЗАТЕЛИ (ПОДХАРАКТЕРИСТИКИ) КАЧЕСТВА
А.1. Введение
Данное приложение представляет иллюстративную качественную модель, которая определяет характеристики из настоящего стандарта в терминах комплексных показателей (подхарактеристик). Это является необходимым этапом в определении качества с использованием модели процесса оценивания качества, описанной в настоящем стандарте. Последующие соответствующие документы будут посвящены определению комплексных показателей.
Существует ряд подобных моделей качества, описанных в литературе и применяемых на практике. Степень завершенности этих моделей, терминов и определений пока еще не позволяет включить их в стандарт. Однако они публикуются для поощрения их практического использования и накопления опыта для их дальнейшего уточнения. Ключевым моментом в данном вопросе должна быть модель качества, по крайней мере, на уровне комплексных показателей (подхарактеристик) программной продукции, необязательно в точном соответствии с формой, описанной в данном приложении.
А.2. Определение комплексных показателей качества
А.2.1. Функциональные возможности (Functionality)
А.2.1.1. Пригодность (Suitability)
Атрибут программного обеспечения, относящийся к наличию и соответствию набора функций конкретным задачам.
Примечание. Примерами соответствия является состав функций, ориентированных на задачу, из входящих в него подфункций и объемы таблиц.
А.2.1.2. Правильность (Accuracy)
Атрибуты программного обеспечения, относящиеся к обеспечению правильности или соответствия результатов или эффектов.
Примечание. Например, она включает необходимую степень точности вычисленных значений.
А.2.1.3. Способность к взаимодействию (Interoperability)
Атрибуты программного обеспечения, относящиеся к способности его взаимодействовать с конкретными системами.
Примечание. Способность к взаимодействию используется вместо совместимости для того, чтобы избежать возможной путаницы с взаимозаменяемостью (см. А.2.6.4).
А.2.1.4. Согласованность (Compliance)
Атрибуты программного обеспечения, которые заставляют программу придерживаться соответствующих стандартов или соглашений, или положений законов, или подобных рекомендаций.
А.2.1.5. Защищенность (Security)
Атрибуты программного обеспечения, относящиеся к его способности предотвращать несанкционированный доступ, случайный или преднамеренный, к программам и данным.
А.2.2. Надежность (Reliability)
А.2.2.1. Стабильность (Maturity)
Атрибуты программного обеспечения, относящиеся к частоте отказов при ошибках в программном обеспечении.
А.2.2.2. Устойчивость к ошибке (Fault tolerance)
Атрибуты программного обеспечения, относящиеся к его способности поддерживать определенный уровень качества функционирования в случаях программных ошибок или нарушения определенного интерфейса.
Примечание. Определенный уровень качества функционирования включает возможность отказобезопасности.
А.2.2.3. Восстанавливаемость (Recoverability)
Атрибуты программного обеспечения, относящиеся к его возможности восстанавливать уровень качества функционирования и восстанавливать данные, непосредственно поврежденные в случае отказа, а также к времени и усилиям, необходимым для этого.
А.2.3. Практичность (Usability)
А.2.3.1. Понятность (Understandability)
Атрибуты программного обеспечения, относящиеся к усилиям пользователя по пониманию общей логической концепции и ее применимости.
А.2.3.2. Обучаемость (Learnability)
Атрибуты программного обеспечения, относящиеся к усилиям пользователя по обучению его применению (например оперативному управлению, вводу, выводу).
А.2.3.3. Простота использования (Operability)
Атрибуты программного обеспечения, относящиеся к усилиям пользователя по эксплуатации и оперативному управлению.
А.2.4. Эффективность (Efficiency)
А.2.4.1. Характер изменения во времени (Time behavior)
Атрибуты программного обеспечения, относящиеся к временам отклика и обработки и к скоростям выполнения его функций.
А.2.4.2. Характер изменения ресурсов (Resource behavior)
Атрибуты программного обеспечения, относящиеся к объему используемых ресурсов и продолжительности такого использования при выполнении функции.
А.2.5. Сопровождаемость (Maintainability)
А.2.5.1. Анализируемость (Analysability)
Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для диагностики недостатков или случаев отказов или определения составных частей для модернизации.
А.2.5.2. Изменяемость (Changeability)
Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для модификации, устранению отказа или для изменения условий эксплуатации.
А.2.5.3. Устойчивость (Stability)
Атрибуты программного обеспечения, относящиеся к риску от непредвиденных эффектов модификации.
А.2.5.4. Тестируемость (Testability)
Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для проверки модифицированного программного обеспечения.
Примечание. Значения этой подхарактеристики могут быть изменены рассматриваемыми модификациями.
А.2.6. Мобильность (Portability)
А.2.6.1. Адаптируемость (Adaptability)
Атрибуты программного обеспечения, относящиеся к удобству его адаптации к различным конкретным условиям эксплуатации, без применения других действий или способов, кроме тех, что предназначены для этого в рассматриваемом программном обеспечении.
А.2.6.2. Простота внедрения (Installability)
Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для внедрения программного обеспечения в конкретное окружение.
А.2.6.3. Соответствие (Conformance)
Атрибуты программного обеспечения, которые заставляют программу подчиняться стандартам или соглашениям, относящимся к мобильности.
А.2.6.4. Взаимозаменяемость (Replaceability)
Атрибуты программного обеспечения, относящиеся к простоте и трудоемкости его применения вместо другого конкретного программного средства в среде этого средства.
Примечания. 1. Взаимозаменяемость используется вместо совместимости для того, чтобы избежать возможной путаницы со способностью к взаимодействию (см. А.2.1.3).
2. Взаимозаменяемость с конкретным программным средством не предполагает, что данное средство заменимо рассматриваемым программным средством.
3. Взаимозаменяемость может включать в себя атрибуты простоты внедрения и адаптируемости. Понятие было введено в качестве отдельной подхарактеристики из-за его важности.