ГОСТ 28195-89. Оценка качества программных средств. Общие положения

(утв. Постановлением Госстандарта СССР от 28.07.1989 № 2507)

МЕЖГОСУДАРСТВЕННЫЙ СТАНДАРТ

ОЦЕНКА КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ

ОБЩИЕ ПОЛОЖЕНИЯ

Quality control of software systems. General principles

ГОСТ 28195-89

1. Разработан и внесен Министерством приборостроения, средств автоматизации и систем управления СССР.

2. Утвержден и введен в действие Постановлением Государственного комитета СССР по стандартам от 28.07.89 № 2507.

3. Введен впервые.

4. Ссылочные нормативно-технические документы

5. Переиздание. Сентябрь 2001 г.

Настоящий стандарт устанавливает общие положения по оценке качества программных средств вычислительной техники (далее — ПС), поставляемых через фонды алгоритмов и программ (ФАП), номенклатуру и применяемость показателей качества ПС.

Термины, применяемые в стандарте, и пояснения к ним приведены в Приложении 1.

1. ОБЩИЕ ПОЛОЖЕНИЯ

1.1 Оценка качества осуществляется на всех этапах жизненного цикла ПС при:

• планировании показателей качества ПС;
• контроле качества на отдельных этапах разработки (техническое задание, технический проект, рабочий проект);
• контроле качества в процессе производства ПС;
• проверке эффективности модификации ПС на этапе сопровождения.

1.2. Оценка качества ПС представляет собой совокупность операций, включающих выбор номенклатуры показателей качества оцениваемого ПС, определение значений этих показателей и сравнение их с базовыми значениями.

1.3 Оценку качества проводят специалисты организаций:

• разработчика — на этапах разработки ПС;
• фондодержателя — на этапах приемки ПС в фонд;
• испытательных центров и центров сертификации ПС — на этапах испытаний и внедрения;
• изготовителя — на этапах тиражирования ПС;
• пользователя — на этапах внедрения, сопровождения и эксплуатации ПС.

1.4 Основные задачи, решаемые при оценке качества ПС:

• планирование уровня качества;
• контроль значений показателей качества в процессе разработки и испытаний;
• эксплуатационный контроль заданного уровня качества;
• выбор базовых образцов по подклассам и группам;
• методическое руководство разработкой нормативно-технических документов по оценке качества.

1.5 Методы определения показателей качества ПС различаются:

• по способам получения информации о ПС — измерительный, регистрационный, органолептический, расчетный;
• по источникам получения информации — традиционный, экспертный, социологический.

1.5.1. Измерительный метод основан на получении информации о свойствах и характеристиках ПС с использованием инструментальных средств. Например, с использованием этого метода определяется объем ПС — число строк исходного текста программ и число строк — комментариев, число операторов и операндов, число исполненных операторов, число ветвей в программе, число точек входа (выхода), время выполнения ветви программы, время реакции и другие показатели.

1.5.2. Регистрационный метод основан на получении информации во время испытаний или функционирования ПС, когда регистрируются и подсчитываются определенные события, например, время и число сбоев и отказов, время передачи управления другим модулям, время начала и окончания работы.

1.5.3. Органолептический метод основан на использовании информации, получаемой в результате анализа восприятия органов чувств (зрения, слуха), и применяется для определения таких показателей как удобство применения, эффективность и т.п.

1.5.4. Расчетный метод основан на использовании теоретических и эмпирических зависимостей (на ранних этапах разработки), статистических данных, накапливаемых при испытаниях, эксплуатации и сопровождении ПС. При помощи расчетного метода определяются длительность и точность вычислений, время реакции, необходимые ресурсы.

1.5.5. Определение значений показателей качества ПС экспертным методом осуществляется группой экспертов-специалистов, компетентных в решении данной задачи, на базе их опыта и интуиции.

Экспертный метод применяется в случаях, когда задача не может быть решена никаким другим из существующих способов или другие способы являются значительно более трудоемкими. Экспертный метод рекомендуется применять при определении показателей наглядности, полноты и доступности программной документации, легкости освоения, структурности.

1.5.6. Социологические методы основаны на обработке специальных анкет-вопросников.

2. НОМЕНКЛАТУРА ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ

2.1. Номенклатура показателей качества и характеризуемые ими свойства программных средств приведены в табл. 1, где представлены 2 уровня иерархической структуры показателей качества ПС:

• первый уровень определяет группы показателей качества ПС, характеризующие потребительски-ориентированные свойства, которые соответствуют потребностям населения, народного хозяйства и экспорта продукции;
• второй уровень определен комплексными показателями качества ПС, характеризующими программно-ориентированные свойства, которые обеспечивают достижение требуемых потребительски-ориентированных свойств.

2.2. Выбор номенклатуры показателей качества для конкретного ПС осуществляется с учетом его назначения и требований областей применения. В табл. 2 представлена рекомендуемая применяемость показателей качества в зависимости от принадлежности ПС к тому или иному подклассу (группе) в соответствии с общесоюзным классификатором продукции.

2.3. Выбранная номенклатура показателей качества фиксируется в ТЗ на разработку ПС.

Примечания. 1. Знак «+» означает применяемость, знак «-» — неприменяемость соответствующих показателей качества ПС, знак «+/-» — ограниченную применяемость.

2. Выбор показателей качества ПС для подкласса 509 (прочие ПС) осуществляется в зависимости от их назначения с учетом требований областей применения.

3. Наименование подклассов (групп) ПС по ОКП:

5011 — операционные системы и средства их расширения;

5012 — программные средства управления базами данных;

5013 — инструментально-технологические средства программирования;

5014 — ПС интерфейса и управления коммуникациями;

5015 — ПС организации вычислительного процесса (планирования, контроля);

5016 — сервисные программы;

5017 — ПС обслуживания вычислительной техники;

503 — прикладные программы для научных исследований;

504 — прикладные программы для проектирования;

505 — прикладные программы для управления техническими устройствами и технологическими процессами;

506 — прикладные программы для решения экономических задач;

509 — прочие ПС.

Справочное

1. Оценка качества ПС проводится на фазах жизненного цикла (табл. 1) и включает выбор номенклатуры показателей, их оценку и сопоставление значений показателей, полученных в результате сравнения с базовыми значениями.

2. Показатели качества объединены в систему из четырех уровней. Каждый вышестоящий уровень содержит в качестве составляющих показатели нижестоящих уровней. Допускается вводить дополнительные показатели на каждом из уровней.

2.1. Для обеспечения возможности получения интегральной оценки по группам показателей качества используют факторы качества (1-й уровень): надежность ПС, сопровождаемость, удобство применения, эффективность, универсальность (гибкость) и корректность.

2.2. Каждому фактору качества соответствует определенный набор критериев качества (комплексные показатели — 2-й уровень): устойчивость функционирования, работоспособность, структурность, простота конструкции, наглядность, повторяемость, легкость освоения, доступность эксплуатационных программных документов, удобство эксплуатации и обслуживания, уровень автоматизации, временная эффективность, ресурсоемкость, гибкость, мобильность, модифицируемость, полнота реализации, согласованность, логическая корректность, проверенность.

2.3. Критерии качества определяют одной или несколькими метриками (3-й уровень). Если критерий качества определяется одной метрикой, то уровень метрики опускается.

2.4. Метрики составляются из оценочных элементов (единичных показателей — 4-й уровень), определяющих заданное в метрике свойство. Число оценочных элементов, входящих в метрику, не ограничено. Взаимосвязь факторов, критериев и метрик с фазами жизненного цикла ПС приведена на черт. 1 - 20.

<*> Указан номер метрики (критерия).

Черт. 1.

2.5. Выбор оценочных элементов в метрике зависит от функционального назначения оценочного элемента и определяется с учетом данных, полученных при проведении испытаний различных видов, а также по результатам эксплуатации ПС.

2.6. Для накопления информации об оценочных элементах формируется справочник оценочных элементов (табл. 5 - 10) на основе ранее полученных данных о качестве аналогичных ПС.

Оценочные элементы фактора «надежность ПС»

Оценочные элементы фактора «сопровождаемость»

Оценочные элементы фактора «удобство применения»

Оценочные элементы фактора «эффективность»

Таблица 9

Оценочные элементы фактора «универсальность»

Таблица 10

Оценочные элементы фактора «корректность»

3. Оценка качества ПС проводится в определенной последовательности.

3.1. На фазе анализа проводится выбор показателей и их базовых значений.

3.2. Для показателей качества на всех уровнях (факторы, критерии, метрики, оценочные элементы) принимается единая шкала оценки от 0 до 1.

3.3. Показатели качества на каждом вышестоящем уровне (кроме уровня оценочных элементов) определяются показателями качества нижестоящего уровня, т.е.:

• результаты оценки каждого фактора определяются результатами оценки соответствующих ему критериев;
• результаты оценки каждого критерия определяются результатами оценки соответствующих ему метрик;
• результаты оценки каждой метрики определяются результатами оценки определяющих ее оценочных элементов.

Примечание. Коды оценочных элементов составлены из 5 символов следующим образом:

1-й символ — буква русского алфавита — указывает на принадлежность элемента тому или иному фактору («Н» — надежности, «С» — сопровождаемости, «У» — удобству применения, «Э» — эффективности, «Г» — универсальности, «К» — корректности);

4-й и 5-й символы — порядковый номер данного оценочного элемента в метрике.

Например, «К1004» означает, что это 4-й оценочный элемент из 10-й метрики фактора «корректность».

3.4. В процессе оценки качества ПС на каждом уровне (кроме уровня оценочных элементов) проводятся вычисления показателей качества ПС, т.е. определение количественных значений абсолютных показателей ( P_{ij} , где j — порядковый номер показателя данного уровня для i-го показателя вышестоящего уровня) и относительных показателей ( K_{ij} ), являющихся функцией показателя P_{ij} и базового значения P_{ij}^{\text{баз}} .

3.5. Каждый показатель качества 2-го и 3-го уровней (критерий и метрика) характеризуется двумя числовыми параметрами — количественным значением и весовыми коэффициентами ( V_{ij} ).

3.6. Сумма весовых коэффициентов показателей уровня (l), относящихся к i-му показателю вышестоящего уровня (l — 1), есть величина постоянная. Сумма весовых коэффициентов ( V_{ij} ) принимается равной 1.

где j = 1 + n,

n — число показателей уровня (l), относящихся к i-ому показателю вышестоящего уровня (l — 1).

3.7. Общая оценка качества ПС в целом формируется экспертами по набору полученных значений оценок факторов качества.

3.8. Для оценки качества ПС различного назначения методом экспертного опроса составляется таблица значений базовых показателей качества ПС.

3.9. Определение усредненной оценки ( m_{kq} ) оценочного элемента по нескольким его значениям ( m_{\text{э}} ) проводится по формуле

m_{kq} = \frac{\sum_{\text{э} = 1}^{t} m_{\text{э}}}{t} , (2)

где t — число значений ОЭ (оценочного элемента);

k — порядковый номер метрики;

3.10 Итоговая оценка k-й метрики j-го критерия ведется по формуле

P_{jk}^{M} = \frac{\sum_{i = 1}^{Q} m_{kq}}{Q} , (3)

3.11 Абсолютные показатели критериев i-го фактора качества определяются по формуле

P_{ij} = \sum_{k = 1}^{n} (P_{ik}^{\text{м}} \cdot V_{jk}^{\text{м}}) , (4)

3.12 Относительный показатель j-го критерия i-гo фактора качества вычисляется по формуле

K_{ij} = \frac{P_{ij}}{P_{ij}^{\text{баз}}} . (5)

3.13 Фактор качества ( K_{i}^{\text{ф}} ) вычисляется по формуле

K_{i}^{\text{ф}} = \sum_{i = 1}^{N} (K_{ij} \cdot V_{ij}^{k}) , (6)