ГОСТ Р 72664-2026 (ИСО/МЭК 25059:2023). Национальный стандарт Российской Федерации. Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модель качества для систем искусственного интеллекта
(утв. и введен в действие Приказом Росстандарта от 13.05.2026 № 482-ст)
Примечание
Документ введен в действие с 01.08.2026.
Утвержден и введен в действие
Приказом Федерального
агентства по техническому
регулированию и метрологии
от 13 мая 2026 г. № 482-ст
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ТРЕБОВАНИЯ И ОЦЕНКА КАЧЕСТВА СИСТЕМ
И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ (SQuaRE)
МОДЕЛЬ КАЧЕСТВА ДЛЯ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Software engineering. Systems and software
Quality Requirements and Evaluation (SQuaRE).
Quality model for AI systems
1 августа 2026 года
Предисловие
1 ПОДГОТОВЛЕН Ассоциацией по сертификации «Русский Регистр» на основе официального перевода на русский язык англоязычной версии указанного в пункте 4 стандарта, который выполнен Федеральным государственным бюджетным учреждением «Российский институт стандартизации» (ФГБУ «Институт стандартизации»)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 13 мая 2026 г. № 482-ст
4 Настоящий стандарт является модифицированным по отношению к международному стандарту ИСО/МЭК 25059:2023 «Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модель качества для систем искусственного интеллекта» [ISO/IEC 25059:2023 «Software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Quality model for AI systems», MOD] путем изменения отдельных фраз (слов, значений показателей, ссылок), которые выделены в тексте курсивом.
Внесение указанных технических отклонений направлено на учет особенностей российской национальной стандартизации.
Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте, приведены в дополнительном приложении ДА.
Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта приведено в дополнительном приложении ДБ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Системы искусственного интеллекта (ИИ) требуют учета дополнительных свойств и характеристик систем, а заинтересованные стороны имеют разные потребности. Системы ИИ имеют разные свойства и характеристики. Например, системы ИИ могут:
- самостоятельно принимать решения;
- основываться на искаженных или неполных данных;
- являться вероятностными;
- адаптироваться в процессе эксплуатации.
Модели качества, требования к качеству, измерение качества и оценка качества программного обеспечения были стандартизированы и вошли в комплекс стандартов на требования и оценку качества систем и программного обеспечения (SQuaRE) (см. приложение A).
Согласно [1], надежность понимается и рассматривается как в качестве непрерывного организационного процесса, так и в качестве нефункционального требования, определяющего эмерджентные свойства системы — то есть совокупность присущих характеристик с их атрибутами — в контексте качества использования, как это указано в ГОСТ Р ИСО/МЭК 25010.
В [1] рассматривается применимость по отношению к системам ИИ, которые были разработаны для обычного программного обеспечения. Согласно [1], непредсказуемый характер систем ИИ на основе данных учитывается в недостаточной степени. Принимая во внимание существующий объем работ на данную тему, в [1] определяется необходимость разработки новых стандартов для систем ИИ, в которых будут рассмотрены не только характеристики и требования для разработки традиционного программного обеспечения, но и различные подходы к тестированию и оценке систем ИИ. В отчете отмечается, что для тестирования системы ИИ, модифицированной версии существующего программного и аппаратного обеспечения необходимо применять методы верификации и валидации. Также в отчете определяются несколько концептуальных различий между многими системами ИИ и обычными системами и делается вывод о том, что «способность системы (ИИ) достичь запланированного и желаемого результата не всегда поддается измерению с помощью традиционных подходов тестирования программного обеспечения». Тестирование систем ИИ описывается в [2].
В настоящем стандарте рассматривается расширение модели качества SQuaRE, описанной в ГОСТ Р ИСО/МЭК 25010, для прикладной системы ИИ.
Модель качества рассматривается в двух плоскостях: качество продукта, описанное в разделе 4, и качество при использовании, описанное в разделе 5. Также в данных объясняется релевантность данных терминов и приводятся ссылки на результаты, приведенные в других стандартах (например, ГОСТ Р 70462.1, ГОСТ Р ИСО/МЭК 24029-2).
В [3] описывается модель качества данных, которая дополняет модель, описанную в настоящем стандарте. Расширение модели качества данных (см. [3]) для систем ИИ — в соответствии с ГОСТ Р 71484.1 — ГОСТ Р 71484.4.
1 Область применения
Настоящий стандарт устанавливает модель качества для систем искусственного интеллекта (ИИ) и относится к стандартам, устанавливающим требования и оценку качества систем и программного обеспечения (SQuaRE). В характеристиках и подхарактеристиках (субхарактеристиках), описанных в данной модели качества, приводится терминология для определения, измерения и оценки качества системы ИИ, также приводятся и сопоставляются характеристики качества с требованиями к качеству для обстоятельного и многостороннего охвата изучаемого предмета.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 70462.1/ISO/IEC TR 24029-1-2021 Информационные технологии. Интеллект искусственный. Оценка робастности нейронных сетей. Часть 1. Обзор
ГОСТ Р 71476 (ИСО/МЭК 22989:2022) Искусственный интеллект. Концепции и терминология искусственного интеллекта
ГОСТ Р 71484.1 (ИСО/МЭК 5259-1:2024) Искусственный интеллект. Качество данных для аналитики и машинного обучения. Часть 1. Обзор, терминология и примеры
ГОСТ Р 71484.2 (ИСО/МЭК 5259-2:2024) Искусственный интеллект. Качество данных для аналитики и машинного обучения. Часть 2. Показатели качества данных
ГОСТ Р 71484.3 (ИСО/МЭК 5259-3:2024) Искусственный интеллект. Качество данных для аналитики и машинного обучения. Часть 3. Требования и рекомендации по управлению качеством данных
ГОСТ Р 71484.4 (ИСО/МЭК 5259-4:2024) Искусственный интеллект. Качество данных для аналитики и машинного обучения. Часть 4. Структура процесса управления качеством данных
ГОСТ Р ИСО/МЭК 24029-2 Искусственный интеллект. Оценка робастности нейронных сетей. Часть 2. Методология использования формальных методов
ГОСТ Р ИСО/МЭК 25010 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов
ГОСТ Р ИСО 31000 Менеджмент риска. Принципы и руководство
Примечания - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ Р 71476, ГОСТ Р ИСО/МЭК 25010 (см. также [4]), а также следующие термины с соответствующими определениями:
3.1 Общие положения
| показатель (measure): Переменная, которой присваивается какое-то значение как конкретный результат измерения. Примечание — Форма множественного числа «показатели» используется для ссылки на основные показатели, производные показатели и индикаторы. [ГОСТ Р 58606-2019, пункт 3.15] |
|---|
| измерение (measurement): Набор операций, предназначенных для определения значения показателя. [ГОСТ Р 58606-2019, пункт 3.17] |
|---|
показатель качества программного обеспечения (software quality measure): Показатель внутреннего качества, показатель внешнего качества программного обеспечения или показатель качества программного обеспечения при использовании.
Примечание — Показатель внутреннего качества, показатель внешнего качества программного обеспечения или показатель качества программного обеспечения при использовании определены в модели качества в ГОСТ Р ИСО/МЭК 25010.
| [ГОСТ Р ИСО/МЭК 25040-2014, пункт 4.61] 3.1.4 прозрачность (transparency) <организация>: Характеристика организации, которая информирует соответствующие заинтересованные стороны о затрагивающих их действиях и решениях всесторонним, доступным и понятным образом. Примечание — Некорректное информирование о действиях и решениях может нарушить требования по безопасности, конфиденциальности и защите персональных данных. |
|---|
[ГОСТ Р 71476-2024, пункт 3.5.14]
3.2 Качество продукта
3.2.1 управляемость со стороны пользователя (user controllability): Степень, с которой пользователь может своевременно вмешаться в работу системы.
3.2.2 функциональная адаптируемость (functional adaptability): Степень, с которой система ИИ может точно получать информацию из данных или из результатов предыдущих действий и использовать эту информацию для будущих прогнозов.
| функциональная корректность (functional correctness): Степень обеспечения продуктом или системой необходимой степени точности корректных результатов. [ГОСТ Р ИСО/МЭК 25010-2015, пункт 4.2.1.2] |
|---|
3.2.4 возможность вмешательства (intervenability): Степень, с которой оператор может своевременно вмешаться в работу системы для того, чтобы избежать опасности или ущерба.
| робастность (robustness): Способность системы ИИ поддерживать свой уровень показателей при любых обстоятельствах. [ГОСТ Р 71476-2024, пункт 3.5.12] |
|---|
4 Модель качества продукта
4.1 Общие положения
На рисунке 1 представлена модель качества продукта системы ИИ. Данная модель основана на измененной версии основной модели качества системы, описанной в ГОСТ Р ИСО/МЭК 25010. Впервые установленные и измененные подхарактеристики обозначены сноской. Некоторые подхарактеристики имеют другое значение или область употребления по сравнению с моделью согласно ГОСТ Р ИСО/МЭК 25010. Все изменения, дополнения и отличия описаны в настоящем разделе. Исходные неизмененные характеристики являются частью модели качества продукта системы ИИ и должны толковаться в соответствии с ГОСТ Р ИСО/МЭК 25010.
<*> Измененные подхарактеристики.
<**> Впервые установленные подхарактеристики.
Рисунок 1 — Модель качества продукта системы ИИ
В настоящем разделе приведено описание измененных и впервые установленных подхарактеристик.
4.2 Управляемость системой ИИ со стороны пользователя
Управляемость со стороны пользователя является впервые установленной подхарактеристикой удобства использования. Управляемость со стороны пользователя — это свойство системы ИИ, при котором человек или другой внешний агент может своевременно вмешаться в работу системы. Если непредвиденное поведение системы не может быть полностью исключено и может привести к негативным последствиям, повышенная управляемость будет полезна.
Управляемость со стороны пользователя связана с управляемостью, которая описана в ГОСТ Р 71476.
4.3 Функциональная адаптируемость системы ИИ
Функциональная адаптируемость является впервые установленной подхарактеристикой функциональной пригодности. Функциональная адаптируемость системы ИИ — это способность данной системы адаптировать себя к меняющейся динамической среде, в которой она функционирует. Системы ИИ могут обучаться на основе новых данных для обучения, производственных данных или результатов, полученных на основе предыдущего опыта работы системы. Концепция функциональной адаптируемости основана на концепции непрерывного обучения, которая представлена в ГОСТ Р 71476.
Непрерывное обучение не является обязательным требованием для функциональной адаптируемости. Например, система, которая дискретно переключается между различными моделями классификации, с учетом событий в окружающей среде, может рассматриваться как функционально адаптируемая.
Функциональная адаптируемость в системах ИИ отличается от других характеристик качества тем, что результаты этих систем не могут быть интерпретированы линейно (например, от плохого к хорошему). Как правило, наличие высокой степени функциональной адаптируемости может привести к улучшению результатов, выданных системами ИИ.
В некоторых системах высокая степень функциональной адаптируемости может привести к получению дополнительных нежелательных результатов, которые будут в большей степени основываться на предыдущем выборе системы. Взвешивание пути принятия решений с относительно высокой неопределенностью, усиленное предыдущим решением системы ИИ, может привести к повышенной вероятности получения непреднамеренных отрицательных результатов. В этом случае функциональная адаптируемость может повысить степень отрицательной предвзятости со стороны человека.
В то время, как традиционные алгоритмы, как правило, выдают одинаковый результат при одном и том же наборе входных данных, системы ИИ, благодаря непрерывному обучению, могут демонстрировать разное поведение и, следовательно, выдавать разные результаты.
4.4 Функциональная корректность системы ИИ
Функциональная корректность описана в ГОСТ Р ИСО/МЭК 25010. В модель качества продукта системы ИИ внесены поправки в описание, так как системы ИИ, в частности, вероятностные методы машинного обучения (МО), обычно не обеспечивают полной функциональной корректности, поскольку в их выходных данных ожидается определенная частота появления ошибок. В связи с этим необходимо тщательно измерять корректность и неточность. Для этого существуют многочисленные измерения в области методов МО с примерами, которые можно применить к модели классификации, описанной в [5].
Дополнительно может существовать одновременная недостижимость между характеристиками: уровень производительности, робастность и функциональная корректность.
В приложении B представлена дополнительная информация о предпочтительности термина «функциональная корректность» по сравнению с другими, более распространенными, такими как термин «общая производительность», для описания корректности модели.
4.5 Робастность системы ИИ
Робастность является впервые установленной подхарактеристикой характеристики надежности. Она используется для описания способности системы поддерживать определенный уровень функциональной корректности (см. приложение B, в котором описан термин «производительность») при различных обстоятельствах, таких как:
- наличие ввода непредвиденных, смещенных, конфликтующих или некорректных данных;
- внешнее вмешательство;
- способность работы в различных условиях среды, включая способность к обобщению, отказоустойчивость, надежность;
- атрибуты, связанные с надлежащей работой системы, заложенные разработчиками.
Надлежащая работа системы необходима для защищенности системы и безопасности ее заинтересованных сторон в данной среде или области. Информация о функциональной безопасности в области систем ИИ содержится в [6].
Робастность рассматривается в [1], методы оценки описываются в ГОСТ Р 70462.1 и определяются согласно ГОСТ Р ИСО/МЭК 24029-2.
4.6 Прозрачность системы ИИ
В модели качества продукта прозрачность является подхарактеристикой удобства использования и относится к внутренним свойствам системы, а в модели качества при использовании — подхарактеристикой удовлетворенности.
Она отражает степень, с которой до заинтересованных сторон доводится релевантная информация о системе ИИ.
Прозрачность систем ИИ помогает потенциальным пользователям выбрать ту систему, которая соответствует их требованиям, а также повышает знания заинтересованных сторон о применимости и ограничениях системы ИИ, а также объяснимости систем ИИ.
Прозрачность может включать в себя информацию о функциональности системы ИИ, ее составных частях, об интерфейсах, используемых моделях МО, о данных для обучения, данных для верификации и валидации, бенчмаркинге (результатах сравнения производительности на эталонных наборах данных с другими системами), логах (журналах событий) и практиках управления в организации, ответственной за данную систему.
Прозрачные системы ИИ документируют, регистрируют или отображают свои внутренние процессы при помощи инструментов внутреннего контроля и файлов данных. Поток данных можно отслеживать на каждом этапе, при этом принимаемые решения, обработка исключений и правила принятия решений документируются. Содержание логов (журнала событий) отслеживает прохождение отдельных этапов в цепочке вычислений, в которых преобразуются данные, а также отслеживает вызовы на системном уровне. Ошибки регистрируются подробно, особенно на этапах преобразования данных. Системы ИИ с высокой степенью прозрачности состоят из хорошо задокументированных подкомпонентов, интерфейсы которых подробно описаны. Прозрачность всех систем ИИ облегчает расследование системных сбоев.
В системе с низкой степенью прозрачности достаточно сложно изучить внутренние процессы извне. Отсутствие подробной регистрации процессов может негативно влиять на тестируемость, оценку социального и этического фактора и обработку риска.
В итоге прозрачность систем ИИ способствует установлению доверия, подотчетности и взаимодействия между заинтересованными сторонами. Некоторые аспекты прозрачности описаны в [1].
4.7 Возможность вмешательства
Степень возможности вмешательства может быть определена в зависимости от области, в которой может использоваться система ИИ. Решающим фактором использования возможности вмешательства является наблюдение за состоянием системы ИИ, переход от опасного к безопасному состоянию. Под управляемостью понимается состояние, в котором система ИИ имеет атрибуты, позволяющие осуществлять управление и контроль, что подчеркивает важность пользовательского интерфейса системы ИИ. По сравнению с управляемостью, возможность вмешательства имеет большую значимость и предназначена предотвращать возникновение опасности или ущерба со стороны системы ИИ.
Возможность вмешательства относится к управляемости, которая описана в ГОСТ Р 71476.
5 Модель качества при использовании системы ИИ
5.1 Общие положения
На рисунке 2 представлена модель качества при использовании системы ИИ. Данная модель представляет собой измененную версию модели качества при использовании, описанной в ГОСТ Р ИСО/МЭК 25010. Впервые установленные подхарактеристики обозначены сноской. Некоторые подхарактеристики имеют другое значение или область применения по сравнению с моделью по ГОСТ Р ИСО/МЭК 25010. Все изменения, дополнения и отличия описаны в настоящем разделе. Неизмененные характеристики являются частью модели качества при использовании и должны толковаться в соответствии с ГОСТ Р ИСО/МЭК 25010.
<*> Впервые установленные подхарактеристики.
5.2 Смягчение отрицательных последствий этического и социального риска
Смягчение отрицательных последствий этического и социального риска является впервые установленной подхарактеристикой характеристики «свобода от риска». Помимо данного понятия (см. [7]) описываются следующие:
- подотчетность;
- непредвзятость и отсутствие дискриминации;
- прозрачность и объяснимость;
- профессиональная ответственность;
- продвижение человеческих ценностей;
- конфиденциальность;
- безопасность и защищенность;
- контроль человека над технологией;
- повышение и развитие вовлеченности общества;
- ориентированный на человека дизайн;
- соблюдение верховенства закона;
- соблюдение норм поведения;
- устойчивое развитие окружающей среды;
- соблюдение трудовых практик.
Данные термины следует рассматривать совместно с желаемыми характеристиками системы для смягчения отрицательных последствий этического и социального риска, приведенными в [7].
Безопасность и защищенность, а также устойчивое развитие окружающей среды включены в существующие характеристики SQuaRE, такие как смягчение отрицательных последствий риска здоровья и безопасности и экологического риска, и поэтому не рассматриваются в настоящем стандарте.
В приложении C приводится сравнение рискориентированного подхода с качествоориентированным подходом, а также с моделями качества. На примерах демонстрируется, как оба подхода могут дополнять друг друга.
В [8] в контексте непредвзятости и недискриминации рассматривается проблема смещенности оценок моделей МО.
5.3 Прозрачность
В модели качества продукта прозрачность является подхарактеристикой удовлетворенности и относится к восприятию пользователя (см. 4.6).
На рисунке A.1 (см. также ГОСТ Р ИСО/МЭК 25010) представлена структура комплекса стандартов SQuaRE.
- «Управление качеством» — стандарты, имеющие степень соответствия ИСО/МЭК 2500n. Данные стандарты определяют все общие модели, термины и определения, используемые всеми другими стандартами комплекса SQuaRE. В данных стандартах также представлены требования и методические материалы по поддерживающей функции, отвечающей за управление требованиями к программным продуктам, спецификацию и оценку;
- «Модель качества» — стандарты, имеющие степень соответствия ИСО/МЭК 2501n. Данные стандарты представляют детализированные модели качества программных продуктов, качества при использовании и качества данных. Кроме того, представлено практическое руководство по использованию модели качества;
- «Измерение качества» — стандарты, имеющие степень соответствия ИСО/МЭК 2502n. Данные стандарты включают в себя эталонную модель измерения качества программного продукта, математические определения показателей качества и практическое руководство по их использованию. В данных стандартах представлены показатели внутреннего качества программного продукта, показатели внешнего качества программного продукта и показатели качества при использовании. Кроме того, определены и представлены элементы показателей качества (ЭПК), формирующие основу для вышеперечисленных показателей;
- «Требования к качеству» — стандарты, имеющие степень соответствия ИСО/МЭК 2503n. Данные стандарты определяют требования к качеству на основе моделей качества и показателей качества. Такие требования к качеству могут использоваться в процессе формирования требований к качеству при сборе информации перед разработкой программного продукта или как исходные данные для процесса оценки;
- «Оценка качества» — стандарты, имеющие степень соответствия ИСО/МЭК 2504n. Данные стандарты формулируют требования, рекомендации и методические материалы для оценки программного продукта, выполняемой как независимыми оценщиками, так и приобретателями или разработчиками. Кроме того, представлена поддержка документирования измерения как модуля оценки.
Термин «производительность» используется по-разному в области программного обеспечения и системной инженерии, по сравнению с областью ИИ.
В области программного обеспечения и системной инженерии под производительностью понимается то, насколько быстро определенная часть программного обеспечения выполняет свою функцию и насколько она эффективна. Данные свойства входят в существующие характеристики SQuaRE уровня производительности.
В области ИИ производительность означает то, как хорошо определенная система ИИ выполняет поставленную задачу. Производительность поставленной задачи системы ИИ можно измерить, определив подходящую оценку показателей, релевантных к данному типу системы. Например, в [5] определяются методы для оценки классификации производительности МО.
В рискориентированном и качествоориентированном подходах используются две взаимодополняющие методологии, в которых определяются требования к системам, процессу разработки систем в соответствии с этими требованиями и оценка функциональности систем. В большинстве случаев для охвата всех аспектов определенного поведения системы необходим комбинированный подход. Применение и использование по назначению каждой методологии зависит от многих факторов, включая, помимо прочего, зрелость используемых технологий, роль системы в цепочке создания стоимости и область ее применения. Эти факторы учитываются при определении требований к товару или нормативных требований, или структуры для разработки и оценки определенной системы с целью достижения практических результатов и надлежащего управления ожиданиями пользователей или потребителей.
Использование модели качества наиболее эффективно в ситуациях, когда для всех характеристик, так же, как и для многих подхарактеристик, устанавливаются количественные или четко определяемые показатели системы. Для зрелых технологий в определенной области применения значения показателей могут быть определены как часть системных требований.
Частичное использование модели качества может оставаться эффективным в случае оценки новых технологий или приложений, в ситуациях с высокой степенью риска негативных последствий. В таких случаях определяются и оцениваются только значения показателей подхарактеристик, отражающие высокую степень риска негативных последствий.
Для новых или развивающихся технологий показатели качества программного обеспечения часто являются предметом активных исследований и сотрудничества научных кругов и индустрии.
Рискориентированный подход чаще применяется в ситуациях, когда количественные показатели для многих характеристик или важных подхарактеристик не установлены. К тому же рискориентированный подход, по определению, преимущественно подходит для реагирования на непредвиденные события.
C.2 Взаимосвязь с другими стандартами
В ГОСТ Р ИСО 31000 определены структура и процесс менеджмента риска, которые применимы к любому типу организации и деятельности, включая принятие решений на всех уровнях. Структура и процесс менеджмента риска для организаций и проектов, связанных с ИИ, адаптированы согласно существующим требованиям (см. [9]) <*>.
В ГОСТ Р ИСО/МЭК 25010 описаны две модели качества. В модели качества продукта представлены характеристики и подхарактеристики программного обеспечения или компьютерной системы. В модель качества при использовании вошли характеристики и подхарактеристики, определяющие взаимодействие системы с окружающей средой. Это можно рассматривать как двухуровневый подход, при котором критерии качества продукта обеспечивают основу для многих критериев, существующих при использовании продукта.
Одной из качественных характеристик модели качества при использовании систем ИИ является «свобода от риска». Ее подхарактеристики называются «смягчение отрицательных последствий риска», они отражают основные серьезные опасения общества в области экономики, здравоохранения, безопасности, окружающей среды и этики. В рискориентированном подходе, для сравнения, основные показатели, связанные с обществом, экономикой, здравоохранением, безопасностью, окружающей средой и этикой называются целями. К тому же в данном подходе цели не определяются общественным мнением. Они также определяются разработчиками, например цели, связанные с защищенностью системы, надежностью и прозрачностью. Впоследствии для каждой установленной цели определяются и смягчаются потенциальные риски путем применения выбранных мер по обработке рисков или элементов управления. Исходя из этого, каждое соответствующее свойство (социальное или системное и т.д.) может быть выражено в виде характеристики или цели.
Основная сложность в определении или оценке систем с использованием только качествоориентированного подхода, заключается в том, что подхарактеристики качества недостаточно определены и не соответствуют принятым качественным и количественным показателям.
Следует рассмотреть понятие «непредвзятость» как подхарактеристику модели качества ИИ. «Быть непредвзятым» может по-разному толковаться в различных прикладных областях или системах для разных целей (см. [8]). Не существует единого показателя непредвзятости для измерения «непредвзятости» системы. Более того, доступность и зрелость показателей непредвзятости зависит от типа системы и используемой технологии. Например, показатели непредвзятости систем, основанных на моделях МО для классификации, более понятны по сравнению с показателями непредвзятости систем на основе обучения с подкреплением.
Рискориентированный подход позволяет определять и оценивать цели, включая те, для которых прямые показатели измерения отсутствуют. В рискориентированном подходе потенциальные негативные последствия, называемые иногда реперкуссиями или результатами, идентифицируются, количественно оцениваются (где это возможно) или квалифицируются. В рамках обработки риска исследуются приводящие к негативным последствиям источники риска и выбираются меры обработки риска, направленные на уменьшение (или устранение) источника риска. Итеративный процесс выбора и реализации мер по обработке риска и оценке остаточного риска продолжается до тех пор, пока риск не будет снижен до приемлемого уровня (как определено в требованиях к системе).
По сравнению с двумя упомянутыми ранее моделями качества управление риском представляет собой многоуровневый нисходящий подход. Это означает, что меры по смягчению отрицательных последствий риска (или элементы управления) на верхнем уровне, выбранные в процессе управления риском, становятся целями управления риском на нижнем уровне. В свою очередь, эти впервые установленные цели соотносятся с набором разных подхарактеристик.
Предполагают, что непредвзятость заявлена как одно из требований к системе.
В результате оценки рисков выявлены следующие потенциальные источники рисков:
Выбранные меры обработки риска (или элементы управления) для смягчения отрицательных последствий включают:
- анализ функциональных характеристик экспертами в прикладной области;
- уменьшение степени смещенности в выборке данных для обучения, используя соответствующие методы контроля качества данных.
Следующим уровнем целей является:
- выполнение рекомендаций по итогам анализа экспертов;
- поддержание уровня смещенности данных на приемлемом уровне с использованием выбранных статистических показателей качества данных.
Рискориентированный подход может помочь при разработке впервые установленных показателей качества программного обеспечения. Его допускается использовать для оценки поведения или ценности впервые установленного показателя при различных условиях и уровнях риска как функцию существующих косвенных показателей.
Предполагают, что в процессе уточнения требований к системе классификации ИИ, используемой для найма людей, демографический паритет и равенство возможностей (см. [8]) определены как подходящие показатели для оценки непредвзятости системы. Однако в настоящее время не накоплен достаточный опыт для определения значения требуемого показателя. В такой ситуации рискориентированный подход позволяет внедрить систему ИИ с определением соответствующих показателей обработки риска путем смягчения отрицательных последствий риска и оценки их результатов.
Впоследствии опыт эксплуатации системы и новые полученные данные помогут найти взаимосвязь между уровнями риска и показателями производительности системы. Эти знания можно будет использовать для спецификации аналогичных систем в будущем.
Следует отметить, что использование рискориентированного подхода повышает гибкость при определении требований. Характеристики и подхарактеристики системы в качествоориентированном подходе соответствуют высокоуровневым целям в рискориентированном подходе. Каждое свойство системы может быть выражено как в виде характеристики, так и в виде цели. Рискориентированный подход позволяет определять, внедрять и проводить верификацию поведения системы для достижения целей, в том числе для тех, для которых показатели качества программного обеспечения отсутствуют или их значения не определены. Кроме того, рискориентированный подход может помочь в определении подходящих значений для впервые установленных показателей.
СВЕДЕНИЯ О СООТВЕТСТВИИ ССЫЛОЧНЫХ НАЦИОНАЛЬНЫХ СТАНДАРТОВ МЕЖДУНАРОДНЫМ СТАНДАРТАМ, ИСПОЛЬЗОВАННЫМ В КАЧЕСТВЕ ССЫЛОЧНЫХ В ПРИМЕНЕННОМ МЕЖДУНАРОДНОМ СТАНДАРТЕ
| Обозначение ссылочного национального стандарта | Степень соответствия | Обозначение и наименование ссылочного международного стандарта |
| ГОСТ Р 71476-2024 (ИСО/МЭК 22989:2022) | MOD | ISO/IEC 22989:2022 «Искусственный интеллект. Концепции и терминология искусственного интеллекта» |
| ГОСТ Р ИСО/МЭК 25010-2015 | IDT | ISO/IEC 25010:2011 «Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов» |
| Примечание — В настоящей таблице использованы следующие условные обозначения степени соответствия стандартов: - IDT — идентичный стандарт; - MOD — модифицированный стандарт. | ||
СОПОСТАВЛЕНИЕ СТРУКТУРЫ НАСТОЯЩЕГО СТАНДАРТА СО СТРУКТУРОЙ ПРИМЕНЕННОГО В НЕМ МЕЖДУНАРОДНОГО СТАНДАРТА
| Таблица ДБ.1 | |
| Структура настоящего стандарта | Структура международного стандарта ISO/IEC 25059:2023 |
| 1 Область применения (раздел 1) | 1 Область применения |
| 2 Нормативные ссылки (раздел 2) | 2 Нормативные ссылки |
| 3 Термины и определения (раздел 3) | 3 Термины и определения |
| <*> | 4 Сокращения |
| 4 Модель качества продукта (раздел 5) | 5 Модель качества продукта |
| 5 Модель качества при использовании систем ИИ (раздел 6) | 6 Модель качества при использовании |
| Приложение A Требования к качеству систем и программного обеспечения SQuaRE | Приложение A Требования к качеству систем и программного обеспечения SQuaRE |
| Приложение B Производительность (приложение C) | Приложение B Сравнение рискориентированного с качествоориентированным подходом и с моделями качества |
| Приложение C Сравнение рискориентированного подхода с качествоориентированным подходом и с моделями качества (приложение B) | Приложение C Производительность |
| Приложение ДА Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте | |
| Приложение ДБ Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта | |
| Библиография Библиография <*> Данный раздел исключен, т.к. его положения размещены в других разделах настоящего стандарта. | |
Примечание - После заголовков разделов, приложений настоящего стандарта приведены в скобках номера аналогичных им разделов, приложений международного стандарта.
| УДК 004.01:006.354 | ОКС 35.080 |
| Ключевые слова: программная инженерия, оценка качества, системы, программное обеспечение, SQuaRE, искусственный интеллект | |