ПНСТ 776-2022. Предварительный национальный стандарт Российской Федерации. Информационные технологии. Интеллект искусственный. Управление рисками
(утв. и введен в действие Приказом Росстандарта от 02.11.2022 № 90-пнст)
Внимание
Документ утратил силу с 01.01.2026 в связи с истечением срока действия, установленного Приказом Росстандарта от 02.11.2022 № 90-пнст. Документ введен в действие с 01.01.2023 на период до 01.01.2026 (Приказ Росстандарта от 02.11.2022 № 90-пнст).
Приказом Федерального агентства
по техническому регулированию
и метрологии
от 2 ноября 2022 г. № 90-пнст
до 1 января 2026 года
Предисловие
1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования «Национальный исследовательский университет „Высшая школа экономики“ (НИУ ВШЭ)»
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 ноября 2022 г. № 90-пнст
4 Настоящий стандарт разработан с учетом основных нормативных положений проекта международного стандарта ИСО/МЭК 23894 «Информационные технологии. Искусственный интеллект. Управление рисками» (ISO/IEC FDIS 23894 «Information technology — Artificial intelligence — Guidance on risk management», NEQ)
Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).
Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: austyuzhanin@hse.ru и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112 Москва, Пресненская набережная, д. 10, стр. 2.
В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе «Национальные стандарты» и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Целью управления рисками является создание и защита ценности, что повышает производительность работы, способствует инновационному процессу, а также достижению поставленных целей.
Настоящий стандарт в качестве нормативной основы использует ГОСТ Р ИСО 31000. Каждый раз, когда настоящий стандарт расширяет положения ГОСТ Р ИСО 31000, приводится соответствующая ссылка на пункт ГОСТ Р ИСО 31000 с последующим конкретным руководством по искусственному интеллекту (ИИ). Для большего удобства работы структура настоящего стандарта повторяет структуру ГОСТ Р ИСО 31000-2019.
Настоящий стандарт состоит из нескольких разделов, основными из которых являются следующие:
- раздел 4 «Принципы управления рисками, связанными с использованием искусственного интеллекта». В этом разделе описаны основополагающие принципы управления рисками. Использование ИИ требует особых подходов в отношении некоторых из этих принципов, как описано в ГОСТ Р ИСО 31000;
- раздел 5 «Структура». Цель структуры управления рисками состоит в том, чтобы помочь организации интегрировать управление рисками в наиболее значимые виды деятельности и функции. Аспекты, относящиеся к разработке, предоставлению, предложению или использованию систем ИИ, приведены в ГОСТ Р ИСО 31000;
- раздел 6 «Процесс». Процессы управления рисками включают систематическое применение политик, процедур и практик к деятельности по обмену информацией и консультированию, определению области применения, среды и критериев, а также по оценке, обработке, мониторингу, пересмотру, документированию и отчетности о рисках. Специализация таких процессов для ИИ описана в ГОСТ Р ИСО 31000.
Общие цели и источники рисков, связанные с ИИ, перечислены в приложениях А и Б; в приложении В приведен пример сопоставления процессов управления рисками и жизненного цикла системы ИИ.
1 Область применения
В настоящем стандарте представлены рекомендации по управлению рисками, с которыми сталкиваются организации при разработке и применении методов и систем искусственного интеллекта (ИИ). Рекомендации также направлены на оказание помощи организациям с интеграцией управления рисками в их деятельность и функции, связанные с ИИ. Кроме того, в нем описаны процессы эффективного внедрения и интеграции интеллектуальных систем управления риском.
Применение этих рекомендаций можно адаптировать к любой организации и ее среде.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 51897 (ISO Guide 73:2009) Менеджмент риска. Термины и определения
ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения
ГОСТ Р ИСО 13008 Информация и документация. Процессы конверсии и миграции электронных документов
ГОСТ Р ИСО 15489-1 Система стандартов по информации, библиотечному и издательскому делу. Информация и документация. Управление документами. Часть 1. Понятия и принципы
ГОСТ Р ИСО 31000-2019 Менеджмент риска. Принципы и руководство
ГОСТ Р ИСО/МЭК 25010-2015 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ Р ИСО 13008, ГОСТ Р ИСО 15489-1, ГОСТ Р ИСО/МЭК 25010, ГОСТ Р ИСО 31000, ГОСТ Р 51897, ГОСТ Р 59276.
1 Изменениями могут быть исправления, усовершенствования или адаптация программного обеспечения с учетом изменений в производственной среде, а также в требованиях и функциональных спецификациях. Изменения включают те из них, которые выполняет специализированный вспомогательный персонал, и те, которые осуществляют менеджер или оперативный персонал, или конечные пользователи.
2 Поддержка включает установку обновлений и модернизированных дополнений.
3 Удобство в эксплуатации (сопровождаемость) может быть истолковано(а) либо как способность продукта или системы облегчать деятельность по техническому обслуживанию, либо как качество использования, испытуемое сопровождающими при обслуживании продукта или системы (см. ГОСТ Р ИСО/МЭК 25010-2015, 4.2.7).
4 Принципы управления рисками, связанными с использованием искусственного интеллекта
Управление рисками должно учитывать потребности организации на основе комплексного, структурированного и всеобъемлющего подхода. Управляющие принципы позволяют организации определять приоритеты и принимать решения о том, как регулировать последствия неопределенности для ее целей.
В системах и процессах обычно использовано сочетание различных технологий и функций. Данные системы и процессы задействованы в различных средах для определенных вариантов применения. Управление рисками должно учитывать систему со всеми ее технологиями, функциональными возможностями и окружением.
Методы ИИ могут привносить новые риски как с отрицательными, так и положительными результатами или увеличивать их вероятность за счет специфических характеристик технологии. Данным методам следует уделять пристальное внимание и при необходимости привести дополнительные указания в отношении структуры и процесса управления рисками в организации.
Примечание - Следует отметить, что в различных стандартах имеются существенно различающиеся определения слова «риск». В некоторых стандартах «риск» предполагает потенциальные негативные последствия, например проблемы, связанные с безопасностью. В других стандартах «риск» предполагает отрицательное или положительное отклонение от целей. Такое различие в направленности зачастую может приводить к путанице при попытке понять и надлежащим образом внедрить отвечающий требованиям процесс управления рисками.
В ГОСТ Р ИСО 31000-2019 (раздел 4) определен ряд общих принципов управления рисками, в дополнение к которому в таблице 1 приведены указания относительно того, как применять такие принципы. Дополнительная информация представлена, например, в [1] и [2].
Принципы управления рисками, применяемые к ИИ
| Принцип | Описание по ГОСТ Р ИСО 31000-2019 (раздел 4) | Последствия для развития и использования ИИ |
| Интегрированность | Интегрированный менеджмент риска является неотъемлемой частью всей деятельности организации | Специальное руководство отсутствует, применяют положения ГОСТ Р ИСО 31000 |
| Структурированность и комплексность | Структурированный и комплексный подход к менеджменту риска способствует согласованным и сопоставимым результатам | Специальное руководство отсутствует, применяют положения ГОСТ Р ИСО 31000 |
| Адаптированность | Структура и процесс менеджмента риска настраиваются и соразмерны внешней и внутренней средам организации, ее целям | Специальное руководство отсутствует, применяют положения ГОСТ Р ИСО 31000. |
| Вовлеченность | Вовлеченность заключается в надлежащем и своевременном участии причастных сторон, что позволяет учитывать их знания, взгляды и мнения. Это приводит к повышению осведомленности и информативности в рамках менеджмента риска | При использовании ИИ следует учитывать наличие внутренних и внешних заинтересованных сторон. Например, машинное обучение опирается на соответствующий набор данных для реализации конкретных задач. Заинтересованные стороны могут помочь в выявлении рисков, связанных с использованием данных в конкретных ситуациях, или в том случае, где данные могут являться выбросами |
| Динамичность | Риски могут возникать, меняться или исчезать по мере изменения внешней и внутренней сред организации. Менеджмент риска предвосхищает, обнаруживает, признает и реагирует на эти изменения и события соответствующим и своевременным образом | Для использования руководящих указаний, содержащихся в ГОСТ Р ИСО 31000, организациям следует создать организационные структуры и принять меры для выявления возникающих рисков, тенденций, технологий, видов применения и субъектов, которые могут оказывать воздействие на системы и методы ИИ. Интеграция с управлением качеством, окружением, безопасностью и/или корпоративной ответственностью, если она поддерживается организацией, также может быть рассмотрена для дальнейшего понимания и управления рисками, связанными с ИИ для организации. Динамическое управление рисками необходимо, в частности, при использовании систем ИИ, поскольку: - система ИИ, основанная на машинном обучении, в процессе обучения на предоставленных данных формирует обобщающую способность (generalization ability), качество которой в большей степени зависит от статистического распределения и предобработки этих данных. Поэтому необходимо усилить мониторинг и проверку таких систем на актуальность соответствия как обучающих, так и реальных данных; |
| - в частности, системы ИИ, способные адаптироваться и оптимизироваться, требуют усиления контроля для того, чтобы избежать незапланированного поведения; - системы ИИ в динамически меняющемся окружении. При «статичной» системе ИИ нужно контролировать границы применимости данной системы и принимать меры при их пересечении/недопущении их пересечения вследствие их изменения | ||
| Базирование на наиболее качественной доступной информации | В качестве исходных данных использованы исторические и текущие данные, а также прогнозные ожидания. Менеджмент риска явно учитывает любые ограничения и неопределенности, связанные с исходными данными и ожиданиями. Информация должна быть актуальной, ясной и доступной для всех причастных сторон | В дополнение к рекомендациям, содержащимся в ГОСТ Р ИСО 31000, организациям, занимающимся разработкой систем ИИ или предоставлением услуг ИИ, следует рассмотреть вопрос о том, как такие продукты и услуги могут быть использованы их клиентами и пользователями в процессе управления рисками |
| Учет поведенческих и культурных факторов | Поведение и культура человека существенно влияют на все аспекты менеджмента риска на каждом уровне и этапе | В дополнение к рекомендациям, содержащимся в ГОСТ Р ИСО 31000, организации, занимающиеся проектированием, разработкой и/или внедрением систем или компонентов ИИ, должны осуществлять мониторинг человеческого и культурного многообразия, в котором они находятся, уделяя особое внимание влиянию систем или компонентов ИИ на объективные результаты, конфиденциальность, свободу выражения мнений, надежность, безопасность, занятость, экологические и другие права человека |
| Непрерывное совершенствование | Менеджмент риска постоянно совершенствуется благодаря обучению и накоплению опыта | В процессе непрерывного совершенствования следует учитывать выявление ранее неизвестных рисков, связанных с использованием систем ИИ. Организации, занимающиеся проектированием, разработкой и/или внедрением систем или системных компонентов ИИ, должны отслеживать экосистему ИИ на предмет наличия достоинств и недостатков в работе, а также новых результатов исследований и методов ИИ. Среди других вопросов, которые следует учитывать, — конфиденциальное использование систем ИИ, злоупотребление при использовании систем ИИ и взаимозависимости между ИИ и конфиденциальностью, защитой и безопасностью |
| Примечания 1 В некоторых областях применения, например для критически значимых приложений безопасности или в медицинском секторе, организациям может потребоваться отслеживать, как используются их продукты и услуги. 2 При работе с заказчиками, пользователями и клиентами, при их наличии, нужно учитывать потенциальную недоступность их мнений в полном объеме из-за отсутствия коммуникации, потенциальных ограничений прав на интеллектуальную собственность, договорных или рыночных ограничений. Такие ограничения должны быть учтены в процессе управления рисками ИИ и обновлены, когда изменения условий бизнеса требуют пересмотра. | ||
5 Структура
5.1 Общие положения
Задача системы управления рисками состоит в том, чтобы помочь интегрировать управление рисками в наиболее значимые виды деятельности и функции организации. Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.1).
Управление рисками включает в себя сбор соответствующей информации, необходимой организации для принятия решений и устранения рисков. Руководящий орган определяет общие тенденции к возникновению риска и ставит организационные цели, а также делегирует процесс принятия решений по выявлению, оценке и управлению рисками менеджерам внутри организации.
Организациям следует применять основанный на учете рисков подход к выявлению, оценке и пониманию рисков ИИ, которым они подвергаются, и принимать надлежащие меры по уменьшению рисков в соответствии с их уровнем. Цель системы управления рисками заключается в оказании организации содействия в интеграции управления рисками в значимые виды деятельности. Риски следует определять применительно к связанным с ИИ целям. Не все цели имеют отношение ко всем видам применения, и в зависимости от характера применения, возможно, потребуется поставить дополнительные цели. В 6.3 содержатся дополнительные рекомендации по постановке целей, специфичных для ИИ, и их значимости для систем ИИ (продуктов) и услуг ИИ предоставляющей их организации.
5.2 Лидерство и приверженность
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.2).
В связи с особой важностью вопросов доверия и подотчетности, связанных с разработкой и использованием ИИ, руководству организаций следует рассмотреть вопрос о том, каким образом документация, касающаяся рисков ИИ и управления рисками, доводится до сведения заинтересованных сторон. Демонстрация такого уровня лидерства и приверженности может иметь решающее значение для уверенности заинтересованных сторон в том, что ИИ разрабатывается и используется ответственно.
Руководство организации также должно быть осведомлено о специализированных ресурсах, которые могут потребоваться для управления рисками ИИ, и распределять эти ресурсы надлежащим образом.
В соответствии с ГОСТ Р ИСО 31000-2019 (подраздел 5.2) управленческие и/или надзорные органы (где это применимо) должны документально оформить или стратегически разработать подход или план действий по управлению рисками. Применительно к организациям, предоставляющим продукты или услуги ИИ, в нем должно быть четко указано, какие риски, связанные с разработкой или применением систем ИИ, являются приемлемыми для организации. Такая политика должна также стимулировать членов организации указывать на существенные проблемы, такие как конфиденциальное использование систем ИИ самой организацией или ее клиентами и партнерами, содержать обязательство рассматривать варианты использования систем ИИ, которые будут соответствовать их принципам управления, и учитывать такие варианты для постоянного совершенствования процессов управления рисками.
5.3 Адаптация
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.3).
5.4 Проектирование и разработка
5.4.1 Понимание организации и ее среды
Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.1).
В дополнение к руководству, представленному в ГОСТ Р ИСО 31000-2019 (5.4.1), таблица 2 содержит дополнительные факторы, которые следует учитывать при понимании внешней среды организации.
Факторы, учитываемые при оценке внешней среды организации
| Основное руководство, установленное в ГОСТ Р ИСО 31000-2019 (5.4.1) | Дополнительные рекомендации для организаций, использующих ИИ |
| Изучение внешней среды организации может включать, но не ограничиваться: | |
| - социальными, культурными, политическими, правовыми нормативными, финансовыми, технологическими, экономическими и экологическими факторами на международном, национальном, региональном или местном уровнях | - соответствующими правовыми актами, в том числе теми, которые конкретно касаются ИИ; - различными директивами по этическим вопросам применения систем ИИ; - конкретными рекомендациями и рамками для конкретной области применения (здравоохранение, автомобилестроение, производство и т.д.) |
| - основными факторами и тенденциями, влияющими на цели организации | - технологическими тенденциями и достижениями в различных областях ИИ; - социальными и политическими последствиями внедрения технологий ИИ |
| - взаимоотношениями с внешними причастными сторонами, их восприятием, ценностями, потребностями и ожиданиями | - ситуациями, при которых на восприятие заинтересованных сторон могут повлиять такие проблемы, как непрозрачность систем ИИ, смещенные системы ИИ или неуверенность в надежности (постоянстве) качества прогнозов систем ИИ в течение длительного срока (в случае самооптимизации и самоадаптации) или при выходе новой версии систем ИИ (в части системы прогнозирования, например нейросетей или деревьев решений); - ситуациями, при которых заинтересованные стороны могут ожидать конкретных решений на основе ИИ |
| - договорными отношениями и обязательствами | - информацией о том, как использование ИИ, особенно систем ИИ с непрерывным обучением, может повлиять на способность организации выполнять договорные обязательства. Следовательно, организациям необходимо тщательно изучить сферу действия соответствующих контрактов; - договорными отношениями при проектировании и производстве систем и услуг ИИ. Например, следует учитывать права собственности и использования тестовых и обучающих данных, когда они предоставляются третьими сторонами |
| - сложностью существующих связей и зависимостей от внешних причастных сторон | - ситуациями, при которых использование технологий ИИ может привести к усложнению взаимосвязей и зависимостей |
| - | - ситуациями, при которых система ИИ может заменить существующую систему, и в таком случае может быть проведена оценка выгод от риска и передачи рисков системы ИИ по сравнению с существующей системой с учетом вопросов безопасности, экологических, социальных, технических и финансовых вопросов, связанных с внедрением системы ИИ |
В дополнение к рекомендациям, приведенным в ГОСТ Р ИСО 31000-2019 (5.4.1), при изучении своей внутренней среды организациям, которые разрабатывают системы ИИ или предоставляют услуги ИИ, а также организациям, использующим системы на основе ИИ, следует учитывать, по крайней мере, факторы, перечисленные в таблице 3.
Факторы, учитываемые при оценке внутренней среды организации
| Основное руководство, установленное в ГОСТ Р ИСО 31000-2019 (5.4.1) | Дополнительные рекомендации для организаций, использующих ИИ |
| Изучение внутренней среды организации может включать, но не ограничиваться: | |
| - видением, миссией и ценностями | - |
| - управлением, организационной структурой, ролями и ответственностью | - |
| - стратегией, целями и политикой | - |
| - культурой организации | - влиянием, которое система ИИ может оказать на культуру организации, перераспределяя и вводя новые обязанности, роли и задачи |
| - стандартами, директивами и моделями, принятыми организацией | - кодексом этики в сфере ИИ |
| - возможностями, понимаемыми ресурсами и накопленными знаниями (например, капитал, время, люди, интеллектуальная собственность, процессы, системы и технологии) | - спецификой организаций, использующих системы ИИ: а) проблемы с прозрачностью могут привести к дополнительным рискам в отношении организационных знаний; б) использование систем ИИ может привести к уменьшению объема ресурсов, необходимых для реализации определенной возможности, или к изменению типа необходимых ресурсов; в) разработка и использование систем ИИ требует специальных знаний в области технологий ИИ и науки о данных. Организация должна быть осведомлена о своих возможностях в этих областях; г) доступность инструментов, платформ и библиотек ИИ может позволить разрабатывать системы ИИ без полного понимания технологии, ограничений и потенциальных подводных камней; д) потенциал ИИ для решения проблем, связанных с интеллектуальной собственностью, для конкретных систем ИИ. Организациям следует изучить собственную интеллектуальную собственность в этой области и способы, которыми интеллектуальная собственность может повлиять на прозрачность, безопасность и способность сотрудничать с заинтересованными сторонами, чтобы определить, следует ли предпринимать какие-либо дополнительные действия |
| - данными, информационными системами и информационными потоками | - информацией о том, что системы ИИ могут быть использованы для автоматизации, оптимизации и усовершенствования обработки таких данных; - информацией о том, каким образом потребители данных, системы ИИ могут налагать дополнительные ограничения на качество и полноту данных и информации |
| - отношениями с внутренними причастными сторонами с учетом их мнения и ценностей | - информацией о том, что на восприятие заинтересованных сторон могут повлиять такие проблемы, как непрозрачность систем ИИ или необъективность систем ИИ; - информацией о том, что потребности и ожидания заинтересованных сторон могут быть удовлетворены с помощью конкретных решений, основанных на ИИ; - необходимостью проинформировать заинтересованные стороны о возможностях, режимах сбоев и смягчении последствий сбоев систем ИИ |
| - договорными отношениями и обязательствами | - информацией о том, что на восприятие заинтересованных сторон могут повлиять такие проблемы, как непрозрачность систем ИИ или необъективность систем ИИ; - информацией о том, что потребности и ожидания заинтересованных сторон могут быть удовлетворены с помощью конкретных решений, основанных на ИИ; - ситуациями, при которых возникает необходимость проинформировать заинтересованные стороны о возможностях, режимах сбоев и смягчении последствий сбоев систем ИИ; - информацией об ожиданиях заинтересованных сторон в отношении неприкосновенности частной жизни, а также индивидуальных и коллективных основных прав и свобод |
| - взаимозависимостями и взаимосвязями | - ситуациями, при которых использование технологий ИИ может привести к усложнению взаимосвязей и зависимостей |
В дополнение к положениям ГОСТ Р ИСО 31000 использование систем ИИ организациями может увеличить потребность в специализированной подготовке.
5.4.2 Демонстрация приверженности менеджменту риска
Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.2).
5.4.3 Определение организационных ролей, полномочий, обязанностей и ответственности
Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.3).
В дополнение к ГОСТ Р ИСО 31000-2019 (5.4.3) высшие управленческие и надзорные органы, где это применимо, должны распределять ресурсы и выявлять лиц:
- с полномочиями по устранению рисков, связанных с ИИ;
- ответственностью за разработку и мониторинг процессов, направленных на устранение рисков, связанных с ИИ.
5.4.4 Распределение ресурсов
Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.4).
5.4.5 Установление механизмов обмена информацией и консультирования
Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.5).
5.5 Внедрение
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.5).
5.6 Оценка эффективности
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.6).
5.7 Улучшение
5.7.1 Обновление
Применяют положения ГОСТ Р ИСО 31000-2019 (5.7.1).
5.7.2 Постоянное улучшение структуры
Применяют положения ГОСТ Р ИСО 31000-2019 (5.7.2).
6 Процесс
6.1 Общие положения
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 6.1).
Организациям следует применять риск-ориентированный подход к выявлению, оценке и пониманию рисков ИИ, которым они подвергаются, и принимать надлежащие меры воздействия в соответствии с уровнем риска. Качество управления рисками ИИ в организации зависит от выявления, создания и эффективного внедрения узкоспециализированных процессов управления рисками на стратегическом, оперативном, программном и проектном уровнях. Из-за ситуаций, связанных (но не ограничиваясь ими) с потенциальной сложностью, отсутствием прозрачности и непредсказуемостью некоторых основанных на технологиях ИИ, особое внимание следует уделять процессам управления рисками на уровне проекта системы ИИ. Эти системные процессы на уровне проекта должны быть согласованы с целями организации и получать и передавать информацию на другие уровни управления рисками. Например, уроки, извлеченные на проектном уровне, должны быть учтены на более высоких уровнях, таких как стратегический, оперативный и программный уровни, а также других, если это применимо.
Объем, среда и критерии процесса управления рисками на уровне проекта напрямую зависят от этапов жизненного цикла системы ИИ, которые включены в проект. В приложении В показаны возможные взаимосвязи между процессом управления рисками на уровне проекта и жизненным циклом системы ИИ.
6.2 Обмен информацией и консультирование
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 6.2).
Набор заинтересованных сторон, на которые могут повлиять системы ИИ, может быть шире, чем первоначально предполагалось, включать в себя внешние заинтересованные стороны, которые изначально не рассматривались, и распространяться на другие части общества.
6.3 Область применения, среда и критерии
6.3.1 Общие положения
Применяют положения ГОСТ Р ИСО 31000-2019 (6.3.1).
В дополнение к руководству, приведенному в ГОСТ Р ИСО 31000-2019 (6.3.1), для организаций, использующих ИИ, необходимо расширить сферу управления рисками ИИ, среду процесса управления рисками ИИ и критерии оценки значимости риска для поддержки процессов принятия решений, чтобы определить, где в организации разрабатывают или используют системы ИИ. Такой перечень разработки и применения ИИ должен быть задокументирован и включен в процесс управления рисками организации.
6.3.2 Определение области применения
Применяют положения ГОСТ Р ИСО 31000-2019 (6.3.2).
Сфера охвата должна учитывать конкретные задачи и обязанности различных уровней организации. Кроме того, следует учитывать цели и назначение систем ИИ, разработанных или используемых организацией.
6.3.3 Внешняя и внутренняя среда
Применяют положения ГОСТ Р ИСО 31000-2019 (6.3.3).
Из-за масштабов потенциальных последствий систем ИИ организация должна уделять особое внимание среде заинтересованных сторон при формировании и установлении среды процесса управления рисками.
Следует внимательно рассмотреть список заинтересованных сторон, включая, но не ограничиваясь ими:
6.3.4 Определение критериев риска
Применяют положения ГОСТ Р ИСО 31000-2019 (6.3.4).
В дополнение к ГОСТ Р ИСО 31000-2019 (6.3.4) в таблице 4 приведены рекомендации по факторам, которые следует учитывать при определении критериев риска.
| Основное руководство, установленное в ГОСТ Р ИСО 31000-2019 (6.3.4) | Дополнительные рекомендации для организаций, использующих ИИ |
| При определении критериев риска необходимо учитывать следующее: | |
| - характер и тип неопределенностей, которые могут повлиять на результаты и достижение целей (как материальные, так и нематериальные) | - организации должны осуществлять мониторинг, включая технические и кадровые аспекты системы, и сравнивать результаты с ее целями, например во время сбора данных и разметки |
| - способ определения и оценки последствий (как положительные, так и отрицательные) и их вероятность | |
| - факторы, связанные со временем | - |
| - корректность и согласованность применяемых методов измерений | - организации должны выбрать метрики оценки вероятности рисков, опираясь на уровень современных отраслевых практик и исследований ИИ; - организации должны учитывать, что ИИ — это быстро развивающаяся область технологий. Нужно оценивать взаимное влияние методов измерения и периодически переоценивать их влияние в соответствии с их эффективностью и пригодностью для используемых систем ИИ |
| - порядок определения уровня риска | - организации должны разработать последовательный подход к определению уровня риска. Этот подход должен отражать потенциальное влияние системы ИИ на различные цели, связанные с ИИ (см. 6.3) |
| - способ учета комбинации и последовательности множественных рисков | - |
| - масштаб организации | - |
6.4 Оценка рисков
6.4.1 Общие положения
Применяют положения ГОСТ Р ИСО 31000-2019 (6.4.1).
Риски ИИ должны быть идентифицированы, количественно или качественно описаны и расставлены по приоритетам в соответствии с критериями оценки рисков и целями организации. В приложении Б приведен примерный общий перечень источников риска, связанного с ИИ, и примеры способов устранения источников риска с помощью контрмер или специальных мер контроля ИИ. С данным перечнем должна ознакомиться организация, рассматривающая возможность разработки или применения методов ИИ или систем ИИ. Хотя такой примерный перечень не считается всеобъемлющим, опыт показывает, что его использование в качестве основы для любой организации, впервые выполняющей оценку рисков, или организации, которая интегрирует управление рисками ИИ в существующие структуры управления, оказывается полезным. Такие организации могут использовать каталог общих источников риска для того, чтобы убедиться в том, что базовый список источников риска рассмотрен.
Оценка рисков является комплексным процессом, который следует применять на протяжении всего жизненного цикла услуги ИИ или продукта ИИ. Поэтому организации, занимающиеся разработкой или предоставлением систем ИИ, должны соотносить свою деятельность по оценке управления рисками с жизненным циклом системы. Различные методы оценки рисков могут быть применены на разных этапах жизненного цикла.
6.4.2 Идентификация рисков
6.4.2.1 Общие положения
Применяют положения ГОСТ Р ИСО 31000-2019 (6.4.2).
6.4.2.2 Идентификация активов и их значения
Организация должна определить перечень активов, связанный с разработкой и использованием ИИ, которые подпадают под сферу действия процесса управления рисками, как определено в 6.3.2. Понимание того, какие активы входят в сферу действия процесса управления рисками, их относительная критичность или ценность являются неотъемлемой частью оценки воздействия. Следует учитывать как ценность актива, так и тип актива (материального или нематериального). Кроме того, в отношении разработки и использования ИИ активы следует рассматривать в контексте элементов, включая, но не ограничиваясь следующим:
а) активы и их ценность для организации:
б) активы и их ценность для физических лиц:
-
материальные активы могут включать в себя персональные данные физического лица,
-
нематериальные активы могут включать частную жизнь, здоровье и безопасность человека;
в) активы и их ценность для сообществ и обществ:
-
нематериальные активы могут быть основаны на ценностях, таких как социокультурные убеждения, знания сообщества, доступ к образованию и равенство.
6.4.2.3 Идентификация источников риска
Организация должна определить список источников риска, связанных с разработкой или использованием ИИ, или и того и другого в пределах определенной области.
Источники риска могут быть выявлены в следующих областях, но не ограничиваясь ими:
- организация;
- процессы и процедуры, включая процедуры управления;
- персонал;
- физическая среда;
- данные;
- конфигурация системы ИИ;
- среда развертывания;
- оборудование, программное обеспечение, сетевые ресурсы и услуги;
- зависимость от внешних сторон.
Примеры источников риска, связанных с ИИ, приведены в приложении Б.
6.4.2.4 Идентификация потенциальных событий и результатов
Организация должна определить события, которые связаны с разработкой или использованием ИИ и могут привести к различным материальным или нематериальным последствиям.
События могут быть идентифицированы с помощью одного или нескольких из следующих методов и источников:
- опубликованные стандарты;
- опубликованные технические характеристики;
- опубликованные технические отчеты;
- опубликованные научные работы;
- рыночные данные по аналогичным системам или приложениям, которые уже используются;
- сообщения об инцидентах в аналогичных системах или приложениях, которые уже применяют;
- полевые испытания;
- исследования удобства использования;
- результаты соответствующих исследований;
- отчеты заинтересованных сторон;
- интервью с внутренними или внешними экспертами и их отчеты;
- моделирование.
6.4.2.5 Идентификация средств контроля
Организация должна определить средства контроля, относящиеся к разработке и/или использованию ИИ. Средства контроля должны быть определены в ходе деятельности по управлению рисками и задокументированы (во внутренних системах, отчетах и т.д.).
Средства контроля могут быть использованы для позитивного воздействия на общий риск путем смягчения источников риска, событий и результатов.
Следует принимать во внимание эффективность выявленных средств контроля.
6.4.2.6 Идентификация последствий
В процессе оценки рисков ИИ организация должна определить источники риска, события или результаты, которые могут привести к возникновению рисков. В нем также должны быть указаны любые последствия для самой организации, отдельных лиц, сообществ, групп и обществ. Организациям следует проявлять особую осторожность при выявлении любых различий между теми группами, которые пользуются преимуществами технологии, и группами, которые испытывают негативные последствия.
В зависимости от среды последствия для отдельных лиц и общества могут быть более общими, и в этом случае организация может быть не в состоянии точно оценить, какими являются последствия для отдельного человека или общества.
Вместо того чтобы конкретизировать каждый тип воздействия, воздействия можно рассматривать в целом, поскольку ключевым элементом является степень критичности воздействия (например, на частную жизнь, справедливость, права человека и т.д., когда это касается отдельного человека, или на окружающую среду в случае общества).
Точные последствия могут зависеть от среды, в которой работает организация, и областей, для которых разработана и используется система ИИ.
6.4.3 Анализ риска
6.4.3.1 Общие положения
Применяют положения ГОСТ Р ИСО 31000-2019 (6.4.3).
Подход к анализу должен соответствовать критериям риска, разработанным в рамках определения среды (см. 6.3).
6.4.3.2 Оценка последствий
При оценке последствий, выявленных в ходе оценки рисков, организация должна проводить различие между оценкой воздействия на бизнес, оценкой воздействия для отдельных лиц и оценкой воздействия на общество.
Анализ воздействия на бизнес должен определять степень воздействия на организацию и учитывать следующие элементы:
- критичность воздействия;
- материальные и нематериальные последствия;
- критерии, используемые для определения общего воздействия (как определено в 6.3.4).
Анализ воздействия на отдельных лиц должен определять степень влияния разработки и/или использования ИИ организацией. Должны быть учтены следующие элементы:
- типы данных, используемых отдельными лицами;
- предполагаемое воздействие разработки или применения ИИ;
- потенциальное влияние предвзятости на отдельного человека;
- потенциальное воздействие на основные права, которое может привести к материальному и нематериальному ущербу для отдельного лица;
- безопасность отдельного человека;
- культурная среда индивида (которая может повлиять на то, как определяется относительное воздействие).
Анализ воздействия на общество должен определять ту степень, в которой общество может быть затронуто разработкой и/или использованием ИИ организацией. Должны быть учтены следующие элементы:
- масштаб воздействия на общество (насколько широк охват системой ИИ различных групп населения), в том числе для кого система применяется или предназначена (например, ее использование правительством потенциально может оказать большее влияние на общество, чем частное задействование);
- каким образом система ИИ влияет на социальные и культурные ценности, которых придерживаются различные группы населения (включая конкретные способы, которыми система ИИ усиливает или уменьшает ранее существовавшие модели причинения вреда разным социальным группам).
6.4.3.3 Оценка вероятности
Организация при возможности должна оценить вероятность возникновения событий и результатов, вызывающих риски. Вероятность может быть определена по качественной или количественной шкале и должна соответствовать критериям, установленным в 6.3.4. Вероятность может зависеть от следующих составляющих:
- типы, значимость и количество источников риска;
- частота, серьезность и распространенность угроз;
- внутренние факторы, такие как эффективность политики и процедур и мотивация внутренних участников;
- внешние факторы, такие как география и другие социальные, экономические и экологические проблемы;
- эффективный (смягчающий) или нерезультативный контроль (см. 6.4.2.5).
Организациям следует включать расчеты вероятности только в тех случаях, когда они применимы и полезны для определения границ применения методов оценки рисков. Могут возникнуть значительные технические и экономические проблемы с принятием решений на основе вероятностей, особенно когда вероятность не может быть рассчитана или расчет имеет большую погрешность.
6.4.4 Сравнительная оценка риска
Применяют положения ГОСТ Р ИСО 31000-2019 (6.4.4).
6.5 Обработка риска
6.5.1 Общие положения
Применяют положения ГОСТ Р ИСО 31000-2019 (6.5.1).
6.5.2 Выбор вариантов обработки риска
Применяют положения ГОСТ Р ИСО 31000-2019 (6.5.2).
Варианты обработки рисков, определенные организацией, должны быть разработаны таким образом, чтобы снизить риски до приемлемого уровня. Если выяснится, что требуемое снижение риска не может быть достигнуто путем применения различных вариантов обработки рисков, организация должна провести анализ рисков и выгод для остаточных рисков.
6.5.3 Подготовка и реализация планов обработки риска
Применяют положения ГОСТ Р ИСО 31000-2019 (6.5.3).
Как только план устранения рисков будет составлен, в соответствии с ним должны быть реализованы мероприятия по устранению рисков, выбранные в пункте 6.5.2.
Выполнение каждого мероприятия по устранению рисков и его эффективность должны быть проверены и зарегистрированы в соответствии с положениями, установленными в подразделе 6.7.
6.6 Мониторинг и пересмотр
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 6.6).
6.7 Документирование и отчетность
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 6.7).
Организация должна создать, зарегистрировать и поддерживать систему сбора и проверки информации о системах ИИ, продуктах или услугах на этапах внедрения и после внедрения, а также собирать и анализировать общедоступную информацию об аналогичных продуктах на рынке.
Затем эту информацию следует оценить на предмет возможной значимости для надежности системы, продукта или услуг ИИ. В частности, в ходе оценки необходимо определить, существуют ли ранее не выявленные риски или уже оцененные риски более неприемлемы. Данная информация может быть передана и учтена в процессе управления рисками ИИ организации в качестве корректировки целей, вариантов использования или извлеченных уроков.
Если применено какое-либо из вышеперечисленных условий, организации должны предпринять следующие действия:
а) оценить влияние на предыдущие мероприятия по управлению рисками и возвратиться к процессу управления рисками;
б) провести обзор деятельности по управлению рисками для системы, продукта или услуг ИИ. Если существует вероятность того, что остаточный риск или его приемлемость изменились, следует оценить влияние на ранее выполненные меры по контролю рисков.
Результаты этой оценки должны быть зафиксированы.
Отчет об управлении рисками должен обеспечивать возможность отслеживания каждого выявленного риска в следующих точках:
В дополнение к документации о внедрении и результатах оценки рисков по 6.4.2 - 6.4.4 запись должна включать, по крайней мере, следующую информацию:
Доказана целесообразность создания и ведения централизованного журнала управления рисками или хранилища для документирования всех действий и результатов процесса управления рисками. Журнал управления рисками или хранилище не обязательно должны содержать все документы, но должны ссылаться на них, чтобы упростить сбор всей информации. Журнал управления рисками или репозиторий могут быть реализованы в любой форме или на любом носителе.
При выявлении рисков, связанных с системами ИИ, следует принимать во внимание различные цели, связанные с ИИ, в зависимости от характера рассматриваемой системы и среды ее применения. Цели, связанные с ИИ, которые необходимо учитывать, перечислены в А.2 - А.12. Этот перечень не является исчерпывающим или применимым для каждой организации. Организации должны определить те цели, которые имеют для них наиболее важное значение.
Организационная подотчетность означает, что организация берет на себя ответственность за свои решения и действия, разъясняя их и отвечая за них перед руководством, государственными органами и заинтересованными сторонами.
Системная подотчетность связана с возможностью отслеживания решений и действий в рамках этой организации.
Системы ИИ и их разработка отличаются от программных решений, не связанных с ИИ. Необходимым является набор специалистов с междисциплинарными навыками и опытом в оценке, разработке и внедрении систем ИИ. Организации должны вовлекать людей с таким опытом в разработку и проектирование систем ИИ.
Опыт в области ИИ должен распространяться на конечных пользователей систем ИИ. Пользователи должны иметь четкое представление о том, как функционирует система ИИ, и иметь возможность обнаруживать и отменять ошибочные решения или результаты.
А.4 Доступность и качество обучающих и тестовых данных
Системы ИИ, основанные на машинном обучении, нуждаются в обучающих и тестовых данных для обучения и проверки систем на предмет предполагаемых результатов работы. Развернутая система ИИ работает с производственными данными. Все типы данных должны обладать заданными характеристиками качества.
Данные обучения и тестирования следует проверять на предмет их актуальности и соответствия намеченной цели. Объем требуемых обучающих и тестовых данных может варьироваться в зависимости от предполагаемой функциональности и сложности окружения. Обучающие и тестовые данные должны обладать разнообразными характеристиками, чтобы обеспечить высокую предсказательную способность системы ИИ. Кроме того, следует обеспечить согласованность данных обучения и тестирования при одновременном использовании независимых наборов данных, когда это применимо.
Возможно, что данные об обучении и тестировании недоступны непосредственно в компании и получены из внешних источников. Качество данных должно быть обеспечено и в этом случае.
А.5 Воздействие на окружающую среду
Использование ИИ может вызвать как позитивные, так и негативные экологические последствия. Например, система ИИ может быть использована для уменьшения содержания оксида азота в газовой турбине. Примером негативного воздействия может служить обучение некоторых систем ИИ, требующее значительных вычислительных ресурсов, и, как результат, значительно повышать потребление электроэнергии.
Применение технологий ИИ для автоматизированного принятия решений может быть несправедливым по отношению к конкретным лицам или группам лиц. Несправедливость может быть вызвана несовершенством алгоритмов, а в случае машинного обучения — неудачно выбранным подходом: метода классического машинного обучения, вида нейросети и т.д. Несбалансированность и неполнота обучающих данных при недостаточных мерах проверки и переподготовки также может вызвать предсказуемое поведение системы.
А.7 Эксплуатационная пригодность
Эксплуатационная пригодность связана со способностью организации осуществлять изменения в системе ИИ, такие как исправление ошибок или адаптация к новым требованиям. Ввиду того, что системы ИИ часто требуют самообучения, дообучения и переобучения и не следуют подходу, основанному на правилах, этот аспект и его последствия необходимо изучить.
Конфиденциальность связана со способностью отдельных лиц контролировать или влиять на то, какая информация, относящаяся к ним, может быть собрана и сохранена и кем эта информация может быть раскрыта. С учетом [3] «многие методы ИИ (например, глубокое обучение) чрезвычайно зависят от больших данных, поскольку их точность обусловлена полнотой и сбалансированностью представленных данных для обучения, большие данные упрощают задачу и позволяют улучшить результаты. Неправильное использование или разглашение некоторых данных, особенно личных и конфиденциальных данных (например, медицинских записей), может привести к вредным последствиям для субъектов данных. Таким образом, защита конфиденциальности — это задача, которую необходимо решать при анализе больших данных и ИИ».
Для систем ИИ защита конфиденциальности включает защиту данных, применяемых для построения системы ИИ, обеспечение того, чтобы система ИИ не могла быть использована для предоставления несанкционированного доступа к ее данным, и защиту доступа к персонализированным моделям.
Надежность связана со способностью системы обеспечивать заданное поведение и результаты. Вероятностный характер методов машинного обучения может привести к снижению предсказуемости, а также к непрозрачности и отсутствию функциональной транспарентности, в результате чего возможны трудности с оценкой надежности системы. Надежность является проблемой для использования систем ИИ в течение всего жизненного цикла ИИ, особенно когда эти системы действуют автономно. Более того, хотя системы ИИ и технологии ИИ предназначены для обеспечения предсказуемых результатов, неожиданные ситуации могут привести к непредсказуемому поведению.
Использование систем ИИ может привести к появлению новых угроз. Например, использование систем ИИ в автоматизированных транспортных средствах, производственных устройствах и роботах может привести к возникновению рисков, связанных с безопасностью.
Для систем ИИ в этих областях следует учитывать конкретные стандарты для конкретных областей применения (например, проектирование машин, транспорта, медицинских устройств).
Безопасность предполагает, что система не повышает вероятность и масштаб рисков для жизни, здоровья, имущества и окружающий среды, без обоснования и мер по купированию и исправлению последствий. В системах, предполагающих вероятность несоблюдения требований к условиям их эксплуатации, необходимы специальные методы/подсистемы позволяющие безопасно завершить работу (если это возможно) или принять меры, минимизирующие риски. Технологии ИИ используют в системах, которые могут создавать риски, связанные с безопасностью, таких как автономные транспортные средства, производственные устройства, роботы и т.д. Поскольку аспекты безопасности зависят от области применения, для систем ИИ в этих областях следует принимать во внимание конкретные стандарты, такие как [4] и [5]. Указания по включению вопросов безопасности в стандарты приведены в [6].
Использование систем ИИ и технологий, связанных с ИИ, может привести к появлению новых, ранее не встречавшихся угроз безопасности. Если, например, пользователи принимали свои решения на основе интерпретации представленной ранее информации, то в настоящее время такая информация может интерпретироваться ИИ по-другому, что может повлиять на решение, принятое пользователем.
В случае систем ИИ необходимо учитывать следующие новые угрозы, включая, но не ограничиваясь ими:
- автономная работа с неожиданным поведением;
- изменение поведения в случае постоянного обучения систем ИИ.
По мере усложнения систем ИИ все более важное значение приобретает понимание методов, используемых для обеспечения безопасности, и фактической или потенциальной причинно-следственной связи с несчастными случаями. Например:
- достаточно ли четко определены целевые функции и ограничения безопасности, чтобы избежать непреднамеренных вредных побочных эффектов и враждебных атак?
- существуют ли после развертывания систем ИИ инструменты для постоянного понимания, мониторинга, настройки или управления ими во время работы?
Поведение систем ИИ необязательно полностью предсказуемо во время разработки. Причинами такого непредсказуемого поведения могут быть, в частности:
- адаптация системы ИИ во время выполнения;
- работа в открытой контекстной среде с непредвиденными событиями и условиями;
- использование непрозрачных методов машинного обучения.
Методы обеспечения безопасности систем ИИ должны решать эту проблему либо путем ограничения систем ИИ такими системами, чье поведение полностью предсказуемо во время разработки, либо путем использования соответствующих методов обеспечения безопасности.
А.12 Прозрачность и объяснимость
Свойство прозрачности связано как с характеристиками организации, эксплуатирующей системы ИИ, так и непосредственно с этими системами.
С одной стороны, деятельность организации может быть или не быть прозрачной в отношении того, как в организации применяют такие системы, как используют собранные данные (такие как данные потребителей и пользователей, общедоступные данные, другие собранные наборы данных), какие меры задействуют для управления системами ИИ, понимания и контроля их рисков и т.д. С другой стороны, системы ИИ могут быть непрозрачными в отношении их внутренних операций и того, как на основе конкретных входных данных они получают конкретный результат, так как их может быть трудно объяснить.
Определение риска в ГОСТ Р ИСО 31000 представляет собой отклонение от общепринятого словарного определения как потенциальной(го) опасности или вреда. Это отклонение вызывает затруднения у инженеров, сосредоточенных на снижении рисков, когда организационные цели, ориентированные на положительные преимущества риска, вступают в противоречие с вопросами, связанными с безопасностью, защитой и этическим поведением.
Обычно риск рассматривают как поиск возможностей, особенно при оценке выгод от использования ИИ с точки зрения производительности, точности и других организационных возможностей. Стремление к положительным преимуществам риска как для организации, так и для пользователя ИИ ставит системных инженеров в затруднительное положение при оценке элементов безопасности, защиты и других потенциальных вредных аспектов потенциального использования ИИ. Примеры таких конфликтов включают:
- организационные цели и требования в отношении отдачи от инвестиций, в рамках которых основное внимание уделяется быстрому выходу на рынок, что может привести к маргинализации вопросов охраны и безопасности;
- инициативы, направленные на устранение рыночных диспропорций, в рамках которых не учитываются ранее не участвующие и новые потенциальные заинтересованные стороны и возможность непредвиденных последствий;
- стремление инновационных продуктов к повышению потенциала положительного риска, который не учитывает негативные последствия, возникающие из непредвиденной сложности.
Подобные дилеммы возникают из-за неспособности согласовать противоречивые цели, пороговые значения риска и потребности заинтересованных сторон. Однако согласование происходит, когда риск рассматривают как «неопределенность риска в отношении целей», поскольку это поддерживает совместимость элементов системы таким образом, чтобы согласовывать риски во всех областях.
Посредством целевых организационных систем, ориентированных на получение позитивных преимуществ от рисков, можно обеспечить согласование с теми, кто несет ответственность за смягчение негативных рисков, например: рисков, которые могут возникать при помощи прогностического моделирования, потенциально ненадежных обучающих данных, и других потенциальных опасностей, которые могут появиться при разработке ИИ.
В структуре, основанной на принципах ГОСТ Р ИСО 31000, установлена процедура настройки в качестве средства, с помощью которого может произойти это согласование. Поскольку все риски являются контекстуальными, управление предприятием осуществляется как последовательный процесс, в соответствии с которым могут быть идентифицированы и измерены различные типы рисков. Адаптация процесса оценки рисков к конкретной среде риска предоставляет как организации, так и проектам возможность сопоставлять различные элементы риска с применением разных интерпретаций риска в рамках одной интегрированной структуры для достижения любых целевых задач, которые преследуются.
Определяя риск таким образом, чтобы обеспечить возможность применения совместимого комплексного системного подхода как между границами, так и в рамках границ, а также вариаций в их определениях, дилеммы, связанные с риском, могут решаться подотчетным и прозрачным способом.
Это один из наиболее важных способов, с помощью которого в ГОСТ Р ИСО 31000 представлена навигация по рискам и связанным с ними сложностям, обеспечивая базовую организационную способность согласовывать положительные и отрицательные риски в одной области.
В ГОСТ Р ИСО 31000 рассмотрен риск как переменная, которой можно управлять с помощью процессов, независимо от типа риска, положительного или отрицательного. Когда организация устанавливает свои цели, которые включают и ориентированы на положительный риск (доля рынка, рентабельность инвестиций, прибыль и т.д.), работает в рамках одной структуры и использует принцип настройки, эти цели организации с положительным риском могут быть согласованы с целями предотвращения и смягчения негативных рисков на инженерном уровне. Учет мнений заинтересованных сторон способствует укреплению индивидуального определения и учета рисков, позволяя сообществу инженеров быть более уверенными в своей способности предоставлять доказательства последствий применительно к организационным целям.
Использование принципа индивидуализации позволяет организациям решать дилеммы, связанные с опасностями, в рамках такой же модели рисков, как и при выявлении возможностей получения выгоды, с достижением в последующем согласования с конкурирующими целями.
Различные перспективы риска могут быть приняты и использованы для любой среды и в конкретных ситуациях, связанных с рисками, в качестве средства сопоставления как внутри, так и за пределами границ организации для достижения общего понимания того, какие риски являются желательными, а какие неприемлемыми.
Ниже приведена выдержка из ГОСТ Р ИСО 31000-2019 [раздел 4, перечисление c)].
| c) Адаптированность Структура и процесс менеджмента риска настраиваются и соразмерны внешней и внутренней среде организации, ее целям. |
|---|
Принцип адаптированности, установленный в ГОСТ Р ИСО 31000, позволяет гармонизировать любую перспективу риска.
Эффективное управление рисками требует соблюдения принципов ГОСТ Р ИСО 31000-2019 (раздел 4).
Адаптированность позволяет управлять контекстуальными рисками.
Система оценки рисков ГОСТ Р ИСО 31000 поддерживает принцип адаптированности, обеспечивая необходимую адаптацию индивидуальных оценок рисков с помощью элемента структуры рисков «Проектирование»:
- проектирование обеспечивает понимание и учет в процессе управления рисками конкретных контекстуальных потребностей оценки рисков, включая любые внешние требования в отношении способов выявления, регулирования и смягчения рисков;
- среда риска определяет оценку риска, следовательно, контекстуальное определение риска. Среда определяет тип оценки рисков, которую необходимо выполнить, включая те типы рисков, которые необходимо идентифицировать.
Документирование и отчетность обеспечивают передачу соответствующей информации о рисках по интегрированным каналам управления для предоставления необходимой информации для принятия обоснованных решений по всем аспектам риска, как положительным, так и отрицательным, что позволяет согласовать все определения риска.
УПРАВЛЕНИЕ РИСКОМ И ЖИЗНЕННЫЙ ЦИКЛ СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
В таблице В.1 показан пример сопоставления процессов управления рисками и жизненного цикла системы ИИ, как определено в [7].
Управление риском и жизненный цикл системы ИИ
| Управление риском | Структура управления риском ИИ (см. раздел 5) | Процесс управления риском ИИ (см. раздел 6) | ||||
| Система ИИ. Жизненный цикл | Область применения, среда и критерии | Оценка риска | Обработка риска | Мониторинг и пересмотр | Документирование и отчетность | |
| Деятельность на организационном уровне, связанная с управлением риском | Руководящий орган определяет направления для управления рисками ИИ. Высшее руководство берет на себя обязательства. Установлены требования к управлению рисками на высоком уровне и общие критерии | Поступают и обрабатываются отчеты об обратной связи от процессов управления рисками систем ИИ. В результате система управления рисками организации совершенствуется за счет расширения и совершенствования инструментов управления рисками организации: | ||||
| Каталог критериев риска | Каталог потенциальных источников риска Каталог методов оценки и измерения источников риска | Каталог известных или реализованных мер по смягчению последствий | Каталог известных или внедренных методов мониторинга и управления системами ИИ | Каталог установленных методов и определенных форматов для отслеживания, записи, отчетности и обмена информацией о системах ИИ с внутренними и внешними заинтересованными сторонами | ||
| Начало | Руководящий орган рассматривает цели системы ИИ в контексте принципов и ценностей организации и заинтересованных сторон. На основе (как правило, многоуровневого) анализа определяет, является ли система ИИ осуществимой, и решает проблему, которую организация стремится решить | Процесс управления рисками системы ИИ и критерии риска системы устанавливают путем настройки структуры управления рисками организации | Источники риска, характерные для системы ИИ, идентифицируют (потенциально многоуровневым образом) и подробно описывают | Составляет подробный план обработки рисков. Потенциально определяют методы «доказательства концепции» | Необходимые методы «доказательства концепции» внедрены, протестированы и оценены | Анализ с его результатами и рекомендациями регистрируют и доводят до сведения высшего руководства |
| Проектирование и разработка | Руководящий орган постоянно осуществляет пересмотр целей, анализирует эффективность и осуществимость системы на основе полученных отчетов об обратной связи | Потенциально, критерии риска системы ИИ могут быть изменены в результате отчетов об обратной связи | Оценка рисков выполняется непрерывно (возможно, на нескольких уровнях) | План обработки рисков реализован. Обработка рисков и оценка (оставшихся) рисков продолжаются до тех пор, пока не будут выполнены установленные критерии риска | В ходе тестирования, верификации и валидации анализируют и корректируют план обработки рисков для компонентов системы, а также для всей системы в целом | Результаты регистрируют и передают обратно в соответствующих мероприятиях процесса управления рисками. При необходимости выводы доводят до сведения управленческой цепочки и руководящего органа |
| Проверка и валидация | ||||||
| Развертывание | Руководящий орган постоянно пересматривает цели и возможности системы на основе полученных отчетов об обратной связи | Критерии риска системы ИИ и процесс управления рисками адаптированы к необходимым изменениям «конфигурации» | Оценка рисков выполняется непрерывно (возможно, на нескольких уровнях) | План обработки рисков может быть обновлен в связи с изменениями «конфигурации» и реализован. Обработку рисков и оценку (оставшихся) рисков продолжают до тех пор, пока не будут выполнены установленные критерии риска | План управления рисками системы ИИ пересматривают для внесения необходимых корректировок | То же |
| Эксплуатация, мониторинг | Руководящий орган постоянно анализирует цели и осуществимость системы на основе полученных отчетов об обратной связи | Потенциально критерии риска системы ИИ могут быть изменены в результате отчетов об обратной связи | План оценки рисков системы может быть скорректирован с учетом изменений критериев риска | План обработки рисков системы потенциально корректируют с учетом изменений в результатах оценки рисков | План обработки рисков для компонентов системы оценивают и корректируют | То же |
| Непрерывная проверка | ||||||
| Переоценка | Руководящий орган анализирует цели системы ИИ и их связь с принципами и ценностями организации и заинтересованных сторон. На основе анализа определяет, является ли система ИИ реализуемой | Процесс управления рисками системы ИИ и критерии риска системы пересматривают с учетом любых потенциальных изменений в конкретной цели и области применения системы ИИ, результатов мониторинга эксплуатации и новых нормативных требований | Список существующих источников риска, специфичных для системы ИИ, проверяется на предмет актуальности и любых возможных пробелов | План обработки рисков может быть обновлен. Обработка рисков и оценка (оставшихся) рисков продолжаются до тех пор, пока не будут выполнены установленные критерии риска | План обработки рисков системы ИИ пересматривается, чтобы учесть необходимые корректировки | Результаты регистрируют и передают обратно в соответствующих мероприятиях процесса управления рисками. При необходимости выводы доводят до сведения управленческой цепочки и руководящего органа |
| Вывод из эксплуатации или замена. Пуск нового процесса управления рисками с новыми целями, рисками и их смягчением | Руководящий орган пересматривает цели системы ИИ на основе анализа, определяет, возможен ли вывод из эксплуатации или замена системы ИИ | Определены процессы вывода системы управления рисками ИИ из эксплуатации и критерии риска вывода системы из эксплуатации | Определены и подробно описаны источники риска, характерные для выхода системы ИИ из эксплуатации | Разработан подробный план обработки рисков | Необходимые методы «доказательства концепции» внедряют, тестируют и оценивают | То же |