ГОСТ Р 59921.4-2021. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров

(утв. и введен в действие Приказом Росстандарта от 02.12.2021 № 1672-ст)

1 марта 2022 года

Предисловие

1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением «Российский институт стандартизации» (ФГБУ «РСТ»), Государственным бюджетным учреждением здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (ГБУЗ «НПКЦ ДиТ ДЗМ»)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. № 1672-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Эффективность системы искусственного интеллекта, используемой в клинической медицине, зависит от ее эксплуатационных параметров.

В целях сбора доказательств соответствия эксплуатационных параметров, установленных в ходе разработки системы искусственного интеллекта, требованиям технической и эксплуатационной документации и применимым регулирующим требованиям, проводят их оценку и контроль. Это дает возможность продемонстрировать, что система искусственного интеллекта способна выдавать клинически значимый результат при ее эксплуатации надлежащим образом, а также не несет риска причинения вреда при использовании ее по назначению и в условиях, заявленных изготовителем. Для каждой системы искусственного интеллекта оценка и контроль эксплуатационных параметров осуществляется в течение всего жизненного цикла.

Как правило, системы искусственного интеллекта не оказывают непосредственного воздействия на пациентов и пользователя (врача), вместо этого выполняют только интерпретацию медицинских данных и предоставляют вывод результата работы пользователю, в том числе с целью поддержки принятия решений.

1 Область применения

Настоящий стандарт устанавливает общие требования к оценке и контролю эксплуатационных параметров СИИ при вводе в эксплуатацию и периодическом контроле, что позволяет проводить однозначно интерпретируемую оценку характеристик и параметров СИИ.

Настоящий стандарт применяют к СИИ в качестве программного обеспечения, являющегося медицинским изделием.

Настоящий стандарт определяет методологическую основу для оценки и контроля эксплуатационных параметров СИИ.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р ИСО/МЭК 9126-93 Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

жизненный цикл (life cycle): Развитие системы, продукции, услуги, проекта или другой создаваемой изготовителем сущности от замысла до вывода из эксплуатации. [Адаптировано из ГОСТ Р 57193-2016, пункт 4.1.19]

3.2

искусственный интеллект (artificial intelligence): Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Примечание — Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений. [ГОСТ Р 59277-2020, пункт 3.18]

3.3 ложноотрицательный результат (ошибка второго рода): Ошибка, заключающаяся в том, что принимают нулевую гипотезу, в то время как в действительности эта гипотеза неверна.

3.4 ложноположительный результат (ошибка первого рода): Ошибка, заключающаяся в том, что отвергают нулевую гипотезу, в то время как в действительности эта гипотеза верна.

3.5

набор данных: Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта. [1]

3.6

программное обеспечение (software) (программа, программное средство): Упорядоченная последовательность инструкций (кодов) для вычислительного средства, находящаяся в памяти этого средства и представляющая собой описание алгоритма управления вычислительными средствами и действий с данными. [ГОСТ Р 53622-2009, пункт 3.8]

3.7

изготовитель (производитель): Физическое или юридическое лицо, ответственное за проектирование, изготовление, упаковывание и/или маркировку медицинского изделия, установку/монтаж или модификацию медицинского изделия перед выпуском его в обращение или вводом в эксплуатацию независимо от того, выполняет ли эти операции вышеупомянутое лицо или третья сторона от его имени. Примечание — В определении термина «изготовитель» следует учитывать положения национальных и региональных нормативных документов. [ГОСТ ISO 14971-2011, пункт 2.8]

3.8

система искусственного интеллекта (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта. [Адаптировано из ГОСТ Р 59276-2020, пункт 3.16]

3.9 специфичность: Доля лиц с отрицательным результатом в целевой популяции без изучаемого заболевания (т.е. вероятность того, что объекты без изучаемого заболевания будут определены как здоровые).

3.10

техническая документация: Совокупность конструкторских, программных и технологических документов, предназначенных для использования на различных стадиях жизненного цикла медицинского изделия. [ГОСТ Р 58451-2019, пункт 3.24]

3.11 чувствительность: Доля лиц с положительным результатом для целевой популяции с изучаемым заболеванием (т.е. вероятность того, что объекты с изучаемым заболеванием будут определены как патологичные).

3.12

эксплуатационная документация изготовителя (производителя): Документы, предназначенные для ознакомления потребителя, регламентирующие условия и правила эксплуатации (использование по назначению, техническое обслуживание, хранение и транспортировка), гарантированные изготовителем (производителем) значения основных параметров, характеристик (свойств) медицинского изделия, гарантийные обязательства, а также сведения о его выводе из эксплуатации. Примечание — Эксплуатационные документы прилагаются к медицинскому изделию при поставке и, как правило, включают в себя паспорт (формуляр и этикетку), руководство по эксплуатации, инструкцию по применению и др. Комплектность эксплуатационных документов определяется назначением конкретного медицинского изделия. [Адаптировано из ГОСТ Р 58451-2019, пункт 3.26]

3.13 эксплуатационные параметры: Параметры функционирования системы искусственного интеллекта, характеризующие качественно и/или количественно технические возможности системы искусственного интеллекта с точки зрения ее назначения.

4 Эксплуатационные параметры систем искусственного интеллекта

Эксплуатационные параметры СИИ подразделяют на следующие категории:

• по точности;
• назначению;
• входным данным;
• принципу организации обучения;
• производительности;
• системной совместимости.

Необходимо отметить, что представлен перечень типовых эксплуатационных параметров СИИ, который может быть дополнен с учетом особенностей системы, в том числе с учетом ее назначения.

4.1 По точности

С точки зрения точности эксплуатационные параметры определены изготовителем и должны включать указанные ниже параметры, при этом могут быть включены дополнительные параметры в зависимости от назначения СИИ.

а) Доля ошибок 1-го (ложноположительный результат) и 2-го рода (ложноотрицательный результат) при принятии решений СИИ.

Данный параметр характеризует точность СИИ.

Доля ошибок 1-го рода подтверждает прогнозируемую вероятность ложноположительного результата анализа СИИ.

Доля ошибок 2-го рода подтверждает прогнозируемую вероятность ложноотрицательного результата анализа СИИ.

Значения данных параметров должны удовлетворять заявленным изготовителем в технической и эксплуатационной документациях.

б) Показатели эффективности СИИ (чувствительность, специфичность, прогностическая ценность и др.) [2].

Значение чувствительности предоставляет информацию о том, насколько четко СИИ обнаруживает заболевание.

Пример - тест, который положителен у 8 из 10 пациентов, при наличии заболевания имеет чувствительность 80%.

Значение специфичности предоставляет информацию о том, насколько СИИ правильно идентифицирует исследования пациентов при отсутствии заболевания.

Пример - тест, который отрицателен у 9 из 10 пациентов, при отсутствии заболевания имеет специфичность 0,9 (или 90%).

Положительная прогностическая ценность является долей пациентов с позитивным результатом, оцененным СИИ, у которых в действительности присутствует заболевание.

Пример - если 9 из 10 положительных результатов тестов верны (истинно положительные результаты), то значение положительной прогностической ценности составляет 90%.

Отрицательная прогностическая ценность является долей пациентов с отрицательным результатом, оцененным СИИ, у которых в действительности отсутствуют признаки наличия заболевания.

Пример — если 8 из 10 отрицательных результатов теста корректны (истинно отрицательные), тогда отрицательная прогностическая ценность составляет 80% [3].

Рабочие характеристики СИИ должны быть обеспечены изготовителем не ниже уровня, заявленного в технической документации, в течение всего срока эксплуатации СИИ (см. [4]).

4.2 По назначению

а) Тип принимаемого решения.

Данный параметр характеризует тип возвращаемого заключения от СИИ. Это может быть:

• бинарное заключение (например, о наличии/отсутствии патологии);
• вероятностное заключение (например, о вероятности наличия патологии);
• локализация (детектирование) (например, заключение о местонахождении целевой патологии во входных данных);
• классификация (например, отнесение находки к одному из классов);
• комбинация вышеперечисленных заключений.

Тип и формат возвращаемого СИИ заключения должны соответствовать назначению СИИ с точки зрения решаемых клинических задач.

б) Набор заключений СИИ.

Данный параметр характеризует количество заключений, формируемых СИИ по одному набору входных данных (исследованию). СИИ может формировать как одно заключение (бинарное, вероятностное, локализацию, результат классификации) или несколько заключений, представляющих собой комбинацию различных типов принимаемых решений, так и многофакторное заключение: локализацию, классификацию, вероятность патологии, а также дополнительные параметры, не характеризующие выявленную патологию, например объем легких.

Набор заключений СИИ должен соответствовать назначению СИИ с точки зрения решаемых клинических задач.

в) Виды СИИ как системы поддержки принятия врачебных решений определяет изготовитель исходя из назначения, они могут быть экспертные, прогнозные, диагностические, аналитические и другие.

4.3 По входным данным

а) Разнородность входных данных.

Данный параметр характеризует степень вариативности входных данных СИИ (например, количество разных типов аппаратов, информацию исследований с которых СИИ способна обработать, диапазон размеров/разрешений изображений [4]), а также способность СИИ обрабатывать зашумленные и искаженные данные (например, перевернутые снимки грудной клетки или наличие на снимке посторонних объектов). Типы аппаратов, данные с которых совместимы по параметрам с рассматриваемой СИИ, должны быть перечислены в технической и эксплуатационной документации.

б) Формат входных данных (данный параметр характеризует тип входных данных для СИИ):

• изображение (в том числе видео);
• текст;
• сигнал [последовательность данных с привязкой ко времени (график, аудиосигнал), в том числе в режиме реального времени];
• и другие.

Формат входных данных должен быть описан в технической и эксплуатационной документациях, соответствовать назначению СИИ с точки зрения решаемых клинических задач.

в) Тип анализируемого объекта.

Данный параметр характеризует объект исследования. Объектом исследования могут быть: статические и динамические медицинские изображения (фотографии, снимки компьютерной томографии, магнитно-резонансной томографии, ультразвукового исследования, рентгенографии) органов, костей, кожного покрова и т.д.; результаты инструментальных (в том числе электрофизиологических), лабораторных исследований; медицинские документы; а также представленные вербально объекты — речь пациента или пользователя (врача) и др.

Тип изучаемой анализируемой структуры должен соответствовать назначению СИИ с точки зрения решаемых клинических задач.

4.4 По принципу организации обучения систем искусственного интеллекта

а) Способ обучения СИИ в процессе эксплуатации.

Возможны следующие варианты параметра:

• повторное обучение (обновление обученной модели путем обучения на новых обучающих данных);
• непрерывное обучение (последовательное обучение СИИ, которое происходит на постоянной основе на всем этапе эксплуатации жизненного цикла СИИ).

б) По типу используемых во время обучения данных различают:

• обучение с учителем;
• обучение без учителя;
• полуконтролируемое машинное обучение.

в) Адаптируемость к новым типам данных.

Данный параметр характеризует способность СИИ расширять область применения путем обучения на выборках соответствующих типов данных (например, возможность изменения модальности оборудования для СИИ, применяемой в лучевой диагностике, или расширение перечня детектируемых патологий). Кроме того, адаптация СИИ на новые типы данных часто предполагает некоторые изменения в архитектуре искусственного интеллекта.

4.5 По производительности

а) Режим обработки данных.

Данный параметр характеризует способ передачи входных данных СИИ с точки зрения времени, прошедшего между формированием входных данных и их обработкой СИИ, указывается изготовителем в эксплуатационной и технической документациях. Возможны следующие варианты:

• условно реальное время. Обработка СИИ происходит с задержкой, обусловленной условиями передачи данных в СИИ с учетом необходимых предварительных преобразований;
• обработка с задержкой. Обработка СИИ происходит с задержкой или интервалом, установленными администратором СИИ;
• обработка по запросу. Обработка СИИ происходит по запросу пользователя.

Режим обработки данных должен соответствовать назначению СИИ с точки зрения решаемых клинических задач.

б) Производительность СИИ.

Данный параметр характеризует количество принимаемых СИИ решений в единицу времени при заданных вычислительных ресурсах. Производительность СИИ не зависит от свойств среды передачи данных и пропорциональна производительности вычислительных ресурсов. В технической и эксплуатационной документации декларируется производительность СИИ с учетом минимальных системных требований.

Рекомендуемая минимальная производительность СИИ должна быть такой, чтобы время, затраченное на обработку единицы данных, не превышало времени, регламентированного для принятия решения врачом.

в) Параметр вычислительных ресурсов.

Данный параметр характеризует рекомендуемые изготовителем СИИ системные требования. В технической и эксплуатационной документациях должны быть указаны минимальные системные требования, достаточные для достижения минимального заявленного показателя производительности СИИ.

г) Параметр сетевых ресурсов.

Данный параметр характеризует минимальные требования к сетевым ресурсам, устанавливаемые в технической и эксплуатационной документациях (необходимая ширина канала, количество каналов) с учетом допустимого времени задержки получения результата анализа СИИ конечным пользователем исходя из прогнозируемых размеров входных данных.

Рекомендуемые значения по пропускной способности следует выбирать с учетом того, чтобы суммарное время приема, анализа единицы данных и передачи результатов конечному пользователю не превосходило времени, регламентированного для принятия решения врачом (для единицы данных).

В технической и эксплуатационной документациях должны быть указаны используемые для функционирования СИИ сетевые протоколы. Должны быть определены требования по защищенности используемых каналов связи.

д) Масштабируемость системы.

Данный параметр характеризуется способностью или неспособностью СИИ оперативно увеличивать производительность за счет наращивания аппаратных мощностей и распределения нагрузки. Масштабируемость можно косвенно спрогнозировать исходя из параметров разнородности, адаптируемости и производительности.

Обоснованный прогноз масштабируемости рекомендуется указывать в технической и эксплуатационной документациях.

е) Вид сетевой архитектуры.

Данный параметр характеризует тип организации связи узлов СИИ. Возможны следующие варианты:

• распределенная архитектура предполагает размещение узлов СИИ на разных удаленных вычислительных ресурсах, которые могут взаимодействовать между собой по сетям связи для решения задачи аппаратного резервирования и распределения нагрузки;
• централизованная архитектура предполагает размещение СИИ на одном удаленном сервере;
• локальная архитектура предполагает функционирование СИИ в локальной среде (в локальной сети или на аппаратных ресурсах, которые формируют данные для обработки СИИ).

Вид сетевой архитектуры должен быть указан в технической и эксплуатационной документациях СИИ.

4.6 По системной совместимости

а) Требования к среде функционирования.

Данный параметр регламентирует условия, необходимые для функционирования СИИ в вычислительной системе (например, операционная система, программные компоненты).

Должен быть указан минимальный набор предустановленных программных компонентов, необходимых для функционирования СИИ.

б) Взаимодействие с техническими системами сбора данных.

Данный параметр отражает функционал СИИ, связанный с взаимодействием со сторонними информационными системами (например, наличие программного интерфейса для взаимодействия с оборудованием различных изготовителей).

В технической и эксплуатационной документациях должен быть указан список оборудования (соответствующий назначению СИИ), с которым СИИ совместима и может взаимодействовать.

в) Программная совместимость (например, интеграция со сторонними информационными системами).

Параметр регламентирует условия, при которых возможна интеграция со сторонним программным обеспечением в единую информационную систему. В технической и эксплуатационной документациях установлен перечень совместимого программного обеспечения (информационных систем, стороннего программного обеспечения), а также приведено описание программных интерфейсов, протоколов и стандартов сетевого взаимодействия, которые поддерживаются СИИ.

5 Оценка и контроль эксплуатационных параметров

5.1 Периодичность, методы оценки и контроля эксплуатационных параметров СИИ изготовитель устанавливает в технической и эксплуатационной документациях. Эксплуатационные параметры СИИ и методы их оценки и контроля указаны в приложении А по категориям.

5.2 Рекомендуется проводить проверку эксплуатационных параметров СИИ в рамках постоянного мониторинга работы СИИ в течение жизненного цикла.

(справочное)

Методы оценки и контроля эксплуатационных параметров СИИ рекомендуется указывать изготовителю в технической и эксплуатационной документациях. В левой графе таблицы А.1 перечислены эксплуатационные параметры СИИ в соответствии с разделом 4. В правой графе таблицы А.1 - методики, применимые для оценки и контроля соответствующего параметра.

Эксплуатационный параметр	Оценка и контроль
Ошибки 1-го и 2-го рода при принятии решений	Оценка по разрабатываемой для СИИ методике, которая включает требования к данным для испытаний, процедуры расчета параметров, оценки погрешностей испытаний и т.д.
Показатели эффективности СИИ	Оценка согласно методике контроля чувствительности, специфичности и т.п.
Тип принимаемого решения	Проверка соответствия требованиям, заявленным в технической и эксплуатационной документациях СИИ
Набор заключений СИИ	Оценку производят по 2 сценариям: - если заключения изначально зафиксированы и СИИ использует только эти заключения, то опираются на документацию; - если в процессе эксплуатации СИИ допускается расширение вариантов заключений, то необходимо оценивать ошибки 1-го и 2-го рода
Разнородность входных данных	Проверка соответствия технической и эксплуатационной документациям, если требования к качеству входных данных определены. Оценка согласно методике оптимизации качества входных данных
Формат входных данных	Проверку проводят согласно технической документации СИИ
Тип анализируемого объекта	Оценку проводят согласно технической и эксплуатационной документациям на СИИ по методикам оценок ошибок 1-го и 2-го рода для различного рода входных данных
Способ обучения системы в процессе эксплуатации	Оценка технической документации СИИ, соответствие которой проверяют посредством тестов после выпуска новых версий СИИ и ее адаптации
Адаптируемость к новым типам данных при вводе СИИ в эксплуатацию	Оценка происходит посредством тестирований для различных типов входных данных (классов изображений)
Режим обработки данных при вводе СИИ в эксплуатацию	Оценка времени отклика СИИ, затрачиваемого времени принятия решения и т.д., путем методики хронометража
Производительность при вводе СИИ в эксплуатацию и при периодическом контроле	Оценка заявленной скорости работы с использованием методики хронометража
Требования к вычислительным ресурсам при вводе СИИ в эксплуатацию и при периодическом контроле	Оценка заявленной скорости работы при заданных вычислительных ресурсах с использованием методики хронометража
Требования к сетевым ресурсам	Оценка соответствия характеристик сетевых ресурсов, используемых при эксплуатации на соответствие требованиям технической документации СИИ
Масштабируемость системы при вводе СИИ в эксплуатацию	Оценка соответствия характеристик сетевых ресурсов, используемых при эксплуатации, требованиям технической документации СИИ
Взаимодействие с техническими системами сбора данных	Проверка соответствия требованиям, заявленным в технической документации СИИ
Вид архитектуры при вводе СИИ в эксплуатацию	Проверка соответствия требованиям, заявленным в технической документации СИИ
Требования к среде функционирования при вводе СИИ в эксплуатацию	Проверка соответствия требованиям, заявленным в технической документации СИИ
Программная совместимость при вводе СИИ в эксплуатацию и при периодическом контроле	Проверка соответствия требованиям, заявленным в технической документации СИИ

БИБЛИОГРАФИЯ

[1]	Указ Президента Российской Федерации от 10 октября 2019 г. № 490 «О развитии искусственного интеллекта в Российской Федерации»
[2]	Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика)/С.П. Морозов [и др.]/Серия «Лучшие практики лучевой и инструментальной диагностики». — М., 2019. — Вып. 57. — 51 с.
[3]	Справочники MSD [Электронный ресурс]//URL: https://www.msdmanuals.com/ru
[4]	Теория информационных процессов и систем/Ю.Ю. Громов и др. — Тамбов: Изд-во ФГБОУ ВПО «ТГТУ», 2014
[5]	Лисицын Л.А. Теоретические основы и методы исследования информационных процессов и систем/Л.А. Лисицын, А.И. Катыхин, Ю.А. Халин. — Курск: Минобрнауки, 2017
[6]	Шишкина В.Е. Техническая документация информационных систем/В.Е. Шишкина. — Ульяновск: УлГТУ, 2018

УДК 615.841:006.354	ОКС 11.040.01
Ключевые слова: эксплуатационные параметры, система искусственного интеллекта, клиническая медицина

---