ГОСТ Р 59921.2-2021. Национальный стандарт Российской Федерации. Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний

(утв. и введен в действие Приказом Росстандарта от 02.12.2021 № 1670-ст)

1 марта 2022 года

Предисловие

1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением «Российский институт стандартизации» (ФГБУ «РСТ»), Государственным бюджетным учреждением здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (ГБУЗ «НПКЦ ДиТ ДЗМ»)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. № 1670-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

1 Область применения

Настоящий стандарт устанавливает общие подходы к проведению технических испытаний систем искусственного интеллекта.

Технические испытания проводятся в соответствии с программой и методикой для оценки соответствия характеристик системы искусственного интеллекта требованиям технической и эксплуатационной документации изготовителя, заявленным стандартам, применимым регулирующим требованиям и т.д., в том числе с целью принятия решения о возможности проведения последующих клинических испытаний [1].

Настоящий стандарт применим к системам искусственного интеллекта как программному обеспечению, являющемуся медицинским изделием.

Настоящий стандарт определяет методологическую основу по составлению программы и методики технических испытаний систем искусственного интеллекта.

2 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

2.1

безопасность (safety): Отсутствие недопустимого риска. [ГОСТ ISO 14971-2011, статья 2.24]

Примечания

1 Безопасность систем искусственного интеллекта предполагает их функционирование в соответствии с тем, как определил изготовитель, при использовании по назначению в условиях, предусмотренных изготовителем, и без нарушений безопасности обрабатываемой информации.

2 Условия использования могут включать уровень технический знаний, наличие опыта, образования и специальной подготовки пользователей, наличие заболеваний и данных о физическом состоянии потенциальных пациентов.

3 Безопасность системы искусственного интеллекта предполагает соблюдение требований по защищенности систем искусственного интеллекта и данных, а также прозрачности алгоритмов, бесперебойности, отсутствие ошибок в работе систем искусственного интеллекта и выполнение требований качества (см. [2]).

2.2 воспроизводимость: Свойство процесса получать одинаковые результаты испытаний в разных средах испытаний.

Примечание - Разные среды означают разные компьютеры, жесткие диски, операторы и т.д.

2.3

искусственный интеллект (artificial intelligence): Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека.

Примечание - Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе, в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений.

[ГОСТ Р 59277-2020, статья 3.18] 2.4 изготовитель (производитель): Физическое или юридическое лицо, ответственное за проектирование, изготовление, упаковывание и/или маркировку медицинского изделия, установку/монтаж или модификацию медицинского изделия перед выпуском его в обращение или вводом в эксплуатацию независимо от того, выполняет ли эти операции вышеупомянутое лицо или третья сторона от его имени. Примечание — В определении термина «изготовитель» следует учитывать положения национальных и региональных нормативных документов.

[Адаптировано из ГОСТ ISO 14971-2011, статья 2.8]

2.5 качество системы искусственного интеллекта: Совокупность свойств и характеристик системы искусственного интеллекта, влияющих на ее способность действовать по назначению при условии соответствия требованиям технической и эксплуатационной документации изготовителя (производителя).

Примечание — См. [1].

2.6 медицинские изделия: Любые инструменты, аппараты, приборы, оборудование, материалы и прочие изделия, применяемые в медицинских целях отдельно или в сочетании между собой, а также вместе с другими принадлежностями, необходимыми для применения указанных изделий по назначению, включая специальное программное обеспечение, и предназначенные производителем для профилактики, диагностики, лечения и медицинской реабилитации заболеваний, мониторинга состояния организма человека, проведения медицинских исследований, восстановления, замещения, изменения анатомической структуры или физиологических функций организма, предотвращения или прерывания беременности, функциональное назначение которых не реализуется путем фармакологического, иммунологического, генетического или метаболического воздействия на организм человека.

Примечание — См. [3, статья 38].

2.7 методика [метод] измерений: Совокупность конкретно описанных операций, выполнение которых обеспечивает получение результатов измерений с установленными показателями точности.

Примечание — См. [4].

2.8 повторяемость: Свойство процесса, проводимого для получения одинаковых результатов испытаний в одной и той же среде испытаний. Примечание — Одна и та же среда испытаний означает одинаковый компьютер, жесткий диск, режим работы и т.д.

2.9

программа технических испытаний: Организационно-методический документ, обязательный к выполнению, устанавливающий объект и цели технических испытаний, виды, последовательность и объем проводимых испытаний согласно методике испытаний, порядок, условия, место и сроки проведения технических испытаний, обеспечение и отчетность по ним, а также ответственность за обеспечение и проведение технических испытаний.

Адаптировано из ГОСТ 16504-81, [статья 13]

2.10 программное обеспечение, являющееся медицинским изделием: Программное обеспечение, предназначенное изготовителем для использования в медицинских целях, не являющееся составной частью и/или принадлежностью другого медицинского изделия.

Примечания

1 Программное обеспечение является медицинским изделием, при условии соответствия его следующим критериям (см. [5], пункт 18):

• программное обеспечение представляет собой программу для электронно-вычислительной машины или программные модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему;
• программное обеспечение не является составной частью другого медицинского изделия;
• программное обеспечение предназначено изготовителем для оказания медицинской помощи;
• результат действия программного обеспечения заключается в интерпретации данных в автоматическом режиме, в том числе с использованием технологий искусственного интеллекта, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных.

2 См. [6], пункт 5.0.

2.11

протокол технических испытаний: Документ, содержащий необходимые сведения об объекте технических испытаний, применяемых методах, средствах и условиях технических испытаний, результаты технических испытаний, а также заключение по результатам технических испытаний, оформленный в установленном порядке. Адаптировано из ГОСТ 16504-81, [статья 24]

2.12

результат испытаний: Оценка характеристик свойств объекта, установления соответствия объекта заданным требованиям по данным испытаний, результаты анализа качества функционирования объекта в процессе испытаний. ГОСТ 16504-81, [статья 23]

2.13

система искусственного интеллекта (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта. [Адаптировано из ГОСТ Р 59276-2020, статья 3.16]

2.14 система менеджмента качества системы искусственного интеллекта: Организационная структура, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению изготовителем системы искусственного интеллекта применительно к качеству.

2.15 технические испытания: Испытания с целью определения соответствия характеристик (свойств) системы искусственного интеллекта заявленным характеристикам данной системы.

2.16

техническая документация: Совокупность конструкторских, программных и технологических документов, предназначенных для использования на различных стадиях жизненного цикла медицинского изделия. [ГОСТ Р 58451-2019, статья 3.24]

2.17

эксплуатационная документация изготовителя [производителя]: Документы, предназначенные для ознакомления потребителя, регламентирующие условия и правила эксплуатации (использование по назначению, техническое обслуживание, хранение и транспортировка), гарантированные изготовителем (производителем) значения основных параметров, характеристик (свойств) медицинского изделия, гарантийные обязательства, а также сведения о его выводе из эксплуатации. Примечание — Эксплуатационные документы прилагаются к медицинскому изделию при поставке и, как правило, включают в себя паспорт (формуляр или этикетку), руководство по эксплуатации, инструкцию по применению и др. Комплектность эксплуатационных документов определяется назначением конкретного медицинского изделия. [Адаптировано из ГОСТ Р 58451-2019, статья 3.26]

3 Общие указания по составлению программы и методики технических испытаний

Виды технических испытаний (ТИ) системы искусственного интеллекта (СИИ):

а) предварительные ТИ (проводимые изготовителем в рамках системы менеджмента качества (при наличии, соответствует контрольным испытаниям СИИ с целью определения возможности ее предъявления на приемочные испытания));

б) приемочные ТИ (проводимые с целью решения вопроса о целесообразности постановки СИИ на производство и/или использования по назначению);

в) ТИ с целью регистрации СИИ в качестве медицинского изделия. Данный вид испытаний проводится в соответствии с действующими нормативными правовыми актами;

г) периодические испытания (контрольные испытания СИИ, проводимые в объемах и в сроки, установленные нормативно-технической документацией, с целью контроля стабильности качества СИИ и возможности продолжения ее выпуска);

д) иные виды ТИ.

В ходе проведения ТИ СИИ оценивают:

а) соответствие СИИ применимым регулирующим требованиям, требованиям действующих национальных (международных) стандартов, нормативной документации, а также технической и эксплуатационной документации изготовителя;

б) качество и полнота эксплуатационной документации изготовителя с точки зрения возможности применения СИИ по назначению [7];

в) качество и безопасность СИИ согласно ее назначению.

Технические испытания СИИ проводятся:

• для подтверждения и предоставления объективных доказательств, что СИИ была правильно спроектирована;
• СИИ корректно обрабатывает входные данные и генерирует точно и надежно выходные данные;
• СИИ соответствует заявленным изготовителем характеристикам.

Выполнение ТИ должно гарантировать, что все этапы проектирования и разработки СИИ были выполнены корректно.

Выполнение ТИ может осуществляться:

• изучением предоставленных изготовителем результатов проведения ТИ (при наличии);
• созданием новых доказательств в ходе независимого от изготовителя проведения ТИ.

3.1 Программа технических испытаний

Программу ТИ разрабатывают с целью определения соответствия характеристик (свойств) СИИ требованиям нормативной документации, технической и эксплуатационной документации производителя (изготовителя).

Она должна содержать информацию об объекте испытаний, цели испытаний, месте проведения испытаний, перечне нормативной документации и методике проведения ТИ.

В рамках проведения ТИ, в зависимости от их формы (см. пункт 5) возможны дополнения/изменения в перечне предоставляемой информации в Программе ТИ.

Примечание

Примеры дополнений к программе ТИ:

• перечень проверяемых параметров и характеристик;
• перечень испытательного оборудования и материалов (при необходимости).

Программа и методика испытаний должны устанавливать необходимый и достаточный объем испытаний, обеспечивающих заданную достоверность получаемых результатов.

3.1.1 Объект технических испытаний

При формировании программы ТИ необходимо указывать сведения о СИИ, подвергаемому испытаниям (наименование, область применения), количество требуемых для проведения ТИ образцов, подходы к определению «типовых» образцов и т.д.

3.1.2 Цель технических испытаний

Цель проведения ТИ — анализ и оценка СИИ согласно методике ТИ с учетом вида ТИ.

3.1.3 Место проведения технических испытаний

Должно быть указано наименование, адрес и телефон, где проводятся ТИ.

3.1.4 Нормативные документы, используемые при проведении технических испытаний

Указывается перечень документации, регламентирующей требования безопасности и качества, в целях подтверждения соответствия которым планируется проводить ТИ, а также методы контроля соответствия медицинского изделия этим требованиям.

Примечание

Примеры стандартов:

• ГОСТ Р ИСО/МЭК 12119-2000 «Информационная технология. Пакеты программ. Требования к качеству и тестирование».
• ГОСТ Р ИСО/МЭК 9126-93 «Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению».
• ГОСТ Р 51188-98 «Защита информации. Испытания программных средств на наличие компьютерных вирусов. Типовое руководство».
• ГОСТ Р МЭК 62304-2013 «Изделия медицинские. Программное обеспечение. Процессы жизненного цикла».
• ГОСТ 34.603-92 «Информационная технология. Виды испытаний автоматизированных систем».

3.1.5 Методика технических испытаний

Последовательность мероприятий, виды тестирования (испытаний), методы испытаний, форма представления данных и оценивания точности, достоверности результатов, условия испытаний и другие аспекты проведения ТИ отражаются в «Методике технических испытаний», которая должна включать, в том числе оценку производительности (например, время, затрачиваемое на обработку СИИ предоставленного набора данных), повторяемость, воспроизводимость и т.п.

Примечание

Пример -

Изготовитель СИИ 1 выполняет испытания «в ручном режиме».

Изготовитель СИИ 2 применяет инструментарий для автоматизированных испытаний, который обеспечивает непрерывный цикл испытаний и сборки. Там, где автоматизация невозможна, выделенный испытатель запускает испытания вручную перед каждым релизом.

Таким образом, оба изготовителя реализуют разными способами технические испытания (См. [8])

В рамках системы менеджмента качества изготовителю СИИ рекомендуется проводить предварительные технические испытания с целью анализа и проверки, насколько СИИ соответствует заявленным в технической и эксплуатационной документации характеристикам.

В зависимости от вида требований, предъявляемых к СИИ на испытаниях, проверке в ней подвергают:

• комплекс определенных программных средств (программный алгоритм, модуль и пр.);
• СИИ в целом.

Техническая и эксплуатационная документация может подлежать оценке на соответствие требованиям нормативных документов.

При испытаниях СИИ проверяют:

• качество выполнения СИИ собственного функционального назначения во всех режимах функционирования СИИ;
• возможность использования эксплуатационной документации изготовителя при применении СИИ по назначению;
• полноту и объективность установленных в технической документации производителя характеристик, подлежащих контролю при технических испытаниях, а также методы испытаний;
• качество СИИ и безопасность ее применения;
• другие возможные свойства СИИ, которым она должна соответствовать согласно документации изготовителя СИИ.

3.1.5.1 Документация от изготовителя

Указывается состав документации, предъявляемой на ТИ, а также специальные требования, если они заданы в техническом задании на СИИ.

3.1.5.2 Оформление результатов технических испытаний

Результаты проведенных испытаний необходимо оформлять в виде протокола и акта испытаний (в случае отсутствия иных требований к оформлению, установленных на законодательном уровне).

Протокол испытаний должен содержать следующую информацию:

• название СИИ;
• наименование и адрес проведения ТИ;
• наименование и контактные данные изготовителя;
• указание методик, в соответствии с которыми проводились испытания, обработка и оценка результатов;
• условия проведения испытаний;
• описание, однозначную идентификацию СИИ;
• даты проведения ТИ, составления протокола ТИ;
• результаты, где это применимо, с единицами измерения;
• дополнения, отклонения от методики ТИ;
• выводы о результатах испытаний и соответствии СИИ документации изготовителя СИИ;
• идентификацию лиц(а), утвердивших(его) протокол ТИ;
• однозначную идентификацию результатов, полученных от внешних поставщиков (при их наличии).

БИБЛИОГРАФИЯ

[1]	Постановление Правительства Российской Федерации от 27 декабря 2012 г. № 1416 «Об утверждении Правил государственной регистрации медицинских изделий»
[2]	IMDRF/SaMD WG/N41FINAL:2017/Software as a Medical Device (SaMD): Clinical Evaluation
[3]	Федеральный закон от 21 ноября 2011 г. № 323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации»
[4]	Федеральный закон от 26 июня 2008 г. № 102-ФЗ «Об обеспечении единства измерений»
[5]	Рекомендация Коллегии Евразийской экономической комиссии от 12 ноября 2018 г. № 25 «О Критериях отнесения продукции к медицинским изделиям в рамках Евразийского экономического союза»
[6]	IMDRF/SaMD WG/N10FINAL:2013/Software as a Medical Device (SaMD): Key Definitions
[7]	Приказ Министерства здравоохранения Российской Федерации от 9 января 2014 г. № 2н «Об утверждении Порядка проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий»
[8]	IMDRF/SaMD WG/N23FINAL:2015/Software as a Medical Device (SaMD): Application of Quality Management System

УДК 615.841:006.354	ОКС 11.040.01
Ключевые слова: система искусственного интеллекта, искусственный интеллект, клиническая медицина, технические испытания

---