ГОСТ Р 72356-2025. Национальный стандарт Российской Федерации. Системы прогнозной аналитики на основе искусственного интеллекта в клинической медицине для анализа электронных медицинских карт. Методы испытаний. Общие требования

(утв. и введен в действие Приказом Росстандарта от 29.10.2025 № 1300-ст)

от 29 октября 2025 г. № 1300-ст

Предисловие

1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (ГБУЗ «НПКЦ ДиТ ДЗМ»)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 29 октября 2025 г. № 1300-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Создание и внедрение систем прогнозной аналитики на основе технологий искусственного интеллекта является одной из уникальных возможностей, возникающих в результате цифровой трансформации здравоохранения (см. [1], [2]).

Основной задачей создания и внедрения систем прогнозной аналитики на основе технологий искусственного интеллекта является поиск значимых закономерностей и тенденций в медицинских данных, которые способны помочь врачам и специалистам в области организации здравоохранения заранее выявлять возможные риски для здоровья, предвидеть возникновение заболеваний и предсказывать, как пациенты могут реагировать на различные методы лечения (см. [3], [4]).

В эпоху персонализированной медицины прогнозные алгоритмы используются для принятия клинических решений на основе индивидуальных характеристик пациента (а не на средних показателях по популяции) и для консультирования пациентов (см. [5]).

Качество, эффективность и безопасность использования систем прогнозной аналитики на основе технологий искусственного интеллекта зависит от множества факторов, включая качество и достоверность исходных данных, используемых как для работы алгоритмов и моделей машинного обучения, так и в процессах создания и тестирования систем прогнозной аналитики на основе искусственного интеллекта (см. [6], [7]).

1 Область применения

Настоящий стандарт устанавливает требования к испытаниям систем прогнозной аналитики в части:

• описания анализа электронных медицинских карт, которые могут являться одним из источников исторических данных для обучения, тестирования и работы систем прогнозной аналитики;
• методов испытаний систем прогнозной аналитики;
• общих подходов к оценке метрик качества работы систем прогнозной аналитики.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 59921.0 Системы искусственного интеллекта в клинической медицине. Основные положения

ГОСТ Р 59921.5 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов

ГОСТ Р 59921.11-2025 Системы искусственного интеллекта в клинической медицине. Наборы данных для тестирования алгоритмов. Методы контроля набора данных на универсальность и структурированность

ГОСТ Р 72313-2025 Системы поддержки принятия врачебных решений с применением искусственного интеллекта для извлечения данных из неструктурированных медицинских записей. Методы формирования набора данных для обучения и тестирования. Метрики оценки качества

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р 59921.0, а также следующие термины с соответствующими определениями:

3.1

данные: Предоставление информации в формальном виде, пригодном для передачи, интерпретации или обработки людьми или компьютерами. [ГОСТ 33707-2016, пункт 4.259]

3.2 жизненный цикл: Развитие системы, продукции, услуги, проекта или другой создаваемой человеком сущности от замысла до списания.

3.3

искусственный интеллект: Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Примечание — Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе, в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений. [ГОСТ Р 59277-2020, пункт 3.18]

3.4

машинное обучение: Процесс автоматического обучения и совершенствования поведения системы искусственного интеллекта на основе обработки массива обучающих данных без явного программирования. [ГОСТ Р 59895-2021, пункт 2.1.7]

3.5

метрика (в подходах к качеству): Материальная мера некоторых аспектов характеристик качества. Примечания 1 Другими словами, это способ назначения определенного значения с использованием методов измерения или тестирования для количественной оценки объекта качества с точки зрения таких характеристик качества, как шкала, критерий, степень, вес, магнитуда, отношение или утвержденная норма и т.д. 2 В [1] <1> «материальная мера» определяется как устройство, постоянно воспроизводящее или поставляющее во время своего использования количество заданных видов, каждое с назначенным значением. 3 Допускается применение синонима «метрика качества» для унификации с другими терминами и определениями настоящего стандарта. [Адаптировано из ГОСТ Р 54837-2011, пункт 4.4]

---

<1> Руководство ИСО/МЭК 99:2007, Международный словарь по метрологии. Основные и общие понятия и соответствующие термины (VIM) [International vocabulary of metrology — Basic and general concepts and associate terms (VIM)]

3.6

модель прогнозирования: Конечное упорядоченное множество точно определенных правил для решения задач в системах прогнозной аналитики в сфере здравоохранения на основе искусственного интеллекта. Примечание — Модель прогнозирования может быть представлена моделью машинного обучения, математической моделью (формулой), последовательностью инструкций по обработке входных данных или иной программной реализацией. Данное определение основано на определении «алгоритма», предусмотренного ГОСТ Р 33707-2016, пункт 4.39 <1>. [ГОСТ Р 71672-2024, пункт 3.5]

---

<1> ГОСТ 33707-2016 (ISO/IEC 2382:2015) «Информационные технологии. Словарь».

3.7

набор данных; НД: Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимых для разработки программного обеспечения на основе искусственного интеллекта. Примечание — Слово «необходимости» заменено на «необходимых» для унификации с другими терминами и определениями настоящего стандарта. [Адаптировано из ГОСТ Р 59921.4-2021, пункт 3.5]

3.8

прогнозная аналитика в сфере здравоохранения: Комплекс технологических решений, позволяющий анализировать исторические данные для получения прогнозов, используемых в организации работы системы здравоохранения. [ГОСТ Р 71672-2024, пункт 3.3]

3.9

программное обеспечение (программа; программное средство): Упорядоченная последовательность инструкций (кодов) для вычислительного средства, находящаяся в памяти этого средства и представляющая собой описание алгоритма управления вычислительными средствами и действий с данными. [ГОСТ Р 53622-2009, пункт 3.8]

3.10

система прогнозной аналитики в сфере здравоохранения на основе искусственного интеллекта: Программное и информационное обеспечение, позволяющие внедрить и применять автоматизированное получение прогнозной аналитики в сфере здравоохранения, в том числе созданное и/или работающее с использованием технологий искусственного интеллекта. [ГОСТ Р 71672-2024, пункт 3.4]

4 Сокращения

В настоящем стандарте применены следующие сокращения:

ИИ — искусственный интеллект;

ПЦПР — прогностическая ценность положительного результата;

ПЦОР — прогностическая ценность отрицательного результата;

СПА на основе ИИ — система прогнозной аналитики на основе технологий искусственного интеллекта;

ЭМК — электронные медицинские карты;

AUC ROC — площадь под характеристической кривой (Area under the Receiver Operating Characteristic Curve);

MAE — средняя абсолютная ошибка (Mean Absolute Error);

MAPE — средняя абсолютная ошибка в процентах (Mean Absolute Percentage Error).

5 Анализ электронных медицинских карт

5.1 Системы ведения ЭМК могут выступать одним из важных источников исторических данных для обучения, тестирования и работы СПА на основе ИИ.

5.2 Анализ ЭМК для работы СПА на основе ИИ может осуществляться путем:

• обработки неструктурированных медицинских записей, входящих в ЭМК, в т.ч. с использованием технологий обработки естественного языка;
• обработки структурированных данных, полученных из систем ведения ЭМК;
• обработки структурированных данных, предварительно извлеченных из неструктурированных медицинских записей;
• комбинированного подхода.

5.3 Для сбора и извлечения данных из систем ведения ЭМК целесообразно использовать подходы и учитывать требования, предусмотренные в ГОСТ Р 72313-2025 (раздел 5).

5.4 ЭМК могут содержать следующие данные, необходимые для работы СПА на основе ИИ:

• данные о здоровье пациента, необходимые для работы алгоритмов персонального прогнозирования и оценки рисков;
• данные о назначенных и выполненных медицинских услугах, необходимые для персонального и популяционного прогнозирования спроса в медицинских изделиях, расходных материалах, кадровом обеспечении и иных ресурсах, необходимых для выполнения назначений;
• данные о лекарственной терапии, необходимые для прогнозирования потребности в лекарственных средствах, включая управление цепочками поставок;
• данные об оплате медицинской помощи, необходимые для прогнозирования финансово-экономических показателей работы медицинских организаций и системы здравоохранения в целом;
• данные о записях к врачу и регистрации пациентов в листах ожидания, необходимые для прогнозирования потребности и управления расписаниями работы врачей;
• данные из свидетельств о смерти, необходимые для прогнозирования смертности;
• прочие данные.

6 Методы испытаний систем прогнозной аналитики

6.1 Общие требования к испытаниям

6.1.1 Основная задача испытаний СПА на основе ИИ состоит в проверке достижения метрик качества работы моделей прогнозирования, предусмотренных техническим заданием на разработку системы.

6.1.2 Если в состав СПА на основе ИИ входит несколько моделей прогнозирования, испытания проводят для каждой из них в отдельности. Если СПА на основе ИИ использует одну модель, то испытание может быть проведено в целом для всей СПА на основе ИИ, а не только отдельно для модели.

6.1.3 Испытания моделей прогнозирования и СПА на основе ИИ должен осуществлять подготовленный персонал, имеющий представление как о методологических основах проведения научных исследований, используемых методах и показателях качества работы конкретного решения, так и общее представление о предназначении и особенностях реализации тестируемой СПА на основе ИИ.

6.1.4 Испытание модели прогнозирования может быть выполнено в следующих видах:

• ретроспективное испытание [в этом случае НД для испытаний готовится из имеющихся исторических данных и затем применяется для оценки испытуемым решением, сохранением полученных ответов модели прогнозирования, сравнением ответов с целевыми (исходными) событиями и последующим анализом (сравнением) полученных данных];
• проспективное испытание (в этом случае исходные данные, необходимые для оценки с точки зрения прогнозной аналитики, отправляются для анализа в СПА на основе ИИ во время эксплуатации, полученные ответы сохраняются в специальной базе данных, а затем происходит наблюдение в течение периода прогнозирования для получения реального целевого события; накопленные таким образом данные сравниваются и анализируются на предмет оценки точности работы СПА на основе ИИ в целом и/или модели прогнозирования в частности).

6.2 Требования к ретроспективному испытанию

В общем виде ретроспективное испытание модели прогнозирования, используемой в СПА на основе ИИ, включает следующие этапы:

а) разработка требований к испытанию, включая требования к НД.

Необходимо оформить программу испытания, включая цель испытания, описание модели прогнозирования, метрики качества работы модели и их целевые уровни, критерии оценки метрик. В обязательном порядке указываются требования к НД: формат файлов, состав полей (атрибутов, входных признаков) набора, их описание и возможные ограничения, требования к полноте и обязательности полей набора, требования к числу записей НД, включая требования к числу записей различных классов или видов целевого события;

б) подготовка набора исторических данных для проведения испытания.

Для этого используется соответствующая информационная система или база данных источника исторических данных, из которой в соответствии с протоколом испытаний формируется соответствующий набор;

в) статистический анализ набора и контроль качества, включая оценку набора на соответствие предъявленным требованиям, выявление аномалий и ошибок данных, выявление пропусков в данных.

На данном этапе должно быть принято решение — соответствует ли полученный НД предъявленным к нему требованиям. Если НД содержит недопустимые нарушения требований программы испытания, он не может быть использован для проведения испытания. В этом случае требуется его повторное создание;

г) испытание.

В этом случае каждая запись из НД отправляется для интерпретации в модель прогнозирования, которая осуществляет обработку данных и возвращает результат прогнозирования. Полученный результат сохраняется в НД. Далее истинные значения целевого события сравниваются с полученными от модели результатами, рассчитываются метрики качества работы модели;

д) оценка и принятие решения по результатам испытания.

На основе полученных метрик формируется отчет об испытании, в котором кратко излагаются цели и задачи испытания, описывается использованный НД для испытания, а также приводятся достигнутые метрики. На основании сравнения полученных метрик с исходными значениями, указанными в программе испытания, выносится решение об успешности или неуспешности проведенного испытания.

6.3 Требования к формированию наборов данных для ретроспективных испытаний

6.3.1 Подготовку НД выполняют по ГОСТ Р 59921.5.

6.3.2 Ответственность за формирование НД, а также его соответствие предъявленным требованиям несет организация, проводящая испытание. В зависимости от вида испытания это может быть:

• организация-разработчик СПА на основе ИИ и/или модели прогнозирования.

Примечание - В этом случае испытание модели является внутренней проверкой (тестированием) модели в рамках этапа разработки СПА на основе ИИ. При создании НД для внутренней проверки (тестирования) допускается использование записей из общего НД, подготовленного для создания модели прогнозирования. В этом случае записи, включенные в НД для внутренней проверки, исключают из НД, использованного для машинного обучения;

• внешняя независимая организация, например научно-исследовательский центр, уполномоченная заказчиком организация и т.д. — в этом случае испытание является внешним по отношению к организации-разработчику, записи НД для испытаний не должны содержать записи, использованные в машинном обучении алгоритма (обучающий НД).

6.3.3 При подготовке НД для испытаний учитывают требования ГОСТ Р 59921.11-2025 (пункт 5.2.2). Основным является определение числа записей НД, необходимого и достаточного для формирования надежных выводов о качестве (точности) работы модели прогнозирования. Минимально необходимое число записей НД для испытаний определяет и обосновывает организация, проводящая испытания, при этом должны быть учтены положения [8].

6.3.4 При подготовке НД должна быть обеспечена репрезентативность выборки, а также соответствие половозрастного состава и других критериев и характеристик прогнозной модели и НД, предусмотренных программой испытаний.

6.3.5 В случае если СПА на основе ИИ предназначена для применения в условиях одной медицинской организации, достаточно формирования НД для испытаний на основе данных этой организации.

6.3.6 В случае если СПА на основе ИИ предназначена для применения на национальном уровне или в условиях ограниченного круга медицинских организаций (например, в условиях субъекта Российской Федерации, в условиях сети медицинских организаций, входящих в единую систему и т.д.), НД для испытания модели прогнозирования должны быть собраны таким образом, чтобы в них были представлены примеры данных, репрезентативные для всех условий применения СПА на основе ИИ. В частности, записи НД должны быть релевантны генеральной совокупности по половозрастному составу. В НД должны быть включены примеры данных из всех используемых программных продуктов для накопления исторических данных, примеры данных со всеми способами и форматами внесения записей и т.д.

6.4 Требования к проспективному испытанию

В общем виде проспективное испытание модели прогнозирования, используемой в СПА на основе ИИ, включает следующие этапы:

а) разработка требований к испытанию.

Должна быть оформлена программа испытания, в которой заранее указывают все необходимые критерии испытания, включая цель испытания, описание модели прогнозирования, метрики качества работы модели и их целевые уровни, критерии оценки метрик, длительность проведения испытания, характер испытания (наблюдательное, рандомизированное, многоцентровое или одноцентровое и т.д.). В обязательном порядке указывают требования к данным, которые будут использованы для работы модели прогнозирования — состав полей (атрибутов, входных признаков) модели, их описание и возможные ограничения, требования к полноте и обязательности полей набора, требования к минимально достаточному количеству данных (случаев применения), которое необходимо для последующей оценки полученных метрик качества. При этом минимально достаточное количество случаев применения модели должно быть рассчитано с учетом положений [8];

б) определение способа ввода данных в испытуемую СПА на основе ИИ. Возможно применение:

1. ручного ввода данных (в этом случае в испытуемой СПА на основе ИИ или модели прогнозирования должен быть создан пользовательский интерфейс для ввода данных и получения результата работы модели),

2. автоматического ввода данных (в этом случае информационная система, которая будет использоваться в качестве источника данных для работы СПА на основе ИИ, должна быть интегрирована с соответствующей испытываемой системой);

в) на этапе проведения испытания в соответствии с программой испытания и в течение заданного периода испытания данные подаются для интерпретации в модель прогнозирования, которая осуществляет обработку данных и возвращает результат прогнозирования. Полученный результат сохраняется в специальной базе данных, разработанной (подготовленной) для целей испытания;

г) после окончания периода испытания осуществляется определение истинных значений целевого события. Для этого может быть выполнен анализ информационной системы (или ее базы данных), использованной для получения исходных для прогнозирования данных — по каждой записи (случаю) определяется, наступило ли целевое событие, результат этого определения записывается в базу данных испытаний;

д) расчет метрик качества работы модели прогнозирования.

После того, как по каждой записи в базе данных испытаний определено истинное значение целевого события, оно сравнивается с предсказанным моделью прогнозирования значением. Рассчитываются метрики качества работы модели;

е) оценка и принятие решения по результатам испытания.

На основе полученных метрик формируется отчет об испытании, в котором кратко излагаются цели и задачи испытания, описывается материал исследования (данные, накопленные в базе данных испытания), а также приводятся достигнутые значения метрик. На основании сравнения полученных метрик с исходными значениями, указанными в протоколе испытания, выносится решение об успешности или неуспешности проведенного испытания.

6.5 Требования к метрикам качества работы модели прогнозирования

6.5.1 Оценка качества работы модели прогнозирования в задачах классификации должна включать следующие обязательные метрики:

• чувствительность (sensitivity, Se, recall);
• специфичность (specificity, Sp);
• точность (accuracy).

6.5.2 Оценка качества работы модели прогнозирования в задачах регрессии должна включать следующие обязательные метрики:

• MAE, рассчитываемая как среднее по всем ошибкам (отклонениям);
• MAPE, рассчитываемая как средний процент отклонения от правильных ответов.

6.5.3 Дополнительно могут быть определены и оценены следующие метрики:

• площадь под характеристической кривой (AUC ROC);
• ПЦПР (positive predictive value, PPV, precision);
• ПЦОР (negative predictive value, NPV).

6.5.4 При определении метрик качества работы модели прогнозирования целесообразно использовать подходы и учитывать требования, предусмотренные ГОСТ Р 72313-2025 (раздел 7).

7 Фрагменты тестовых наборов данных (демонстрационные тестовые наборы данных)

Основной демонстрационный тестовый набор данных для ретроспективного испытания модели прогнозирования, содержащий примеры валидации прогнозной модели «Модель оценки риска госпитализации в течение 12 месяцев для пациентов с хронической сердечной недостаточностью», приведен в [9].

БИБЛИОГРАФИЯ

[1]	Zhang Z. Predictive analytics in the era of big data: opportunities and challenges//Ann Transl Med — 2020 — Feb8 — 4:68
[2]	Пугачев П.С., Гусев А.В., Кобякова О.С., Кадыров Ф.Н., Гаврилов Д.В., Новицкий Р.Э., Владзимирский А.В. Мировые тренды цифровой трансформации отрасли здравоохранения//Национальное здравоохранение. 2021. 2(2). С. 5 — 12
[3]	Карпов О.Э., Субботин С.А., Шишканов Д.В., Замятин М.Н. Цифровое здравоохранение. Необходимость и предпосылки//Врач и информационные технологии. 2017. № 3. — С. 6 — 22
[4]	Заболотная Н.В., Гатилова И.Н., Заболотный А.Т. Цифровизация здравоохранения: достижения и перспективы развития//Экономика. Информатика. 2020. — Т. 47, № 2. — С. 380 — 389
[5]	Дедов И.И., Тюльпаков А.Н., Чехонин В.П. [и др.] Персонализированная медицина: современное состояние и перспективы//Вестник Российской академии медицинских наук. 2012. — Т. 67, № 12. С. 4 — 12
[6]	Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. [и др.] Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. 2-е издание. — Москва: Общество с ограниченной ответственностью «Издательские решения», 2023. 388 с.
[7]	Гусев А.В., Зингерман Б.В., Тюфилин Д.С., Зинченко В.В. Электронные медицинские карты как источник данных реальной клинической практики. Реальная клиническая практика: данные и доказательства. 2022. 2(2). С. 8 — 20
[8]	ПНСТ 872-2023	Системы поддержки принятия врачебных решений с применением искусственного интеллекта. Методы клинических испытаний
[9]	Демонстрационный тестовый набор данных для испытания прогнозной модели/ГБУЗ «НПКЦ ДиТ ДЗМ». — М., 2024

УДК 615.841:006.354	ОКС 11.040.01
Ключевые слова: системы прогнозной аналитики, искусственный интеллект, методы испытаний

---