ГОСТ Р 57700.25-2020. Национальный стандарт Российской Федерации. Компьютерные модели и моделирование. Процедуры валидации
(утв. и введен в действие Приказом Росстандарта от 13.11.2020 № 1076-ст)
Примечание
Документ введен в действие с 01.06.2021.
Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 13 ноября 2020 г. № 1076-ст
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
КОМПЬЮТЕРНЫЕ МОДЕЛИ И МОДЕЛИРОВАНИЕ
Computer models and simulation. Validation procedures
07.020,
07.030
Дата введения 1 июня 2021 года
Предисловие
1 РАЗРАБОТАН Федеральным государственным унитарным предприятием «Российский федеральный ядерный центр — Всероссийский научно-исследовательский институт экспериментальной физики» (ФГУП «РФЯЦ-ВНИИЭФ»)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 700 «Математическое моделирование и высокопроизводительные вычислительные технологии»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 13 ноября 2020 г. № 1076-ст
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
Введение
В связи с развитием современных информационных технологий расширяется использование возможностей компьютерного моделирования при решении задач разработки, производства и эксплуатации высокотехнологичных изделий. Компьютерные модели становятся одной из форм представления результатов научно-исследовательской и проектно-конструкторской деятельности.
Для компьютерных моделей, использующихся в виртуальных экспериментах, обязательно должна проводиться проверка адекватности модели реальным объектам (валидация). Объектом стандартизации настоящего стандарта являются процедуры валидации компьютерных моделей.
Настоящий стандарт разработан в развитие норм, определенных в ГОСТ Р 57700.23 и ГОСТ Р 57700.24.
1 Область применения
Настоящий стандарт устанавливает требования к процедурам валидации физико-механических и физико-химических компьютерных моделей и рекомендуется при организации процедур подтверждения соответствия результатов компьютерного моделирования объектам реального мира.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 50779.0 Статистические методы. Основные положения
ГОСТ Р 57188 Численное моделирование физических процессов. Термины и определения
ГОСТ Р 57700.1 Численное моделирование для разработки и сдачи в эксплуатацию высокотехнологичных промышленных изделий. Сертификация программного обеспечения. Требования
ГОСТ Р 57700.2 Численное моделирование для разработки и сдачи в эксплуатацию высокотехнологичных промышленных изделий. Сертификация программного обеспечения. Общие положения
ГОСТ Р 57700.23 Компьютерные модели и моделирование. Валидация. Общие положения
ГОСТ Р 57700.24 Компьютерные модели и моделирование. Валидационный базис
ГОСТ Р МЭК 61508-4 Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 4. Термины и определения
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины, определения и сокращения
3.1 В настоящем стандарте применены термины по ГОСТ Р 57188, ГОСТ Р МЭК 61508-4, а также следующие термины с соответствующими определениями:
| валидационный базис: Упорядоченная система данных, содержащая результаты натурных экспериментов и результаты компьютерного моделирования, которые позволяют доказать с заданной точностью соответствие компьютерной модели или программного обеспечения компьютерного моделирования объекту моделирования. [ГОСТ Р 57700.24-2020, статья 3.1.4] |
|---|
| верификация ПО КМ: Процесс определения соответствия ПО КМ (компьютерной модели, программы) математической модели. Верификация обеспечивает обоснование того, что ПО КМ при определенных параметрах рассчитывает математическую модель правильно и с соответствующей точностью. [ГОСТ Р 57700.2-2017, статья 3.1.3] |
|---|
3.1.3 заказчик: Юридическое лицо, по заявке или договору, с которым производится разработка (модернизация) продукции (изделий).
| компьютерная модель (электронная модель): Модель, выполненная в компьютерной (вычислительной) среде и представляющая собой совокупность данных и программного кода, необходимого для работы с данными. [ГОСТ Р 57412-2017, статья 3.1.7] |
|---|
| метрика (metric): Стандарт измерения, который определяет условия и правила для проведения измерений и понимания результатов измерения. Примечания 1 Метрика реализует отдельную абстрактную концепцию измерений. 2 На практике метрика должна применяться в определенном контексте, требующем измерения определенных свойств в заданный(е) момент(ы) времени для конкретного показателя. [ГОСТ Р ИСО/МЭК 19086-1-2019, статья 3.10] |
|---|
3.1.6 натурный эксперимент: Научно-поставленный опыт над изделием или его составными частями, который проводится на реальных объектах и в условиях, соответствующих условиям его эксплуатации по прямому назначению с непосредственным оцениванием или контролем определяемых характеристик свойств объекта.
| неопределенность: Параметр, связанный с результатом измерений или испытаний, характеризующий рассеяние значений, которые могут быть обоснованно приписаны измеряемой величине или характеристике, исследуемой в процессе испытаний. Примечания 1 Данное определение согласовано с определением, представленным в VIM, но отличается от него включением характеристики, исследуемой в процессе испытаний. 2 «Параметр» определен в ИСО 3534-1. Параметром может быть, например, стандартное отклонение или кратная ему величина. 3 Неопределенность результатов измерений или испытаний обычно включает много составляющих. Некоторые из них могут быть получены на основе статистического распределения результатов серий измерений и охарактеризованы в терминах стандартных отклонений. Другие составляющие, которые также могут быть охарактеризованы в терминах стандартных отклонений, вычисляют на основе предполагаемого распределения выбранного на основе опыта или другой информации. 4 Составляющие неопределенности включают составляющие, возникающие вследствие систематических воздействий, связанных с поправками и рекомендуемыми стандартами, которые вносят свой вклад в рассеяние результатов. 5 Неопределенность отличают от оценки, связанной с результатами испытаний или измерений, характеризующей диапазон значений, которое накрывает математическое ожидание. Такая оценка является мерой прецизионности, а не точности, и должна быть использована только, если истинное значение не определено. Когда вместо истинного значения используют математическое ожидание, употребляют выражение «случайная составляющая неопределенности». [ГОСТ Р ИСО 3534-2-2019, статья 3.4.5] |
|---|
| объект моделирования: Явление, объект или свойство объекта реального мира. [ГОСТ Р 57412-2017, статья 3.1.2] |
|---|
| программное обеспечение компьютерного моделирования; ПО КМ: Программы, выполняющие математические расчеты, и программы, предназначенные для подготовки исходных данных, обработки результатов расчета, а также другие вспомогательные программы. Программное обеспечение компьютерного моделирования не является программным обеспечением средств измерений согласно ГОСТ Р 8.654. [ГОСТ Р 57700.2-2017, статья 3.1.1] |
|---|
Примечание - Программное обеспечение компьютерного моделирования с точки зрения применения является более общим понятием по сравнению с компьютерной моделью, поскольку позволяет моделировать различные объекты моделирования, а также содержит в своем составе реализацию сервисных (по отношению к компьютерной модели) функций.
3.1.10 организация-разработчик; разработчик: Предприятие (организация, объединение, юридическое лицо), осуществляющее разработку продукции в установленном порядке.
3.1.11 система линейных алгебраических уравнений; СЛАУ: Система уравнений, каждое уравнение в которой является линейным — алгебраическим уравнением первой степени.
3.1.12 численная погрешность (погрешность численного решения): Разница между результатом соответствующего эксперимента или результатом эталонного решения и численным решением системы уравнений математической модели для заданного набора начальных и граничных условий.
3.1.13 экспериментальная погрешность: Снижение точности измерений в результате натурного эксперимента, обусловленная случайной (статистической) и систематической ошибками.
3.2 В настоящем стандарте применены следующие сокращения:
ПО КМ — программное обеспечение компьютерного моделирования;
4 Общие положения
4.1 В результате выполнения процедур валидации КМ определяется, насколько точно созданная КМ воспроизводит физическую действительность (ОМ) в области ее предполагаемого применения, путем определения границы области применимости численного моделирования.
4.2 Валидация КМ осуществляется в три этапа:
- формирование валидационного базиса;
- проведение валидационного сравнения;
- комиссионная оценка соответствия КМ ОМ.
4.3 ВБ КМ на первом этапе валидации формируется по ГОСТ Р 57700.24.
4.4 Результаты второго этапа валидации КМ оформляются в виде отчета о валидации КМ по ГОСТ Р 57700.23.
4.5 В ходе выполнения третьего этапа валидации КМ должна быть проведена комиссионная оценка соответствия КМ ОМ и выпущен акт о валидации КМ.
4.6 Валидация КМ выполняется с использованием ПО КМ.
4.7 ПО КМ, применяемое для разработки КМ, должно пройти верификацию и валидацию. Результаты верификации и валидации должны соответствовать требованиям ГОСТ Р 57700.1 и ГОСТ Р 57700.2 или нормативным документам уполномоченных регулирующих органов.
4.8 КМ, представляемая для валидации, предварительно должна пройти процедуру верификации.
1 Проверка сходимости итерационного процесса.
2 Проверка достаточной степени подробности сеточной дискретизации.
4.9 Результаты валидации дают выводы о точности КМ только для случаев, определенных при валидационном сравнении. При изменении КМ должна быть проведена повторная валидация.
4.9.1 Допускается не проводить повторную валидацию измененной КМ, в случае если изменения не касаются величин и характеристик, существенных для исследуемого ОМ, а также параметров и требований к КМ и ПО КМ для моделирования, включенные в ВБ.
4.9.2 Заключение об отсутствии необходимости проведения повторной валидации КМ выпускается экспертной комиссией, порядок работы которой определяется по 5.12 - 5.25.
4.10 Результаты валидации КМ также включаются в ВБ и могут применяться при валидации других КМ.
5 Порядок выполнения
5.1 Первый этап валидации КМ заключается в формировании ВБ. В ходе данного этапа разработчик по согласованию с заказчиком должен:
- определить величины и характеристики, существенные для исследуемого ОМ;
- подготовить параметры и требования к КМ и ПО КМ для моделирования;
- выбрать метрики соответствия для оценки различия результатов моделирования и эталонных решений;
- определить обоснованные погрешности моделирования.
5.2 Для получения адекватных результатов моделирования параметры КМ, а также параметры ПО КМ должны быть настроены на процессы, характерные для рассматриваемого ОМ, в соответствии с ВБ.
1 В качестве параметров КМ могут быть рассмотрены, например, эмпирические величины в модели турбулентности, дискретизация по пространственным переменным.
2 В качестве параметров ПО КМ могут быть представлены, например, точность решения СЛАУ.
5.3 В качестве метрики соответствия для сравнительного анализа результатов моделирования с эталонным решением могут выбираться различные функционалы, получаемые, в том числе, с использованием методов статистического анализа согласно ГОСТ Р 50779.0.
Пример - Относительная погрешность, среднеквадратичное отклонение.
5.4 Выбор метрики сравнения результатов моделирования с эталонными решениями, а также критерия успешности валидации в целом определяется для конкретной КМ в соответствии с требованиями к ее последующему применению, значимости результатов моделирования, экономических соображений и т.п.
5.5 Метрика соответствия результатов моделирования и эталонных решений вычисляется на основе результатов количественной оценки численной погрешности и неопределенности в соответствии с требованиями системы национальных стандартов «Статистические методы». Рекомендации по оценке численной погрешности и неопределенности приведены в приложении А.
5.6 В общем случае в качестве критерия успешной валидации КМ должны выступать результаты анализа полученных в процессе моделирования метрик соответствия, которые учитывают все ошибки и неопределенности, в том числе с использованием методов статистического анализа.
5.7 Второй этап валидации КМ должен включать в себя следующие мероприятия:
- разработка программы и методики валидации;
- проверка КМ на соответствие требованиям ВБ;
- выполнение моделирования с КМ;
- анализ результатов численного моделирования на соответствие ВБ.
5.8 Выполнение работ второго этапа проводится по программе и методике валидации, разрабатываемой и утверждаемой разработчиком, по согласованию с заказчиком. Требования к программе и методике валидации КМ устанавливаются в нормативной документации разработчика.
5.9 В ходе выполнения анализа результатов моделирования должны быть проанализированы режимы и характеристики смоделированных физических процессов, диапазоны физических величин на соответствие режимам и диапазонам, обоснованным в ВБ.
5.10 Для оптимизации процесса анализа в качестве критерия соответствия КМ ОМ может быть определена количественная мера, выраженная в виде математического выражения и вычисляемая на основе метрик соответствия, с учетом численной оценки погрешностей и неопределенностей.
5.11 Результаты второго этапа валидации КМ разработчик представляет в виде отчета о валидации КМ по ГОСТ Р 57700.23.
Отчет оформляется в двух экземплярах, один из которых остается у разработчика, второй предоставляется комиссии на третьем этапе валидации.
5.12 На третьем этапе разработчик по согласованию с заказчиком создает экспертную комиссию и разрабатывает программу ее работы.
5.13 В программе работы экспертной комиссии должны быть указаны:
- задачи, стоящие перед экспертной комиссией, а также ее права и обязанности;
- порядок работы экспертной комиссии и перечень проводимых работ (исследований);
- сроки проведения работ (исследований).
5.14 В состав экспертной комиссии включают представителей разработчика, заказчика и эксплуатирующей организации (при наличии). При необходимости в состав экспертной комиссии могут быть включены эксперты от других организаций.
5.15 Экспертная комиссия отвечает за полноту, достоверность и объективность оценки полученных результатов.
5.16 Для проведения третьего этапа валидации разработчик предоставляет экспертной комиссии отчет о валидации КМ. Экспертная комиссия имеет право затребовать дополнительные документы для обеспечения полноты проводимой экспертизы.
5.17 Результаты работы экспертной комиссии фиксируются в заключении, оформляемом в виде акта о валидации КМ, в который при необходимости должен быть включен перечень требуемых изменений КМ.
5.18 Перечень может содержать следующие рекомендации:
- устранить ошибки в постановке задачи моделирования;
- исправить методические ошибки в математической модели;
- уточнить параметры КМ и/или ВБ;
- изменить метод расчета характеристик;
- разработать более детализированную математическую модель;
- изменить КМ и/или ВБ.
5.19 В зависимости от выявленных несоответствий КМ ОМ перечень предлагаемых изменений может быть уточнен. Каждое из предлагаемых изменений должно быть обосновано и детально описано.
5.20 В акте о валидации КМ также могут быть отражены рекомендации по включению КМ и результатов ее валидации в ВБ, формируемый по ГОСТ Р 57700.24, для обеспечения дальнейшего использования.
5.21 Акт о валидации КМ подписывают члены экспертной комиссии и утверждает руководитель организации-разработчика. Акт о валидации КМ составляется не менее чем в двух экземплярах, один из которых остается у разработчика, а второй направляется заказчику.
5.22 В случае выявления по результатам экспертизы несоответствия КМ ОМ, необходимо выполнить корректировку КМ и/или ВБ и повторно провести процедуру валидации КМ.
5.23 При повторном прохождении второго этапа разработчик должен дополнить отчет о валидации КМ результатами реализации рекомендаций экспертной комиссии.
5.24 В обоснованных случаях при повторной оценке соответствия КМ ОМ допускается рассматривать только результаты реализации рекомендаций экспертной комиссии.
5.25 В обоснованных случаях экспертной комиссией может быть принято решение об отказе от дальнейшего применения данной КМ при разработке изделия.
ПОГРЕШНОСТЬ ВАЛИДАЦИИ И НЕОПРЕДЕЛЕННОСТЬ
Если u — произвольная мера отклика системы, которая вычисляется и измеряется экспериментально, то \Delta — разность между истинным значением величины unature и численным результатом udiscrete.
\Delta = (u_{nature} - u_{discrete}) . (1)
Данную формулу можно представить в виде
\Delta = (u_{nature} - u_{exp}) + (u_{exp} - u_{exact}) + (u_{exact} - u_{discrete}) , (2)
где uexp — значение, измеренное экспериментально;
uexact — аналитическое решение системы уравнений математической модели для заданного набора начальных и граничных условий;
udiscrete — численное решение дискретной аппроксимации данных уравнений при тех же условиях, полученное с использованием конкретного кода на вычислительной машине.
Формулу (2) можно представить следующим образом:
\Delta = E_{1} + E_{2} + E_{3} , (3)
Слагаемое E1 представляет собой ошибку, возникающую в процессе экспериментального измерения физического параметра.
Слагаемое E2 называют ошибкой моделирования. Оно учитывает все ошибки и неопределенности, возникающие при попытке описать экспериментально воспроизводимое явление с помощью системы дифференциальных уравнений в частных производных. В E2 также входят набор граничных и начальных условий, и другие параметры, необходимые для моделирования соответствующего эксперимента.
Слагаемое E3 представляет собой погрешность численного решения.