ГОСТ Р 57700.18-2019. Национальный стандарт Российской Федерации. Высокопроизводительные вычислительные системы. Требования к тестовым программам приемочных испытаний

(утв. и введен в действие Приказом Росстандарта от 26.11.2019 № 1260-ст)

1 июня 2020 года

Предисловие

1 РАЗРАБОТАН Федеральным государственным унитарным предприятием «Всероссийский научно-исследовательский институт экспериментальной физики» (ФГУП «РФЯЦ-ВНИИЭФ»)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 700 «Математическое моделирование и высокопроизводительные вычислительные технологии»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2019 г. № 1260-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

1 Область применения

Настоящий стандарт определяет требования к номенклатуре и функциональности тестовых программ, применяемых при разработке высокопроизводительных вычислительных систем (ВВС), а также при проведении приемочных испытаний ВВС в соответствии с ГОСТ 34.601 с целью получения оценки работоспособности ВВС в целом и количественной оценки отдельных параметров.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ 34.601 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины, определения и сокращения

3.1 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1.1 высокопроизводительная вычислительная система; ВВС: Информационная многопроцессорная вычислительная система с распределенной памятью, обеспечивающая высокую суммарную производительность вычислений и состоящая из большого числа вычислительных узлов, файловых и инструментальных серверов, объединенных высокоскоростными каналами связи, и сетевых подсистем, обеспечивающих удаленные доступ, мониторинг и управление указанной системой.

3.1.2 тестовая программа: Компьютерная программа, предназначенная для оценки параметров ВВС.

3.2 Сокращения

В настоящем стандарте использованы следующие сокращения:

ВВС — высокопроизводительная вычислительная система;

ТП — тестовая программа;

ТЗ — техническое задание;

ПО — программное обеспечение;

ПО КМ — программное обеспечение компьютерного моделирования.

4 Классификация тестовых программ

4.1 Основной целью тестирования является общая оценка возможности эффективного применения ВВС для решения задач различного класса, характерных для организации-пользователя, а также подтверждение количественных характеристик ВВС, заявленных в ТЗ. Кроме того, тестовые программы используются в процессе разработки и наладки ВВС.

4.2 Эффективность применения ВВС в основном определяется оптимальным сочетанием производительности вычислительных устройств, коммуникационной подсистемы (эффективность распараллеливания), файловой подсистемы, а также работой систем планирования заданий, мониторинга и диагностики.

4.3 Тестирование ВВС включает в себя следующие направления:

• оценка эффективности применения ВВС в целом, а также оценка отдельных подсистем, компонент и параметров;
• оценка производительности ВВС в целом, а также отдельных вычислительных устройств в различных режимах на актуальных для организации-пользователя задачах и алгоритмах;
• оценка эффективности распараллеливания (возможности масштабирования) для задач различного класса с учетом особенностей алгоритмов распараллеливания;
• оценка надежности ВВС в целом и ее отдельных компонент при проведении расчетов характерных задач в различных режимах;
• оценка отдельных параметров коммуникационной подсистемы ВВС (максимальная и средняя скорость межпроцессорных обменов в зависимости от размера сообщения, бисекция и т.п.);
• оценка производительности файловой подсистемы ВВС;
• оценка работоспособности систем планирования заданий, мониторинга и диагностики.

4.4 Рассмотренный спектр направлений работ по тестированию ВВС определяет необходимость применения достаточно широкого набора тестов, начиная от системных до построенных на основе ПО КМ организации-пользователя.

По своему назначению и содержанию тесты разделяют на четыре группы:

• специальные тесты для количественной оценки отдельных компонент и характеристик ВВС;
• международные прикладные тесты для оценки производительности, эффективности распараллеливания, а также оценки отдельных параметров ВВС;
• методические прикладные тесты для оценки правильности функционирования, эффективности распараллеливания и производительности ВВС. Могут создаваться организацией — пользователем ВВС либо сторонней организацией;
• производственные тесты для оценки работоспособности и надежности ВВС на характерных для организации-пользователя задачах с использованием ПО КМ. Могут создаваться организацией — пользователем ВВС либо сторонней организацией.

5 Требования к тестовым программам

5.1 Специальные ТП должны:

• обеспечивать оценку основных количественных характеристик аппаратно-программного обеспечения ВВС (производительность вычислительных устройств, памяти, файловой подсистемы, коммуникационной подсистемы и т.п.), соответствующих описанию ТП;
• являться свободно распространяемыми с открытым исходным кодом;
• содержать описание функциональных возможностей и инструкцию по применению;
• быть общепризнанными на мировом уровне;
• быть доступным для большого числа разного по архитектуре аппаратно-программного обеспечения (переносимость).

Пример — Stream [1], IOR [2], b_eff [3], HPCG [4].

5.2 Международные прикладные ТП должны:

• содержать актуальные алгоритмы моделирования физических процессов и методы распараллеливания (соответствуют вычислительным алгоритмам прикладных методик зарубежной разработки);
• являться свободно распространяемыми с открытым исходным кодом;
• содержать описание функциональных возможностей и инструкцию по применению;
• быть общепризнанными на мировом уровне;
• обеспечивать оценку правильности функционирования ВВС;
• обеспечивать оценку производительности ВВС, выраженную в количестве операций с плавающей запятой в секунду либо в других единицах;
• позволять использовать все вычислительные ресурсы вычислительного узла и ВВС в целом.

Пример — NPB [5].

5.3 Методические прикладные ТП должны:

• содержать численные алгоритмы моделирования физических процессов и методы распараллеливания, характерные для ПО КМ организации — пользователя ВВС;
• быть доступными вместе с исходными текстами;
• содержать описание функциональных возможностей и инструкцию по применению;
• обеспечивать оценку правильности функционирования ВВС;
• обеспечивать оценку производительности ВВС, выраженную в количестве операций с плавающей запятой в секунду либо в других единицах;
• обеспечивать оценку эффективности распараллеливания ВВС методом слабого масштабирования;
• позволять использовать все вычислительные ресурсы вычислительного узла и ВВС в целом;
• обеспечивать возможность изменения параметров для оптимальной адаптации к аппаратному и системному ПО тестируемой ВВС.

5.4 Производственные ТП должны:

• являться образцами ПО КМ организации — пользователя ВВС (в том числе могут быть коммерческим ПО);
• содержать описание функциональных возможностей и инструкцию по применению;
• обеспечивать оценку правильности функционирования ВВС на задачах, характерных для организации — пользователя ВВС.

БИБЛИОГРАФИЯ

[1]	Информация о Stream [Электронный ресурс] http://reality.sgi.com/employees/mccalpin_asd
[2]	Информация о IOR [Электронный ресурс] https://githab.com/VI4IO/io-500-dev
[3]	Информация о b_eff [Электронный ресурс] www.hlrs.de/mpi/b_eff
[4]	Информация о HPCG [Электронный ресурс] www.hpcg-benchmark.org
[5]	Информация о NPB [Электронный ресурс] http://www.nas.nasa.gov/Software/NPB/

УДК 001.4:004:006.354	ОКС 01.040.01, 07.020, 07.030
Ключевые слова: компьютерное моделирование физических процессов, программное обеспечение, производительность, эффективность распараллеливания

---