ГОСТ Р ИСО 10303-32-2002. Государственный стандарт Российской Федерации. Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 32. Методология и основы аттестационного тестирования. Требования к испытательным лабораториям и клиентам

(принят и введен в действие Постановлением Госстандарта России от 25.06.2002 № 250-ст)

Принят и введен в действие Постановлением Госстандарта России

ОКС 25.040.40

Предисловие

1 РАЗРАБОТАН Всероссийским научно-исследовательским институтом стандартизации (ВНИИстандарт)

2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 25 июня 2002 г. № 250-ст

3 Настоящий стандарт представляет собой полный аутентичный текст международного стандарта ИСО 10303-32-98 «Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 32. Методология и основы аттестационного тестирования. Требования к испытательным лабораториям и клиентам»

4 ВВЕДЕН ВПЕРВЫЕ

Введение

Стандарты серии ГОСТ Р ИСО 10303 распространяются на машинно-ориентированное представление данных об изделии и обмен этими данными. Целью является создание механизма, позволяющего описывать данные об изделии на протяжении всего жизненного цикла изделия независимо от конкретной системы. Характер такого описания делает его пригодным не только для обмена инвариантными файлами, но также и для создания баз данных об изделиях, коллективного пользования этими базами и архивирования соответствующих данных.

Серия ГОСТ Р ИСО 10303 представляет собой отдельно издаваемые стандарты (части), относящиеся к одной из следующих тематических групп: методы описания, интегрированные ресурсы, прикладные протоколы, комплекты абстрактных тестов, методы реализации и аттестационное тестирование. Части описаны в ГОСТ Р ИСО 10303-1. Настоящий стандарт входит в группу аттестационного тестирования.

Настоящий стандарт устанавливает конкретные методы (технологии) и средства, способствующие применению данных методов конкретной испытательной лабораторией или клиентом при аттестационном тестировании. Стандарт определяет роли конкретной испытательной лаборатории и клиента в процессе оценки соответствия, необходимость обеспечения взаимопонимания между этими сторонами и требования к каждой из сторон.

Основной целью стандартизации процесса оценки соответствия является обеспечение приемлемой и практичной степени сравнимости результатов аттестационного тестирования аналогичных изделий. Для реализации поставленной цели должны быть использованы стандартизованные тесты, а методы выбора и присвоения значений параметрам этих тестов должны быть одинаковыми. Конкретные виды представления результатов тестирования также должны быть одинаковыми.

Настоящий стандарт должен использоваться вместе с ГОСТ Р ИСО 10303-31.

Стандарт устанавливает требования к испытательной лаборатории и клиенту с целью обеспечения между ними согласованности при проведении аттестационного тестирования. Основными пользователями настоящего стандарта являются испытательные лаборатории и их клиенты.

Настоящий стандарт также может заинтересовать:

• реализаторов тестов, отвечающих за создание комплектов выполняемых тестов, процедур и выполняемых программных средств из стандартизованных комплектов абстрактных тестов и методов абстрактного тестирования;
• организации, отвечающие за аккредитацию испытательных лабораторий (см. приложение D к ГОСТ Р ИСО 10303-31);
• организации, отвечающие за выдачу сертификатов соответствия на основе отчетов об аттестационном тестировании, выпускаемых испытательными лабораториями;
• читателей отчетов об аттестационном тестировании.

В настоящем стандарте процесс оценки соответствия, в который вовлечены конкретная испытательная лаборатория и клиент, разделен на четыре фазы (стадии), установленные в 6.4 ГОСТ Р ИСО 10303-31. В разделах 5 - 8 - настоящего стандарта установлены требования к данным фазам.

Примечание - Основная часть стандарта дополнена следующими приложениями:

• A - описывающим идентификатор данного стандарта как информационного объекта;
• B - устанавливающим форму отчета об аттестационном тестировании;
• C - устанавливающим рекомендации по ЗСРП;
• D - содержащим рекомендации по проведению сертификации;
• E - содержащим пример формы отчета об аттестационном тестировании.

1 Область применения

Настоящий стандарт устанавливает конкретные методы (технологии) и средства, способствующие применению данных методов конкретной испытательной лабораторией или клиентом при аттестационном тестировании. Стандарт определяет роли конкретной испытательной лаборатории и клиента в процессе оценки соответствия, необходимость обеспечения взаимопонимания между этими сторонами и требования к каждой из сторон.

1.1 Обзор стандарта

Настоящий стандарт:

• устанавливает общие требования к испытательной лаборатории и клиенту, используемые в процессе оценки соответствия;
• определяет обмен между ними технической и административной (управленческой) информацией, включая заявку о соответствии реализации протоколу (ЗСРП) и дополнительную информацию о реализации протокола для тестирования (ДИРПТ);
• устанавливает процесс согласования между конкретной испытательной лабораторией и клиентом соглашения, определяющего:

a) тестируемую реализацию (ТР),

b) используемый метод абстрактного тестирования и комплект абстрактных тестов,

c) условия проведения аттестационного тестирования;

• устанавливает требования к структуре и содержанию отчета о тестировании, в котором документируются результаты аттестационного тестирования.

Настоящий стандарт не определяет:

• решения по техническим вопросам между клиентом и испытательной лабораторией, возникающим в процессе оценки соответствия;
• содержание диагностической информации, дополняющей журнал соответствия и отчет об аттестационном тестировании;
• любые аспекты, не связанные с аттестационным тестированием реализаций прикладных протоколов стандартов серии ГОСТ Р ИСО 10303;
• процессы сертификации изделий и аккредитации испытательной лаборатории.

Примечание — Информация по требованиям к сертификации изделий, относящаяся к испытательной лаборатории и клиенту, приведена в приложении D к настоящему стандарту. Роли органов по сертификации и аккредитации определены в приложении D к ГОСТ Р ИСО 10303-31.

1.2 Назначение настоящего стандарта

Настоящий стандарт должен использоваться при аттестационном тестировании любой реализации прикладных протоколов по стандартам серии ГОСТ Р ИСО 10303. Прикладные протоколы, для которых установлены комплекты абстрактных тестов, определены в группе «прикладные протоколы» стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303). Комплекты абстрактных тестов установлены в группе «комплекты абстрактных тестов» стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303). Аттестационное тестирование реализации основано на применении комплекта абстрактных тестов вместе с методом абстрактного тестирования, описанным в ИСО 10303-34.

Испытательная лаборатория отвечает за проведение аттестационного тестирования реализации прикладных протоколов стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303) на основании заявки (запроса) конкретного клиента. Функции испытательной лаборатории может выполнять любая из организаций:

• разрабатывающих или сопровождающих реализации стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303).

Примечание 1 — Такие организации называются реализаторами;

• проверяющих (верифицирующих) реализации стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303) для собственных нужд.

Примечание 2 — Такие организации называются пользователями;

• специализирующихся на тестировании реализаций стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303) и независимых от поставщиков или пользователей данных реализаций.

Примечание 3 — Такие организации называются испытательными лабораториями.

Настоящий стандарт может в равной степени применяться как испытательными лабораториями, связанными с поставщиками или посредниками, так и независимыми от них.

Клиентами могут быть:

• реализаторы или поставщики систем, использующие стандарты серии ГОСТ Р ИСО 10303 (ИСО 10303) для тестирования реализаций этих стандартов;
• организации, поставляющие соответствующие реализации;
• другие заинтересованные стороны.

Настоящий стандарт может в равной степени применяться клиентами всех трех типов.

2 Нормативные ссылки

В настоящем стандарте использованы ссылки на следующие стандарты:

ГОСТ Р ИСО/МЭК 8824-1-2001 Информационная технология. Абстрактная синтаксическая нотация версии один (АСН.1). Спецификация основной нотации

ГОСТ Р ИСО 10303-1-99 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть. 1. Общие представления и основополагающие принципы

ГОСТ Р ИСО 10303-21-99 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 21. Методы реализации. Кодирование открытым текстом структуры обмена

ГОСТ Р ИСО 10303-31-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения

ИСО 10303-34-2001 <*> Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 34. Методология и основы аттестационного тестирования. Методы абстрактного тестирования для реализаций прикладных протоколов

<*> Международные стандарты ИСО (ИСО/МЭК) — во ВНИИКИ Госстандарта России.

3 Определения и сокращения

3.1 Термины, определенные в ГОСТ Р ИСО 10303-1

В настоящем стандарте использованы следующие термины, определенные в ГОСТ Р ИСО 10303-1:

• комплект абстрактных тестов (КАТ);
• прикладной протокол (ПП);
• класс соответствия;
• требование соответствия;
• форма ЗСРП;
• заявка о соответствии реализации протоколу (ЗСРП).

3.2 Термины, определенные в ГОСТ Р ИСО 10303-31

В настоящем стандарте использованы следующие термины, определенные в ГОСТ Р ИСО 10303-31:

• абстрактный контрольный пример (АКП);
• метод абстрактного тестирования;
• аккредитация (лаборатории);
• орган по аккредитации;
• клиент (испытательной лаборатории);
• процесс оценки соответствия;
• журнал соответствия;
• аттестационное тестирование;
• отчет об аттестационном тестировании;
• соответствие;
• контрольный совет;
• выполняемый контрольный пример (ВКП);
• комплект выполняемых тестов;
• безуспешный (вердикт);
• тестируемая реализация (ТР);
• неоконченный (вердикт);
• самотестирование;
• несогласованность;
• (вердикт) прохождения;
• форма ДИРПТ;
• постпроцессор;
• препроцессор;
• дополнительная информация о реализации протокола для тестирования (ДИРПТ);
• комплект избранных абстрактных тестов;
• комплект избранных выполняемых тестов;
• тестируемая система (ТС);
• испытательная лаборатория;
• тестовая кампания;
• ошибка контрольного примера;
• цель тестирования;
• реализатор теста;
• критерий вердикта.

3.3 Другие определения

В настоящем стандарте использован следующий термин с соответствующим определением:

3.3.1 средства тестирования (means of testing): Сочетание (комбинация) оборудования и процедур, обеспечивающее выбор и присвоение значений параметрам, вывод и выполнение контрольных примеров, соответствующих комплекту абстрактных тестов, и создание журнала соответствия. Средства тестирования предоставляются реализаторами тестов, отвечающими за создание комплектов выполняемых тестов, процедур и выполняемых программных средств из стандартизованных комплектов абстрактных тестов и методов абстрактного тестирования

3.4 Сокращения

В настоящем стандарте использованы следующие сокращения:

ПП — прикладной протокол (application protocol);

АКП (ATC) — абстрактный контрольный пример (abstract test case);

КАТ (ATS) — комплект абстрактных тестов (abstract test suite);

ВКП (ETC) — выполняемый контрольный пример (executable test case);

ТР (IUT) — тестируемая реализация (Implementation Under Test);

ЗСРП (PICS) — заявка о соответствии реализации протоколу (Protocol Implementation Conformance Statement);

ДИРПТ (PIXIT) — дополнительная информация о реализации протокола для тестирования (Protocol Implementation eXtra Information for Testing);

ТР (SUT) — тестируемая система (System Under Test).

4 Основные допущения

В настоящем стандарте предполагается, что организована и доступна для клиентов испытательная лаборатория, предоставляющая услугу аттестационного тестирования. Предполагается, что испытательная лаборатория получает (приобретает) у реализатора тестов средства тестирования для ТР под один или несколько прикладных протоколов, соответствующие одному или нескольким методам абстрактного тестирования. В стандарте установлены требования к испытательной лаборатории с точки зрения проведения ею процесса оценки соответствия в интересах конкретного клиента.

Аналогично предполагается, что клиент подключается к данному процессу по мере готовности для предъявления соответствующей реализации стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303) на аттестационное тестирование. Предполагается, что клиент ознакомился с соответствующими стандартами, основами аттестационного тестирования и методами абстрактного тестирования и готов к сотрудничеству с конкретной испытательной лабораторией. Настоящий стандарт устанавливает требования к клиенту с точки зрения тестируемости предлагаемой ТС и ее сопровождения в процессе оценки соответствия. В процессе оценки соответствия проводится совместное обучение: испытательная лаборатория изучает систему клиента, а клиент подробно знакомится с аттестационным тестированием.

Предполагается, что испытательная лаборатория должна стремиться к установлению взаимных соглашений с другими лабораториями в части предоставления услуг аттестационного тестирования для стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303). Такие взаимные соглашения могут потребоваться конкретной испытательной лаборатории при проведении ее аккредитации соответствующим национальным или международным органом по аккредитации.

Аттестационному тестированию может сопутствовать формальная сертификация изделия. Полномочия по сертификации присваиваются (делегируются) соответствующими национальными или международными органами. В полномочиях (правах) по сертификации могут быть определены требования более жесткие (или дополнительные) по сравнению с установленными в стандартах серии ГОСТ Р ИСО 10303 (ИСО 10303).

Примечание — Подробности инфраструктуры аттестационного тестирования приведены в приложении D к ГОСТ Р ИСО 10303-31.

В процессе оценки соответствия клиент отвечает за предоставление информации, обеспечивающей сопровождение и конфигурирование ТС. Предполагается, что такая информация относительно ТС может быть выдана до вовлечения клиента в процесс оценки соответствия.

5 Подготовка к тестированию

5.1 Введение

В настоящем разделе установлены требования к подготовке аттестационного тестирования для испытательной лаборатории и клиента.

Стадия подготовки к тестированию охватывает:

• подготовку административной (управленческой) информации, позволяющей определить соответствующий комплект абстрактных тестов и метод абстрактного тестирования.

Примечание 1 — Более подробная информация по данному вопросу приведена в 5.2 настоящего стандарта и 6.5, перечисления a) и c) ГОСТ Р ИСО 10303-31;

• заполнение клиентом формы ЗСРП.

Примечание 2 — Более подробная информация по данному вопросу приведена в 5.3 настоящего стандарта и 6.5, перечисление b) ГОСТ Р ИСО 10303-31;

• рассмотрение испытательной лабораторией ЗСРП с точки зрения ее непротиворечивости и полноты, начальный выбор и присвоение значений параметрам.

Примечание 3 — Более подсобная информация приведена в 5.4 настоящего стандарта и 6.5, перечисления d) и f) ГОСТ Р ИСО 10303-31;

• неофициальное тестирование, выполняемое клиентом, и заполнение им ДИРПТ.

Примечание 4 — Более подробная информация приведена в 5.5 настоящего стандарта и 6.5, перечисления b) и g) ГОСТ Р ИСО 10303-31;

• рассмотрение испытательной лабораторией ДИРПТ с точки зрения ее полноты.

Примечание 5 — Более подробная информация приведена в 5.6 настоящего стандарта и 6.5, перечисление e) ГОСТ Р ИСО 10303-31;

• окончательный выбор и параметризация испытательной лабораторией абстрактных контрольных примеров на основе ЗСРП и ДИРПТ.

Примечание 6 — Более подробная информация приведена в 5.7 настоящего стандарта и 6.5, перечисление h) ГОСТ Р ИСО 10303-31.

5.2 Подготовка административной информации

5.2.1 Роль испытательной лаборатории

Испытательная лаборатория должна предоставить клиенту как минимум следующую информацию:

• сформулированные требования к клиенту в части заполнения им форм ЗСРП и ДИРПТ;
• формулировку соответствия настоящему стандарту на основе использования стандартизованной формы отчета об аттестационном тестировании.

Примечание 1 — Данная форма приведена в приложении B;

• формулировку соответствия комплекту абстрактных тестов, для которого предлагается услуга тестирования, и обеспечиваемому методу абстрактного тестирования.

Примечание 2 — Комплекты абстрактных тестов для прикладных протоколов установлены в стандартах группы «комплекты абстрактных тестов» серии ГОСТ Р ИСО 10303 (ИСО 10303). Каждый комплект абстрактных тестов соответствует прикладному протоколу, определенному в стандартах группы «прикладные протоколы» серии ГОСТ Р ИСО 10303 (ИСО 10303);

• статус аккредитации испытательной лаборатории.

5.2.2 Роль клиента

Клиент должен предоставить испытательной лаборатории как минимум следующую информацию:

• административную информацию для идентификации клиента;
• системную информацию для идентификации ТС, включая ее наименование и номер (обозначение) текущей версии;
• указывающую прикладные протоколы и методы реализации из стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), использованные в ТС;
• определяющую метод абстрактного тестирования и комплект абстрактных тестов, включая редакцию соответствующих стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303).

5.3 Заполнение ЗСРП

Форма, используемая для ЗСРП, установлена в обязательном приложении к соответствующему прикладному протоколу. Информация о роли и области применения ЗСРП приведена в 5.3 ГОСТ Р ИСО 10303-31.

На данном этапе испытательная лаборатория и клиент должны заполнить форму ЗСРП в виде, удовлетворяющем обе стороны. При этом должны быть точно определены характеристики ТС. ЗСРП определяет метод абстрактного тестирования и влияет на его выбор.

Каждый метод абстрактного тестирования, описанный в ИСО 10303-34, включает конкретные требования к ТС с точки зрения ее тестируемости. Данные требования могут меняться в зависимости от конкретного метода абстрактного тестирования.

5.3.1 Роль испытательной лаборатории

Испытательная лаборатория должна предоставить клиенту форму ЗСРП, установленную в соответствующем прикладном протоколе.

5.3.2 Роль клиента

Клиент должен заполнить форму ЗСРП для каждого прикладного протокола, реализованного в ТР, соответствие которому должно быть протестировано. Заполненная форма является ЗСРП. Клиент должен направить ЗСРП в испытательную лабораторию.

В случае тестирования реализации, содержащей препроцессор и постпроцессор, для каждого из них должна быть заполнена отдельная форма ЗСРП.

5.4 Рассмотрение ЗСРП

5.4.1 Роль испытательной лаборатории

В процессе рассмотрения ЗСРП испытательная лаборатория должна проанализировать данную заявку на соответствие следующим критериям:

• в заявке должны быть даны ответы на каждый вопрос, указанный в форме ЗСРП. Ответ может быть дан в виде ссылки на соответствующий раздел указанного документа;
• ЗСРП должна быть непротиворечивой (самосогласованной);
• в ЗСРП должно быть указано, что ТР удовлетворяет требованиям конкретного прикладного протокола.

5.4.2 Роль клиента

Клиент должен помогать испытательной лаборатории в решении вопросов по любым несоответствиям (ошибкам), обнаруженным при рассмотрении ЗСРП.

5.4.3 Общая роль

Испытательная лаборатория должна информировать клиента о результатах рассмотрения ЗСРП и вместе с ним решить все вопросы по любым обнаруженным несоответствиям (ошибкам) до корректировки ЗСРП и проведения процесса оценки соответствия.

5.5 Неофициальное тестирование и заполнение ДИРПТ

5.5.1 Содержание ДИРПТ

Каждая форма ДИРПТ должна включать вопросы, требуемые для получения информации, относящейся к ТС, ТР и любым ограничениям параметризации комплекта выполняемых тестов, отсутствующей в соответствующей ЗСРП и необходимой испытательной лаборатории для создания и реализации (прогона) выполняемой версии данного комплекта абстрактных тестов.

Примечание - В случае большого объема требуемой информации в ДИРПТ могут быть приведены ссылки на другие документы, содержащие необходимые сведения.

Роль и область применения ДИРПТ определены в 6.3 ГОСТ Р ИСО 10303-31. Требования и рекомендации к структуре и содержанию ДИРПТ приведены в приложении C.

5.5.2 Роль испытательной лаборатории

Испытательная лаборатория должна предоставить клиенту формы ДИРПТ для каждого комплекта абстрактных тестов, используемого при тестировании, вместе с указаниями по заполнению ДИРПТ.

Комплект выполняемых тестов, содержащий соответствующие параметризированные значения, должен быть направлен клиенту до заполнения исходной формы ДИРПТ. Соответствующие значения могут быть получены из документации на комплект абстрактных тестов.

Комплект выполняемых тестов, создаваемый на данном этапе, содержит исходные (начальные) значения параметров. Любые вопросы, связанные с использованием этих значений, должны быть адресованы испытательной лаборатории при заполнении формы ДИРПТ. Окончательный выбор абстрактных контрольных примеров и присвоение значений параметрам для проведения тестовой кампании должны быть выполнены испытательной лабораторией.

Испытательная лаборатория также должна предоставить клиенту описание процедур реализации (прогона) тестов, включая процедуры, выполняемые оператором ТС.

Испытательная лаборатория должна выделить из формы ДИРПТ любые требования, относительно ТС и ТР по проведению тестирования помимо указанных в комплекте абстрактных тестов.

Если аттестационное тестирование проводится в испытательной лаборатории, она может предъявить любые технические (физические) требования в оборудованию у клиента.

Испытательная лаборатория также должна предоставить клиенту форму заявки на соответствие необходимой комбинации классов соответствия заданному прикладному протоколу.

5.5.3 Роль клиента

Клиент должен предоставить испытательной лаборатории следующую информацию для проведения тестовой кампании:

• требования (спецификацию) к части ТС, являющейся ТР;
• заявку о том, что ТС готова к испытаниям (тестированию) на основе конкретного метода тестирования и комплекта абстрактных тестов;
• заполненную ДИРПТ (см. ниже).

Клиент должен заполнить соответствующую форму ДИРПТ, применяемую испытательной лабораторией для конкретного комплекта абстрактных тестов, используемого при тестировании.

В ДИРПТ должны быть указаны любые значения параметров, не пригодные для ТР. После завершения неформального тестирования клиент должен вернуть ДИРПТ в испытательную лабораторию для анализа.

Клиент должен гарантировать, что ТС обеспечена необходимыми средствами контроля и надзора, указанными в выбранном методе абстрактного тестирования.

5.6 Рассмотрение ДИРПТ

5.6.1 Роль испытательной лаборатории

В процессе рассмотрения ДИРПТ испытательная лаборатория должна проанализировать ее на соответствие следующим критериям:

• ДИРПТ должна содержать информацию, достаточную для проведения тестовой кампании;
• ДИРПТ должна быть непротиворечивой (самосогласованной);
• ДИРПТ должна соответствовать ЗСРП.

5.6.2 Роль клиента

Клиент должен помогать испытательной лаборатории в решении вопросов по любым несоответствиям (ошибкам), обнаруженным при рассмотрении ДИРПТ.

5.6.3 Общая роль

Испытательная лаборатория должна информировать клиента о результатах рассмотрения ДИРПТ и вместе с ним решить все вопросы по любым обнаруженным несоответствиям (ошибкам) и откорректировать ДИРПТ до проведения процесса оценки соответствия.

5.7 Окончательный выбор и параметризация абстрактного контрольного примера

5.7.1 Роль испытательной лаборатории

Испытательная лаборатория должна выбрать абстрактные контрольные примеры, подходящие для ТР, на основе информации из ЗСРП и ДИРПТ, в соответствии с документацией на средства тестирования и требованиями комплекта абстрактных тестов. Испытательная лаборатория должна выбрать:

• все абстрактные контрольные примеры для возможностей, определяемых требованиями соответствия, установленными в ЗСРП;
• все абстрактные контрольные примеры для факультативных (необязательных) и условных возможностей, реализованных в ТР согласно ЗСРП и подлежащих тестированию в соответствии с ДИРПТ.

Испытательная лаборатория должна гарантировать, что для проведения тестовой кампании выбраны абстрактные контрольные примеры, определенные в комплекте абстрактных тестов как обязательные, факультативные или условные и пригодные для данной ТР, соответствующие возможностям, заявленным в ЗСРП.

Подробности выбранных абстрактных контрольных примеров должны быть доведены до клиента для согласования с ним области проведения тестовой кампании.

После установления набора абстрактных контрольных примеров для определения соответствующих значений каждого параметра данных примеров согласно средствам тестирования и требованиям комплекта абстрактных тестов должна быть использована информация, приведенная в ДИРПТ.

Примечание 1 — Описание содержания абстрактных контрольных примеров приведено в 8.3 ГОСТ Р ИСО 10303-31.

Для абстрактного контрольного примера необходимо установить соответствующие контрольные данные и перевести его в выполняемый формат ТС.

Пример 1 — Кодирование открытым текстом структуры обмена по ГОСТ Р ИСО 10303-21.

Выполняемый контрольный пример выделяется из абстрактного контрольного примера и представляется в виде, пригодном для прогона его на ТР. Данное выделение включает присвоение значений параметрам из множества значений для каждого абстрактного контрольного примера и написание соответствующих инструкций.

Испытательная лаборатория отвечает за получение и хранение документации по процессу выделения выполняемых контрольных примеров из абстрактных контрольных примеров. Такая документация должна поставляться реализатором теста.

Описание содержания выполняемого контрольного примера приведено в 8.4 ГОСТ Р ИСО 10303-31.

Примечание 2 — АКП переводится реализатором теста в соответствующее описание, которое адаптируется испытательной лабораторией применительно к ТР. Таким образом, данное описание становится зависящим от ТР, поэтому необходимо индивидуальное описание для каждого случая аттестационного тестирования, в силу чего невозможно стандартизировать данное описание.

Для случая структуры обмена из абстрактного контрольного примера могут быть сгенерированы два типа выполняемых контрольных примеров: ВКП, обрабатываемый препроцессором, и ВКП, обрабатываемый постпроцессором.

ВКП, обрабатываемый препроцессором, состоит из описания, примерно эквивалентного описанию АКП для заданного набора значений. Данное описание позволяет использовать терминологию, воспринимаемую ТР. Это описание может сопровождаться документом, содержащим инструкции по его применению, что облегчает его применение для ТР.

ВКП, обрабатываемый постпроцессором, состоит из описания формата по ГОСТ Р ИСО 10303-21, воспринимаемого постпроцессором ТР. Данное описание примерно эквивалентно описанию АКП для заданного набора значений. Раздел критерия вердикта данного ВКП содержит набор проверок, подлежащих выполнению для рассматриваемой модели, хранящейся в базе данных ТР, полученной после постпроцессорной обработки структуры обмена по ГОСТ Р ИСО 10303-21.

Испытательная лаборатория должна гарантировать, что все тесты из выбранного комплекта абстрактных тестов представлены в полученном комплекте выполняемых тестов.

При обнаружении разночтений между комплектом абстрактных тестов и соответствующим прикладным протоколом последний является приоритетным при решении возникшей проблемы.

5.7.2 Роль клиента

Клиент должен рассмотреть и подписать соглашение, представленное испытательной лабораторией, по признанию выбранного комплекта абстрактных тестов, определяющего область проведения тестовой кампании.

5.7.3 Общая роль

До проведения процесса оценки соответствия обе стороны должны согласовать:

• описание ТР;
• область проведения тестовой кампании.

6 Тестовая кампания

6.1 Введение

Тестовая кампания является процессом прогона комплекта выполняемых тестов на конкретной ТР и выдачи информации, необходимой испытательной лаборатории.

Примечание — Нерешенные вопросы технического характера, связанные с трактовкой соответствующих стандартов, должны быть привязаны к определенной группе стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303). Соответствующими полномочиями по их решению обладает контрольный совет; необходимые рекомендации приведены в приложении D к ГОСТ Р ИСО 10303-31.

До начала тестовой кампании должно быть определено все оборудование, используемое испытательной лабораторией или клиентом в соответствии с их обязанностями (ролями).

6.2 Роль испытательной лаборатории

Испытательная лаборатория должна гарантировать что:

• средства тестирования и соответствующий персонал задействованы на весь установленный период проведения тестовой кампании;
• проведены все тесты выполняемого комплекта и получена информация, достаточная для вынесения вердикта.

6.3 Роль клиента

Клиент должен гарантировать, что:

• ТС и ее персонал задействованы на весь установленный период проведения тестовой кампании;
• персонал ТС вводит все данные в ТС и получает из нее все результаты, за которые отвечает клиент;
• персонал ТС отвечает за компоновку (комплектацию) ТР, удовлетворяющую требованиям, установленным в ЗСРП и ДИРПТ.

6.4 Общая роль

После начала тестовой кампании не должны вноситься изменения в комплект выполняемых тестов, ТР или их рабочую среду.

7 Анализ результатов

7.1 Роль испытательной лаборатории

Испытательная лабораторная отвечает за вынесение вердикта по каждому контрольному примеру. Возможные вердикты перечислены в 6.7 ГОСТ Р ИСО 10303-31; процедуры вынесения вердиктов установлены в других стандартах группы «аттестационное тестирование» серии ГОСТ Р ИСО 10303 (ИСО 10303).

Для любого выполняемого контрольного примера, имеющего ошибку, обнаруженную при его выполнении или унаследованную им из абстрактного контрольного примера, испытательная лаборатория должна в отчете об аттестационном тестировании указать, что вердикт по данному контрольному примеру является неокончательным, а сам пример — ошибочным.

Примечание - Испытательная лаборатория должна обеспечить корректировку комплекта абстрактных тестов через контрольный совет посредством процедур пересмотра данного комплекта и внесения изменений в его документацию.

Для каждого контрольного примера, по которому вынесен неокончательный вердикт, испытательная лаборатория должна оценить, вызывается или нет полученный результат при повторном воспроизведении поведения ТР.

Если испытательная лаборатория решила, что данный случай является воспроизводимой ошибкой в ТР, она должна в отчете об аттестационном тестировании вынести вердикт безуспешности по данному выполняемому контрольному примеру. В противном случае испытательная лаборатория должна повторно выполнить (прогнать) данный контрольный пример. Если после повторного прогона вынесен вердикт прохождения или безуспешности, он должен быть внесен в отчет об аттестационном тестировании.

7.2 Роль клиента

Клиент должен рассмотреть и подписать приемку каждого безуспешного или неокончательного вердикта в соответствии с 6.5 ИСО 10303-34.

7.3 Общая роль

Испытательная лаборатория и клиент должны гарантировать, что:

• были выполнены все необходимые контрольные примеры;
• вынесенные вердикты приняты обеими сторонами;
• выданы документальные подтверждения всех вердиктов.

8 Подготовка отчета об аттестационном тестировании

8.1 Роль испытательной лаборатории

Испытательная лаборатория должна подготовить отчет об аттестационном тестировании, в котором приведены сводные и подробные результаты процесса оценки соответствия, реализованного на ТС клиента. Испытательная лаборатория должна использовать форму отчета об аттестационном тестировании, приведенную в приложении B.

Испытательная лаборатория по окончании процесса оценки соответствия должна представить клиенту отчет об аттестационном тестировании.

Испытательная лаборатория определяет формальные процедуры для рассмотрения любых разногласий с клиентом, возникших по результатам тестирования.

8.2 Роль клиента

Клиент должен рассмотреть отчет об аттестационном тестировании. Клиент не должен изменять результаты, выданные испытательной лабораторией. Если у клиента возникли разногласия с испытательной лабораторией по содержанию отчета, он должен солидарно с лабораторией решить возникшие проблемы.

8.3 Общая роль

Испытательная лаборатория и клиент должны гарантировать соблюдение любых ограничений, связанных с использованием клиентом отчета об аттестационном тестировании или выпуском данного отчета испытательной лабораторией. В случае возникновения разногласий между испытательной лабораторией и клиентом они должны солидарно решить эти проблемы.

9 Соответствие

9.1 Роль испытательной лаборатории

Испытательная лаборатория, заявляющая о соответствии стандартам серии ГОСТ Р ИСО 10303 (ИСО 10303), должна:

• указывать роль и выполняемую общую роль для каждой ТР, подвергающейся аттестационному тестированию на соответствие требованиям, установленным в настоящем стандарте;
• проводить тестирование реализаций на соответствие стандартам серии ГОСТ Р ИСО 10303 (ИСО 10303) с использованием комплектов абстрактных тестов и методов абстрактного тестирования, описанных в других стандартах группы «аттестационное тестирование» серии ГОСТ Р ИСО 10303 (ИСО 10303).

9.2 Роль клиента

Клиент, проходящий аттестационное тестирование, должен подчиняться требованиям стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), а для каждой ТР, предъявленной для проведения оценки соответствия, — требованиям относительно своей и выполняемой общей роли.

При заявлении клиентом о соответствии прикладному протоколу должны быть приведены ссылки на:

• соответствующую редакцию прикладного протокола;
• соответствующую редакцию комплекта абстрактных тестов;
• соответствующую редакцию метода реализации;
• конкретный класс соответствия или комбинацию этих классов в прикладном протоколе (при необходимости).

Для обеспечения однозначного обозначения информационного объекта в открытой системе настоящему стандарту присвоен следующий идентификатор объекта:

Смысл данного обозначения установлен в ГОСТ Р ИСО/МЭК 8824-1 и описан в ГОСТ Р ИСО 10303-1.

Каждый отчет об аттестационном тестировании, уточняющий результаты тестирования реализаций стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), должен содержать как минимум следующую информацию:

• наименование и адрес испытательной лаборатории;
• наименование и адрес клиента;
• индивидуальное обозначение отчета об аттестационном тестировании, выданного конкретной испытательной лабораторией;
• указание на каждом листе отчета обозначения данного отчета и номера страницы в формате «m из n»;
• дату проведения аттестационного тестирования;
• реквизиты (подпись и должность лиц, утвердивших отчет) испытательной лаборатории и/или подписи лиц, согласовавших данный отчет;
• однозначное обозначение объекта(ов) тестирования, включая наименование изготовителей конкретных объектов, идентификацию типов или моделей этих объектов и их серийные номера;
• любые отклонения или нарушения стандартных условий;
• ссылки на использованные метод и процедуру абстрактного тестирования, включая указание их редакций, любые отклонения, дополнения и исключения от установленных технических требований (спецификаций);
• ссылки на использованные комплекты абстрактных тестов, включая указание их редакций, любые отклонения, дополнения и исключения от установленных технических требований (спецификаций);
• ссылки на соответствующий прикладной протокол и использованный метод реализации, включая любые отклонения, дополнения и исключения от установленных технических требований (спецификаций);
• подробные сведения о подготовке ТС;
• результаты аттестационного тестирования;
• подробные описания абстрактных контрольных примеров, исключенных во время проведения тестовой кампании.

Каждый отчет об аттестационном тестировании, уточняющий результаты тестирования реализации стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), должен удовлетворять как минимум следующим требованиям:

• отчет должен быть достоверным (отражать фактическое состояние вопроса);
• перед выпуском (изданием) отчет должен быть проверен испытательной лабораторией и клиентом на безошибочность;
• информация в отчете должна быть изложена так, чтобы минимизировать возможности его неправильного использования или толкования;
• отчет должен быть скомпонован так, чтобы минимизировать возможности вставки или удаления страниц или других искажений (фальсификаций) представленной в нем информации.

Полученные результаты аттестационного тестирования должны быть изложены в двух разделах: итоговые результаты и подробные результаты.

Представление итоговых результатов должно включать:

• обозначение (идентификацию) выбранных абстрактных и выполняемых контрольных примеров;
• соответствующий вердикт, вынесенный на основании исполнения конкретного выполняемого контрольного примера.

Представление подробных результатов должно включать:

• обозначение (идентификацию) каждого выполняемого контрольного примера;
• указание результата каждого обработанного выполняемого контрольного примера;
• в случаях безуспешных или неокончательных вердиктов — дополнительную информацию, поясняющую причины вынесения данного вердикта.

Пример отчета о тестировании приведен в приложении E к настоящему стандарту.

ДИРПТ в основном предназначена для представления испытательной лаборатории информации о среде тестирования конкретной ТР. Также полезно включить в ДИРПТ информацию (или ссылки на нее), необходимую клиенту для подготовки ТС. Испытательная лаборатория должна включить данную информацию в форму ЗСРП, направляемую клиенту для заполнения.

ДИРПТ используется вместе с ЗСРП, и без необходимости не должна дублировать информацию, приведенную в ЗСРП. В ДИРПТ должна быть представлена информация, необходимая для идентификации клиента, ТС и прикладного протокола, на соответствие которому должно проводиться аттестационное тестирование. В ДИРПТ могут быть приведены перекрестные ссылки с соответствующими разделами ЗСРП.

Если клиент и испытательная лаборатория пришли к выводу о необходимости представления большого объема информации для проведения аттестационного тестирования, тогда в ДИРПТ могут быть приведены ссылки на соответствующую документацию, с указанием ее полного обозначения (включая номер редакции и дату выпуска).

ДИРПТ может создаваться итерационно по мере обсуждения ее между клиентами и испытательной лабораторией при подготовке к тестированию.

В настоящем приложении предложена схема сертификации реализаций стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), по которой эти реализации могут быть протестированы на соответствие с использованием комплектов абстрактных тестов, установленных в других стандартах данной серии, и методов абстрактного тестирования, описанных в ИСО 10303-34. Данная схема состоит из нескольких этапов:

• тестирование аккредитованной испытательной лабораторией конкретного экземпляра реализации на соответствие. Термин «экземпляр» в данном контексте охватывает конкретную версию реализации и вспомогательные программные и технические средства, необходимые для проведения аттестационного тестирования;
• последующее оформление испытательной лабораторией результатов данного аттестационного тестирования в отчете о тестировании, который представляется клиенту;
• возможность направления клиентом данного отчета о тестировании в орган по сертификации вместе с любой дополнительной информацией, могущей потребоваться данному органу, и формально запросить о выдаче сертификата соответствия.

Примечание - В некоторых схемах сертификации клиент может попросить испытательную лабораторию направить отчет о тестировании в орган по сертификации;

• рассмотрение органом по сертификации данного запроса (заявки) на основании доказательств, предъявленных клиентом, и его отклонение, или выдача сертификата.

Данная схема охватывает аттестационное тестирование и сертификацию конкретного экземпляра реализации. Рыночные требования могут привести к необходимости доработки этой схемы с целью распространения конкретного сертификата на диапазон реализаций или платформ, основываясь на результатах выполнения единого аттестационного тестирования. Подобное расширение схемы относится к компетенции (обязанности) органа по сертификации.

В приложении D к ГОСТ Р ИСО 10303-31 более подробно изложены общие требования к органу по сертификации и его обязанности.

Приведенный в настоящем приложении пример формы соответствует только тестированию препроцессора или постпроцессора из стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), но может быть адаптирован для других методов реализации. Для препроцессора или постпроцессора из стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303) могут потребоваться отдельные отчеты, для которых соответственно должна быть использована данная форма. При необходимости в отчете может быть приведена дополнительная информация.

Предварительная информация

Введение

Данный раздел включен для помощи читателям в понимании процесса, приведшего к созданию именно такого содержания отчета об аттестационном тестировании.

Аттестационное тестирование

Аттестационное тестирование определяется как «тестирование заявленного изделия по конкретным характеристикам (требованиям), установленным в стандарте, для определения степени, в которой данное изделие является реализацией, соответствующей стандарту».

Область применения аттестационного тестирования не охватывает:

• испытания на устойчивость: тестирование, насколько хорошо ТР восстанавливается в разных ошибочных условиях;
• испытания на совместимость: тестирование, могут ли реально взаимодействовать две ТР и если нет, то почему;
• приемочные испытания пользователя: тестирование, удовлетворяет ли ТР требованиям заказчика к программному обеспечению, с использованием функциональных, общих и рабочих испытаний;
• проверку рабочих характеристик: измерение рабочих характеристик ТР, таких как ее производительность и чувствительность (реакция) при различных условиях.

Результаты аттестационного тестирования обеспечивают соответствующую основу для проведения дополнительных типов испытаний.

Когда ТР является препроцессором стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), клиент отвечает за создание модели в ТС, генерирующей структуру обмена по ГОСТ Р ИСО 10303-21, могущую содержать объекты конкретного прикладного протокола из другого стандарта данной серии. Структура обмена затем проверяется на соответствие ГОСТ Р ИСО 10303-21 с вынесением конкретного вердикта, гарантирующего правильность препроцессорной обработки модели.

Критерий вердикта для тестирования препроцессора обязан охватывать проверку синтаксического и структурного соответствия структуры обмена ГОСТ Р ИСО 10303-21. Могут быть проведены дополнительные проверки для установления, что объекты и атрибуты придерживаются правильных значений и отношений в структуре обмена по ГОСТ Р ИСО 10303-21. Такие дополнительные проверки документально оформлены в абстрактном контрольном примере в качестве критерия вердикта.

Когда ТР является постпроцессором стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), клиент отвечает за создание модели в ТС, генерирующей внутренние форматы из общих форматов структуры обмена по ГОСТ Р ИСО 10303-21. ТС затем должна быть проверена с вынесением конкретного вердикта, гарантирующего правильность постпроцессорной обработки модели.

Критерий вердикта для тестирования постпроцессора обязан охватывать проверку, что конструктивы модели обеспечивают правильные значения и соотношения в ТС. Например, проверка должна подтверждать правильность содержания строки текста или корректность ее позиционирования в ТС.

В процессе аттестационного тестирования используется набор (серия) аттестационных тестов для ТР в контролируемой среде.

Если при тестировании установлена непригодность некоторых тестов, данные тесты и причины их неприменимости в данной ситуации должны быть указаны в соответствующем разделе настоящего отчета.

Стадии процесса

При создании настоящего отчета о тестировании клиентом и испытательной лабораторией используются четыре стадии:

• подготовка к тестированию: клиент при помощи форм ЗСРП и ДИРПТ представляет информацию о системе, вариантах, например наименованиях конструкций из стандартов серии ГОСТ Р ИСО 10303, создаваемых или используемых ТС, ограничениях по эксплуатации системы и подробностях способа создания или запроса соответствующих объектов в системе;
• самотестирование: испытательная лаборатория представляет клиенту серию контрольных примеров для проведения им тестирования собственной системы при поддержке данной лаборатории. Если клиент удовлетворен полученными результатами, то может быть начата тестовая кампания;
• тестовая кампания: на данной стадии подготавливают к тестированию систему в строго контролируемой среде и проводят серию соответствующих испытаний;
• отчет о тестировании: результаты проведенных испытаний анализируются испытательной лабораторией, и она готовит отчет о тестировании.

Содержания контрольных примеров отличаются на стадиях самотестирования и официальной тестовой кампании из-за использования в данных примерах разных параметров.

Идентификация системы и испытательной лаборатории

Обозначение испытательной лаборатории

Наименование испытательной лаборатории ..............................................................................................

Адрес испытательной лаборатории .............................................................................................................

Обозначение клиента

Наименование клиента .................................................................................................................................

Адрес клиента ................................................................................................................................................

Тестовая кампания

Место проведения тестирования .................................................................................................................

Дата начала тестирования ............................................................................................................................

Тестируемая система

Наименование тестируемой системы ..........................................................................................................

Номер версии тестируемой системы (включая номер редакции) ............................................................

Поставщик тестируемой системы ................................................................................................................

Дата редакции (выпуска) тестируемой системы ........................................................................................

Продавец компьютера ...................................................................................................................................

Номер модели компьютера ...........................................................................................................................

Обозначение центрального процессора ......................................................................................................

Обозначение сопроцессора с плавающей точкой .......................................................................................

Наименование операционной системы ........................................................................................................

Номер версии операционной системы .........................................................................................................

Поставщик операционной системы ...............................................................................................................

Тестируемая реализация

Следующая часть ТС определена в качестве ТР на время процесса аттестационного тестирования:

Наименования процессора, соответствующего стандартам серии ГОСТ Р ИСО 10303 (ИСО 10303) ...

Номер версии процессора, соответствующего стандартам серии ГОСТ Р ИСО 10303 (ИСО 10303) ....

Поставщик процессора, соответствующего стандартам серии ГОСТ Р ИСО 10303 (ИСО 10303) .........

Дата выпуска процессора, соответствующего стандартам серии ГОСТ Р ИСО 10303 (ИСО 10303) .....

Рабочий режим процессора, соответствующего стандартам серии ГОСТ Р ИСО 10303 (ИСО 10303) ...

Система испытательной лаборатории

Продавец компьютера ......................................................................................................................................

Номер модели компьютера .............................................................................................................................

Обозначение центрального процессора .........................................................................................................

Обозначение сопроцессора с плавающей точкой .........................................................................................

Наименование операционной системы .........................................................................................................

Номер версии операционной системы ..........................................................................................................

Поставщик операционной системы ...............................................................................................................

Область и критерии аттестационного тестирования

ТР, описанная в настоящем отчете, была протестирована на соответствие представленным техническим требованиям (спецификациям, техническим условиям) с использованием метода и комплекта тестов, указанных ниже.

Идентификация прикладного протокола

Наименование прикладного протокола ........................................................................................................

Дата и номер редакции прикладного протокола .........................................................................................

Класс(ы) соответствия и варианты ...............................................................................................................

Подробное описание приложений и дополнений (при их наличии) ........................................................

Идентификация комплекта абстрактных тестов

Наименование комплекта абстрактных тестов ...........................................................................................

Дата и номер редакции комплекта абстрактных тестов ............................................................................

Подробное описание приложений и дополнений (при их наличии) .......................................................

Идентификация метода реализации

Наименование метода реализации ...............................................................................................................

Дата публикации и номер редакции метода реализации ..........................................................................

Подробное описание приложений и дополнений (при их наличии) .......................................................

Идентификация аттестационного тестирования

Дата и обозначение метода абстрактного тестирования ...........................................................................

Дата завершения тестирования и анализа результатов ..............................................................................

Метод работы

В данном разделе отчета должна быть представлена информация о том, как результаты тестирования и другие данные передаются между ТС и испытательной системой (комплексом).

Исключенные абстрактные контрольные примеры

Сообщения о любых проблемах или несоответствиях, обнаруженных в абстрактном контрольном примере, должны быть направлены в ИСО ТК 184/ПК 4. Если абстрактный контрольный пример считается ошибочным, он не используется до проведения его корректировки. К началу тестирования следующие абстрактные контрольные примеры были исключены и считаются недействующими по следующим причинам.

Целью аттестационного тестирования является повышение вероятности взаимодействия различных реализаций. Это не гарантирует, что процессор стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), испытанный при заданном наборе тестов, точно соответствует проверяемым техническим требованиям (спецификациям). Нет никаких гарантий, что данная система будет взаимодействовать с другими реализациями. Конечно, проведенные испытания подтверждают, что данная система обладает установленными функциональными возможностями и ее поведение соответствует взаимосвязям с представленными примерами (экземплярами) коммуникационных средств.

Испытательная лаборатория не гарантирует, что все последующие формулировки настоящего отчета точны и полны или что испытанный процессор не имеет других несоответствий, кроме указанных. Лаборатория не несет никакой ответственности за любые убытки, прямо или косвенно связанные с рабочими характеристиками ТР после тестирования.

Любые изменения в процедурах тестирования должны быть уточнены в разделах отчета, связанных с соответствующими выполняемыми контрольными примерами.

Точность вычислений задается в результатах конкретных выполняемых контрольных примеров.

Представление итоговых результатов

Присваиваются следующие вердикты:

Итоговые результаты представлены в виде таблицы в разделе «Итоговые результаты».

В графе «Общее количество» указывают общее число выполняемых контрольных примеров, предназначенное для данного класса соответствия в текущей версии комплекта абстрактных тестов.

В графе «Количество выбранных» указывают общее число выполняемых контрольных примеров, выбранных для аттестационного тестирования, выполнения и присвоения вердикта в данной тестовой кампании.

В графе «Количество нереализуемых» указывают число выполняемых контрольных примеров, не применимых при тестировании данного процессора (то есть процессор не реализует средства, проверяемые данными контрольными примерами). Данная информация представляется до проведения официального тестирования посредством ответов на соответствующие вопросы. Описание нереализуемых выполняемых контрольных примеров приведено в настоящем отчете.

В графе «Количество исключенных» указывают число абстрактных контрольных примеров, не доступных для выполнения во время тестирования. Причины их отсутствия указаны в настоящем отчете.

В графе «Примечания» представляют сводные значения по всей таблице в виде целого числа.

Итоговые результаты

Представление подробных результатов

Присваиваются следующие вердикты:

Подробные результаты представлены в виде таблицы в разделе «Подробные результаты аттестационного тестирования».

В графе «Ссылка» указывают индивидуальное обозначение выполняемого контрольного примера.

В графе «Цель тестирования» уточняют назначение данного выполняемого контрольного примера.

В графе «Вердикт» указывают вердикт, присвоенный по завершении данного тестирования и анализа его результатов.

В графе «Примечания» представляют сводные значения по всей таблице в виде целого числа.

Подробные результаты аттестационного тестирования

Класс соответствия 1

Класс соответствия 2

Алфавитный указатель терминов