ГОСТ Р 34.91-94. Государственный стандарт Российской Федерации. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 6. Спецификация тестов протокольного профиля
(принят и введен в действие Постановлением Госстандарта России от 22.12.1994 № 331)
от 22 декабря 1994 г. № 331
ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ. МЕТОДОЛОГИЯ И ОСНОВЫ АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ
СПЕЦИФИКАЦИЯ ТЕСТОВ ПРОТОКОЛЬНОГО ПРОФИЛЯ
Information technology. Open systems interconnection. Conformance testing methodology and framework. Part 6. Protocol profile test specification
Предисловие
1. Разработан Московским научно-исследовательским центром (МНИЦ) Комитета при Президенте Российской Федерации по политике информатизации.
Внесен Комитетом при Президенте Российской Федерации по политике информатизации.
Подготовлен Техническим комитетом по стандартизации ТК 22 «Информационная технология».
2. Принят и введен в действие Постановлением Госстандарта России от 22.12.94 № 331.
Настоящий стандарт разработан на основе проекта международного стандарта ИСО/МЭК 9646-6-91 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 6. Спецификация тестов протокольного профиля».
Введение
Настоящий стандарт определяет методологию тестирования профилей протоколов взаимосвязи открытых систем (ВОС) на основе методологии тестирования протоколов, определенных в ГОСТ Р ИСО/МЭК 9646-2.
В ГОСТ Р ИСО/МЭК 9646-1 установлены терминология и общие принципы тестирования как протоколов, так и профилей. В ГОСТ Р ИСО/МЭК 9646-4 определены требования к реализации тестов, а в ГОСТ Р ИСО/МЭК 9646-5 — требования к процессу оценки соответствия. Эти требования применимы также к тестированию профилей. В ИСО/МЭК СТК-1 определены способы документирования требований к профилям в «заявке о соответствии реализации протоколу» (ЗСРП) и в «списках требований к профилю».
Документ по спецификации профилей — это стандартизованный документ, охватывающий один или несколько профилей. Международный функциональный стандарт (МФС) служит примером документа по спецификации профиля.
Профиль определяется как одна или набор нескольких базовых спецификаций и как идентификация выбранных классов, подмножеств, факультативных возможностей и параметров базовых спецификаций, необходимых для реализации конкретной функции. Профили должны упростить взаимодействие между системами, реализующими заданный профиль.
Реализация профиля тестируется на соответствие заданной спецификации профиля для того, чтобы убедиться в возможности взаимодействия и в том, что данная реализация соответствует определению профиля.
Смысл соответствия профилю и метод изложения требований к профилю с использованием списка требований к профилю приведены в разделе 6.
Принципы тестирования профилей на основе методологии, определенной для спецификации базовых протоколов, описаны в разделе 7.
Спецификация тестов профиля (СТП) представляет собой полный набор документов, необходимых для спецификации аттестационного тестирования профиля. СТП основывается на стандартных комплектах абстрактных тестов (КАТ) тех протоколов, на которые даны ссылки в профиле. СТП описана в разделах 7, 8 и 9.
Сводный перечень СТП содержит в одном документе ссылки на все компоненты СТП. Сводный перечень СТП описан в разделе 8 и в Приложении А.
Специфичная для профиля спецификация теста (СПСТ) содержит информацию, необходимую для расширения стандартных КАТ, относящихся к базовым спецификациям, и для их адаптации к использованию с профилями. СПСТ описана в разделе 9.
1. НАЗНАЧЕНИЕ
Настоящий стандарт определяет требования к спецификациям тестов профиля (СТП) для аттестационного тестирования профилей протоколов ВОС и содержит руководящие материалы для их разработки.
Настоящий стандарт распространяется на тестирование соответствия реализации профиля требованиям статического и динамического соответствия каждого протокола и любого информационного объекта, входящего в состав профиля, путем управления обменом протокольными блоками данных (ПБД) и наблюдения за этим обменом.
Требования к тестированию, не относящие к соответствию, не входят в предмет рассмотрения настоящего стандарта.
2. НОРМАТИВНЫЕ ССЫЛКИ
В настоящем стандарте использованы ссылки на следующие стандарты:
ГОСТ Р ИСО/МЭК 9646-1-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие принципы
ГОСТ Р ИСО/МЭК 9646-2-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 2. Спецификация абстрактного тестового комплекта
ГОСТ Р ИСО/МЭК 9646-4-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 4. Реализация тестов
ГОСТ Р ИСО/МЭК 9646-5-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 5. Требования к испытательным лабораториям и клиентам в процессе оценки соответствия
ГОСТ Р ИСО/МЭК ТО 10000-1-93 Информационная технология. Основы и таксономия международных функциональных стандартов. Часть 1. Основы
ГОСТ Р ИСО/МЭК ТО 10000-2-93 Информационная технология. Основы и таксономия международных функциональных стандартов. Часть 2. Таксономия профилей.
3. ОПРЕДЕЛЕНИЯ
Для целей настоящего стандарта применимы все определения, установленные всеми государственными стандартами серии ГОСТ Р ИСО/МЭК 9646.
4. СОКРАЩЕНИЯ
Для целей настоящего стандарта применимы следующие сокращения, определенные в ГОСТ Р ИСО/МЭК 9646-1:
АСП — абстрактный сервисный примитив;
ВОС — взаимосвязь открытых систем;
ДИРПТ — дополнительная информация о реализации протокола для тестирования;
ДИРТ — дополнительная информация о реализации для тестирования;
ЗСР — заявка о соответствии реализации;
ЗСРП — заявка о соответствии реализации протоколу;
ЗСС — заявка о соответствии системы;
КАТ — комплект абстрактных тестов;
КПВТ — комплект параметрированных выполнимых тестов;
МАТ — метод абстрактного тестирования;
МФС — международный функциональный стандарт;
ОАТП — отчет об аттестационном тестировании протокола;
ОАТС — отчет об аттестационном тестировании системы;
ПАУТ — протокол административного управления тестированием;
ПКН — пункт контроля и наблюдения;
ПТДП — перечень требований ДИРТ профиля;
СПСТ — специфичная для профиля спецификация теста;
СТКиЦТ — структура тестового комплекта и цели тестирования;
СТП — спецификация тестов профиля;
СЭУА — сервисный элемент управления ассоциацией;
Примечание. Следующие сокращения определены в ГОСТ Р ИСО/МЭК ТО 10000-1, но в государственных стандартах серии ГОСТ Р ИСО/МЭК 9646 они заменены более общими терминами:
ЗСФС — заявка о соответствии реализации МФС (общим термином является «заявка о соответствии реализации профилю»);
ДИРМФС — дополнительная информация о реализации МФС для тестирования (общим термином является «дополнительная информация профиля для тестирования»);
ПТМФС — перечень требований МФС (общим термином является «перечень требований профиля»).
5. СОГЛАСОВАННОСТЬ
Документ, содержащий спецификации профиля, который определяет сводный перечень СТП в соответствии с настоящим стандартом, должен удовлетворять всем требованиям, установленном в разделе 8 и в Приложении А. Все СТКиЦТ, а также КАТ, на которые даны ссылки, должны соответствовать положениям ГОСТ Р ИСО/МЭК 9646-2.
Документ, содержащий спецификации профиля, который определяет СПСТ в соответствии с настоящим стандартом, должен удовлетворять всем требованиям, установленным в разделе 9, и должен быть лишь согласованным в международном масштабе СПСТ для данного профиля, а также быть представлен, по меньшей мере, в статусе предложения по проекту МФС или его эквивалента.
Если документ, содержащий спецификации профиля, определяющий сводный перечень СТП в соответствии с настоящим стандартом, ссылается на СПСТ, то СПСТ должна соответствовать настоящему стандарту.
6. СМЫСЛ СООТВЕТСТВИЯ ПРОФИЛЮ
6.1 Принципы содержимого профиля и соответствия профилю
Профиль устанавливает четкие взаимоотношения между набором базовых спецификаций, используемых в совокупности для выполнения конкретной функции, и может определять также конкретную подробную информацию относительно каждой используемой базовой спецификации.
a) должен ограничить выбор факультативных возможностей базового стандарта до такой степени, которая необходима для максимизации вероятности взаимодействия между системами, реализующими этот профиль. Таким образом, факультативные функции базового стандарта могут быть сохранены в профиле как факультативные функции профиля при условии, что они не влияют на взаимодействие;
b) не должен определять никаких требований, которые могли бы противоречить или не соответствовать базовым стандартам, на которые он ссылается;
c) может содержать требования к соответствию, более специфичные и ограниченные по применению, чем подобные требования в соответствующих базовых стандартах.
Например, если некоторая функциональная возможность связана с допустимым диапазоном значений параметров, то профиль может воспринять только значения из этого диапазона или подмножество значений этого диапазона как значения, допускаемые базовой спецификацией.
Таким образом, соответствие данному набору базовых стандартов не обязательно предполагает соответствие профилю. Однако соответствие профилю предполагает по определению и соответствие набору тех базовых спецификаций, на которые он ссылается.
6.2 Требования соответствия профилю
6.2.1 Введение
Концепции статического соответствия и динамического соответствия (см. ГОСТ Р ИСО/МЭК 9646-1 и ГОСТ Р ИСО/МЭК 9646-2) включены в концепцию профиля.
6.2.2 Требования статического соответствия
Чтобы гарантировать соответствие между профилем и его базовыми стандартами, требования к статическому соответствию профилю должны быть определены путем ссылок на требования к соответствию в исходных базовых спецификациях во всех случаях, где это возможно.
Требования к заявке о статическом соответствии должны содержать следующее:
a) общее описание основных подмножеств или категорий реализации, которые обеспечивают общие обоснования для более детального выбора классов и факультативных возможностей, осуществляемого в профиле;
b) требования к соответствию, относящиеся к этим подмножествам или категориям реализации;
c) для каждой базовой спецификации, выбранной в профиле, — ссылку на требования к статическому соответствию в базовых спецификациях и на спецификации выборов, осуществленные для профиля;
d) любые дополнительные требования к статическому соответствию профиля, которые предполагают взаимонезависимость соответствующих услуг и протоколов.
6.2.3 Требования динамического соответствия
При наличии выбранных реализуемых альтернатив в ЗСР требования к динамическому соответствию профиля в основном уже определены в исходных базовых спецификациях.
Следовательно, профиль должен определять требования к динамическому соответствию путем ссылок на эти базовые спецификации наряду с изложением любых других ограничивающих требований, необходимых для достижения установленных целей профиля.
Налагаемые профилем ограничения на требования базовой спецификации к динамическому соответствию являются исключением и должны относиться только к передаче. Ограничения не должны налагаться на операции приема. Следовательно, возможно, что принятие исключенной факультативной возможности может привести к тому, что принимающая система будет функционировать вне профиля, но сохранять соответствие базовой спецификации.
6.3 Взаимоотношения между требованиями к соответствию профилю и базовым спецификациям
Основываясь на определениях ГОСТ Р ИСО/МЭК 9646-2, требования профилей протоколов ВОС к соответствию должны соотноситься с требованиями базовых спецификаций к соответствию следующим образом:
a) обязательные требования базовых стандартов: должны сохраняться как обязательные в профиле;
b) условные требования базовых спецификаций: должны оставаться условными в профилях, за исключением того, что если данное условие всегда оценивается как истинное или как ложное при заданных требованиях профиля, то данный статус может быть изменен в соответствии с полученным результатом;
c) факультативные требования базовых спецификаций: в профиле могут либо сохраняться, либо изменяться различным образом:
-
не входит в предмет рассмотрения: факультативные требования, не относящиеся к профилю. Например, функциональные модули протокола, которые не используются в контексте данного профиля;
-
условные: факультативные требования могут быть заменены в профиле на условные;
-
исключено: использование факультативных возможностей может быть запрещено в контексте данного профиля. Они должны использоваться только для ограничения динамического поведения с точки зрения передачи элементов протокола;
d) неприменимые возможности базовых стандартов: (т.е. логически невозможные согласно базовым спецификациям) должны оставаться неприменимыми и в профиле.
Необходимо избегать выражения «исключено» в тех случаях, когда более подходящим является «не входит в предмет рассмотрения». В частности, если передающий протокольный элемент исключен, то, возможно, более правильно будет указать, что прием этого протокольного элемента «не входит в предмет рассмотрения», а не «исключен». Действительно, если прием протокольного элемента определен в профиле как «исключено», то цель аттестационного тестирования следовало бы представить как «не входит в предмет рассмотрения».
6.4 Формулировка требований соответствия профилю
Требования соответствия профилю формулируются в следующем виде:
a) в форме ЗСР каждой соответствующей базовой спецификации, на которую дана ссылка в профиле;
b) в перечне требований профиля, где содержатся ограничения на статус и (или) допустимые ответы на форму базовой спецификации ЗСР каждого протокола;
c) в специфичной для профиля форме ЗСР, определяющей вопросы, которые налагают дополнительные ограничения на профиль, не связанные непосредственно с каким-либо конкретным протоколом.
Поставщик реализации заполняет формы ЗСР (базовых спецификаций и специфичные для профиля), определяя, какие требования к соответствию профиля реализованы.
Результатом являются ЗСР профиля, содержащая ПТ профиля плюс набор ЗСР соответствующих базовых спецификаций, плюс специфичную для профиля ЗСР.
7. ОБЩИЕ ПРИНЦИПЫ ТЕСТИРОВАНИЯ
7.1 Спецификация теста профиля
Спецификация теста профиля (СТП) представляет собой набор всех документов по аттестационному тестированию, необходимых для оценки соответствия профилю.
Перечень содержимого СТП определен в стандартизованном документе, называемом «Сводный перечень СТП», который является неотъемлемой частью СТП.
Сводный перечень СТП не содержит полного текста какого-либо документа по аттестационному тестированию, а только ссылается на подобные документы. Ссылки даются на:
a) спецификацию аттестационного тестирования базовых протоколов;
b) конкретный материал, созданный для профиля или для семейства взаимосвязанных профилей, называемый «спецификацией тестов профиля».
a) разработчики тестов, создающие комплекты выполнимых тестов для профиля;
b) испытательные лаборатории, выполняющие оценки соответствия реализации профиля;
c) клиенты испытательной лаборатории, которым необходимо знать те спецификации, с помощью которых могут тестироваться реализации их профилей.
Определители профилей используют концепцию общего профиля, которая может использоваться несколькими другими профилями. Общий профиль сам по себе может быть неполным. Примером такого общего профиля служит профиль «Общие требования верхних уровней», содержащий протоколы уровней сеансового представления и протокола СЭУА.
В случае таких профилей в сводном перечне СТП для полного профиля может быть дана ссылка на сводный перечень СТП для общего профиля с тем, чтобы можно было включить СТП общего профиля в СТП указываемого в ссылке профиля.
Общий профиль может ссылаться на другой общий профиль.
7.2 Правила разработки компонентов СТП
Содержимое СТП основано на наличии спецификации аттестационного тестирования, которое содержит СТКиЦТ, а также один или несколько КАТ, применимых к каждому протоколу профиля. СТП не должна допускать дублирования спецификаций аттестационных тестов, а должна содержать только ссылки на эти документы.
СТП должна предусмотреть тестирование, охватывающее каждое требование профиля. Соответствующие цели тестирования и комплекты абстрактных тестов должны уже существовать в спецификации аттестационного тестирования, относящейся к спецификациям базовых протоколов. Если профиль имеет специфичные для профиля требования к соответствию, то для этих требований должны быть разработаны цели тестирования и соответствующие КАТ.
Может оказаться, что для одного или нескольких протоколов, на которые ссылается профиль, не существует стандартного(ых) КАТ. В этом случае должны быть разработаны один или несколько КАТ в контексте данного профиля и переданы в соответствующую организацию по базовой спецификации.
7.3 Ссылки на цели тестирования
7.3.1 Цели тестирования базовых спецификаций
Цели тестирования должны быть записаны для спецификаций базовых протоколов в целом и не должны зависеть от конкретных методов абстрактного тестирования. Нет необходимости разрабатывать версию целей тестирования специально для тестирования протокола в контексте профиля.
Список профилей должен использоваться для определения наличия в существующей(их) спецификации(ях) тестовых комплектов данного протокола целей тестирования каждого протокола.
7.3.2 Специфичные для профиля цели тестирования
Может оказаться необходимым определить дополнительные специфичные для профиля цели тестирования и соответствующие тестовые примеры. Эти дополнительные цели охватывают:
a) требования к профилям, которые представляют собой результат идентифицированной неадекватности в совокупности базовой спецификации тестов. Эти цели тестирования и тестовые примеры должны быть документированы в СПСТ.
Одновременно они должны быть переданы в группу стандартизации базовых протоколов путем использования процедур извещений об ошибках или внесения изменений в зависимости от обязательств;
b) дополнительные специфичные для профиля требования в соответствии с определениями в форме ЗСРП. Эти цели тестирования и соответствующие тестовые примеры должны быть документированы в СПСТ.
Эти цели тестирования и соответствующие тестовые примеры могут относиться либо к отдельному протоколу, либо к нескольким протоколам для совместного тестирования.
7.4 Отношение к базовой спецификации тестирования
7.4.1 Введение
Аттестационные тесты для профиля в идеальном случае представляют собой подмножества базовых спецификаций тестирования в том же смысле, в котором сам профиль представляет собой подмножество базовых спецификаций протоколов.
7.4.2 Факультативные возможности, исключаемые профилем
В некоторых особых случаях профиль может содержать требования к исключению некоторых функций динамического поведения, допускаемых в спецификациях базовых протоколов. Эти исключения определяются как запрет на использование факультативной возможности или как ограничения набора значений параметров, допускаемых в базовых стандартах.
При тестировании реализации присвоенные параметром значения, возможно, потребуется адаптировать к требованиям профиля. Все выбранные значения должны находиться в диапазоне, разрешенном базовой спецификацией.
7.4.3 Асимметрия передачи/приема
Требования статического соответствия могут быть различными для процессов передачи и приема и для процессов инициализации и выдачи ответов. Эта асимметрия может быть на любом уровне детализации, начиная от возможностей реализации инициировать соединение или отвечать на него и кончая возможностями принимать и правильно интерпретировать более широкий диапазон кодов параметров по сравнению с тем, который используется при передаче.
Многие базовые спецификации идентифицируют только асимметрию инициация — ответ соединения в подразделе «статическое соответствие» раздела «соответствие». Профиль должен четко идентифицировать наличие асимметрии для каждого требования к соответствию. При наличии асимметрии профиль должен идентифицировать асимметричные требования.
7.4.3.1 Тестирование профиля ТР, выполняющей роль приемника
Системы могут обеспечивать несколько профилей и быть способны правильно отвечать на те ПБД, которые либо «не входят в предмет рассмотрения», либо исключены тестируемым профилем. Следовательно, при тестировании ТР, выполняющей роль приемника, СТ должны лишь проявлять «в профиле» свое поведение и не должны пытаться вынудить принимающую ТР работать вне сферы профиля.
Определитель тестового комплекта должен определять лишь те тестовые примеры действительного поведения, которые ограничены в поведении рамками, допустимыми в пределах профиля. Это относится к тому диапазону значений параметров, которым профиль ограничивает диапазон, допускаемый базовой спецификацией.
Разработчику реализации не нужно модифицировать свою реализацию для того, чтобы отклонять значения в широком диапазоне, если они ему переданы. Поэтому поведение реализации профиля при широком диапазоне значений невозможно определить однозначно.
Следовательно, не должно быть тестов соответствия для тестирования реализации со значениями, которые не входят в диапазон, определенный в профиле, но входят в диапазон, определенный в базовой спецификации. Однако тесты недействительного поведения необходимы для того, чтобы проверить ответы ТР на поведение, недействительное относительно базового протокола.
7.4.3.2 Тестирование профиля ТР, выполняющей роль передатчика
В процессе согласования соединения СТ должны постоянно действовать как система, реализующая профиль, и быть готовы согласовать все факультативные возможности, имеющиеся в базовой спецификации. Системы различаются по возможностям конфигурирования для тестирования конкретного профиля и могут при установленном соединении предлагать факультативные возможности, выходящие за сферу профиля. Но, поскольку СТ должны вести себя как реализация профиля, эти факультативные возможности либо игнорируются, либо не согласовываются, а потому результирующий диалог происходит «в профиле».
В ситуациях, когда ТР выдает протокольные запросы и ответы, а верхний тестер контролирует значения параметров, используемых при диалоге, верхний тестер не должен исходить из того, что реализация отклонит или «приспособит» те значения параметров, которые не входят в допустимый для профиля диапазон, но входят в диапазон, допустимый базовой спецификацией.
В ситуациях, когда ТР выдает протокольные запросы и ответы и когда заданный параметр рассматривается как не входящий в сферу профиля, а верхний тестер не определяет его значения и не способен согласовать неиспользование этого параметра для данного соединения, нижний тестер должен игнорировать поступление этого параметра.
7.5 Методология абстрактного тестирования
Все методы, определенные в ГОСТ Р ИСО/МЭК 9646-2 для базовых протоколов ВОС, применимы и к тестированию протоколов, относящихся к профилю.
7.6 Конфигурация ТС
В контексте аттестационного тестирования относительно базовой спецификации или относительно спецификации профиля ТР определяется как реализация одного или нескольких протоколов взаимодействия пользователя и поставщика услуг.
В любом контексте тестируемая система должна иметь соединение с физической средой.
Тестируемая система может быть способна работать в соответствии с несколькими профилями, которые используют различные возможности одной и той же базовой спецификации, и либо осуществлять согласование профилей, использующих различные возможности, либо образовать соответствующую конфигурацию.
Сводный перечень СТП определяется для аттестационного тестирования отдельного профиля. Следовательно, может оказаться необходимым создавать конфигурацию ТС для конкретного профиля.
Запрошенная конфигурация должна быть организована до осуществления тестовой кампании на основе информации, содержащейся в ДИРТ профиля.
8. СВОДНЫЙ ПЕРЕЧЕНЬ СПЕЦИФИКАЦИЙ ТЕСТОВ ПРОФИЛЯ
8.1 Введение
Сводный перечень СТП представляет собой стандартный документ, в котором даются ссылки на все другие документы, необходимые для полной спецификации аттестационного тестирования данного профиля.
8.2 Компоненты сводного перечня СТП
Сводный перечень СТП должен иметь следующую структуру:
a) в разделе 1 должны содержаться ссылки, относящиеся к профилю и к СТП в целом (см. 8.2.1);
b) в разделе 2 и подразделе 2.N должны содержаться ссылки, относящиеся к каждому из № протоколов, определенных в профиле (см. 8.2.2 и 8.2.3);
c) в подразделе 2.N.m должны содержаться ссылки, относящиеся к конкретному КАТ m для заданного метода абстрактного тестирования протокола N, относящегося к данному профилю (см. 8.2.4);
d) в разделе 4 должно содержаться описание соответствия (см. 8.2.6).
В Приложении А приведена подробная форма сводного перечня СТП, которую должен использовать разработчик СТП.
8.2.1. Раздел 1 сводного перечня СТП: «Идентификация профиля»
В разделе 1 сводного перечня СТП приводится общая информация относительно профиля. В ней, в частности, содержится:
a) идентификатор профиля в соответствии с таксономией ИСО/МЭК ТО 10000;
b) ссылки на профили и на СПСТ;
c) ссылки на список требований к профилю;
d) ссылки на список требований к ДИРТ профиля;
e) ссылки на специфичную для профиля форму «заявки о соответствии реализации» (ЗСР);
f) ссылки на специфичную для профиля форму ДИРТ.
8.2.2. Раздел 2 сводного перечня СТП: «Компоненты СТП»
В этом разделе содержится перечень тех подразделов сводного перечня СТП, в которых описаны спецификации тестов для протоколов, протоколы и информационные объекты, а также сводный(ые) перечень(ни) СТП, на которые даны ссылки и которые входят в профиль.
8.2.3. Подраздел 2.N сводного перечня СТП: «Спецификация аттестационного тестирования для компонента N»
Для каждого из № протоколов профиля в сводном перечне СТП должен быть представлен раздел 2.N, в котором даны ссылки на каждый компонент протокола.
Примечание. В случае взаимонезависимых протоколов, которые должны тестироваться вместе, в этом разделе могут содержаться ссылки на набор взаимосвязанных протоколов.
К перечисленным ссылкам для протокола относятся следующие:
a) идентификация спецификации протокола. Номер документа идентифицирует также версию;
Форма ЗСРП является либо неотъемлемой частью стандарта, либо приложением к базовой спецификации протокола и имеет тот же ссылочный номер, что и протокол.
Если форма ЗСРП базовой спецификации отсутствует, предполагается, что разработчик СТП создаст подходящую форму ЗСРП, которая должна быть передана соответствующей организации по базовым спецификациям для расширения стандарта.
Примечание. В случае взаимосвязанных протоколов ссылки могут быть даны на несколько ЗСРП;
Этот раздал посвящен части «Структура тестового комплекта и цели тестирования» спецификации аттестационного тестирования для данного протокола. В нем содержатся ссылки на:
СТКиЦТ определяет общую структуру и назначение тестового комплекта для базовой спецификации. Каждый КАТ, созданный для различных методов тестирования, должен соответствовать необходимому документу на СТКиЦТ.
В этой ссылке указывается также статус части СТКиЦТ спецификации аттестационного тестирования;
Дается ссылка на СПСТ при необходимости дополнительной СТКиЦТ для удовлетворения специфичных требований к соответствию профилю.
8.2.4. Подраздел 2.N.m сводного перечня СТП: «Использование КАТ для компонента N»
Для каждого из m компонентов абстрактных тестов, имеющихся для тестирования заданного протокола N, в сводном перечне СТП должны содержаться ссылки на стандартную спецификацию по аттестационному тестированию, содержащую данный КАТ. Это самая крупная и самая сложная в техническом отношении часть СТП.
К ссылкам, перечисленным для комплекта абстрактных тестов, относятся:
a) идентификация базовой спецификации КАТ, которая является частью спецификации аттестационного тестирования.
Примечание. В случае взаимосвязанных протоколов эту взаимосвязь можно протестировать отдельным КАТ;
b) версия КАТ базовой спецификации со всеми необходимыми подробностями, указывающими ее уровень, особенно при отсутствии публикации стандарта;
c) тип метода абстрактного тестирования, используемого для данного КАТ;
d) дополнительные тестовые примеры.
Ссылка на СПСТ, содержащую специфичные для профиля тестовые примеры. К этим примерам относятся:
-
замена существующих тестовых примеров для достижения целей тестирования, требующих специфичной для профиля параметризации;
-
специфичные для профиля тестовые примеры, необходимые в тех случаях, когда требования соответствия профилю не могут быть удовлетворены спецификацией базового тестирования;
-
дополнительные тестовые примеры, необходимые для тестирования информационных объектов в сочетании с профилем.
8.2.5. Подраздел 2.P сводного перечня СТП: «Сводный перечень СТП для общего профиля»
Некоторые из подразделов 2.N должны быть заменены прямой ссылкой на сводный перечень СТП общего профиля, используемого при определении профиля.
8.2.6. Раздел 3 сводного перечня СТП: «Спецификации, не относящиеся к данному протоколу»
В сводном перечне СТП должны содержаться ссылки на факультативные специфичные для профиля компоненты. Эти компоненты либо специфичны для одного профиля, либо применимы к нескольким профилям, определенным в документе, содержащем спецификацию профиля.
a) структура дополнительного тестового комплекта, специфичная для данного(ых) профиля(ей);
b) дополнительные цели тестирования, специфичные для данного(ых) профиля(ей);
c) дополнительные тестовые примеры, специфичные для данного(ых) профиля(ей).
Эти компоненты включены в специфичную для профиля спецификацию тестирования.
8.2.7. Раздел 4 сводного перечня СТП: «Раздел соответствия»
Последний раздел сводного перечня СТП должен представлять собой раздел «Соответствие».
В Приложении А описана форма «Сводный перечень СТП».
9. СПЕЦИФИЧНАЯ ДЛЯ ПРОФИЛЯ СПЕЦИФИКАЦИЯ ТЕСТА
«Специфичная для профиля спецификация теста» (СПСТ) — это стандартный документ, определяющий набор информации, необходимый для расширения и адаптации КАТ, относящегося к базовым спецификациям, на который даны ссылки в заданном профиле, с целью обеспечить полный набор КАТ для данного профиля.
Этот документ должен содержать:
a) информацию, определяющую параметризацию абстрактных тестовых примеров в КАТ, на которые даны ссылки в сводном перечне СТП;
b) список замены тестовых примеров СПСТ, определяющий, какие тестовые примеры из КАТ, ссылка на который дана в сводном перечне СТП, аннулируются вследствие их замены тестовыми примерами, входящими в СПСТ;
c) дополнительные абстрактные тестовые примеры, заменяющие примеры, определенные в списке замены тестовых примеров СПСТ;
d) дополнительные абстрактные тестовые примеры для тестирования требований соответствия профилю, не входящих в базовую спецификацию КАТ;
e) новые или модифицированные цели тестирования, относящиеся к абстрактным тестовым примерам в d);
f) специфичную для профиля информацию, подлежащую включению в форму СПСТ, которая разработана на основе формы, приведенной в Приложении А ГОСТ Р ИСО/МЭК 9646-5.
Кроме того, в процессе разработки СТП для профиля СПСТ должна использоваться с целью обеспечить временное включение документов, на которые даны ссылки в сводном перечне СПТ, но которые еще не находятся в процессе стандартизации. Все такие документы должны быть переданы для стандартизации и должны достичь статуса, по меньшей мере, «проекта комитета» (ПК) или его эквивалента, прежде чем СПСТ будет опубликована как часть международного функционального стандарта или рекомендации МККТТ.
СПСТ должна быть опубликована в виде отдельной части документа по спецификации профиля. Как вариант, СПСТ может иметь дело с несколькими профилями, и в этом случае должно быть ясно, какие компоненты СПСТ относятся к каждому профилю.
В СПСТ должен быть раздел соответствия. В этом разделе должно содержаться следующее положение:
«При разработке должны выполняться требования ГОСТ Р ИСО/МЭК 9646-4. В частности, это касается реализации выполнимого тестового комплекта на основе СПСТ.»
Испытательные лаборатории, обеспечивающие услуги аттестационного тестирования, должны отвечать требованиям ГОСТ Р ИСО/МЭК 9646-5».
10. ПРОЦЕСС РАЗРАБОТКИ СПЕЦИФИКАЦИИ ТЕСТА ПРОФИЛЯ
В данном разделе описан процесс получения набора документов, образующих СТП для профиля.
10.1 Формы документов «ЗСР профиля» и «ДИРТ профиля»
Формы документов «ЗСР профиля» и «ДИРТ профиля» должны быть проверены на адекватность их использования при тестировании профиля. Сюда относится проверка обоих документов для каждого протокола профиля. При выполнении этих проверок могут быть обнаружены ошибки в формах базовых спецификаций ЗСР и ДИРТ. Ошибки могут быть обнаружены также и в разделе соответствия базовых спецификаций.
Обнаруженные в ходе этих проверок ошибки должны быть сообщены соответствующей группе, определяющей базовую спецификацию. Структура форм ЗСР и ДИРТ может быть изменена для целей тестирования профиля только через процесс извещения об ошибках.
СПСТ может использоваться в процессе разработки для включения таких документов, как извещения об ошибках, которые еще не находятся в процессе стандартизации.
10.2 Спецификация аттестационного тестирования для каждого протокола
Для каждого протокола, охватываемого профилем, должны быть проверены СТКиЦТ и КАТ на их адекватность для использования при тестировании профиля.
При выполнении этих проверок могут быть обнаружены ошибки в базовых спецификациях СТКиЦТ и КАТ. Эти ошибки должны быть сообщены в соответствующую группу, определяющую базовую спецификацию.
10.2.1 СТКиЦТ
Если для протокола существует СТКиЦТ базовой спецификации, то эта СТКиЦТ должна быть использована в СТП, охватывающей данный протокол.
10.2.2 Комплект абстрактных тестов
Если для протокола существует КАТ базовой спецификации, то этот КАТ должен быть использован в СТП, охватывающей данный протокол.
Правила параметризации и выбора КАТ базовой спецификации должны быть проверены на их адекватность при использовании для тестирования профиля. Если правила параметризации и выбора отсутствуют, либо они неадекватны, то все разработанное специально для профиля должно быть передано в группу, определяющую базовую спецификацию.
10.2.2.1 Выбор метода абстрактного тестирования
Профиль представляет собой одну или набор нескольких базовых спецификаций. Характер самого профиля таков, что тестирование протоколов внутри профиля часто выполняется с использованием встроенного метода тестирования. Это, в частности, характерно для прикладных профилей.
Фактически для каждого протокола профиля может быть выбран только один метод абстрактного тестирования.
10.3 Специфичные для профиля компоненты СТП
10.3.1 СТКиЦТ
Для полного тестирования реализации профиля, возможно, потребуется разработка дополнительных специфичных для профиля целей тестирования. Эти дополнительные цели должны иметь соответствующую структуру и должны быть стандартизованы в СПСТ.
10.3.2 Комплект абстрактных тестов
Абстрактные тестовые примеры, образованные из дополнительных специфичных для профиля целей тестирования, должны быть стандартизованы в СПСТ. В спецификацию этих абстрактных тестовых примеров должны входить выбранные выражения, сконструированные из записей ЗСР профиля.
Могут быть созданы специфичные для профиля тестовые примеры, которые заменяют тестовые примеры в КАТ базовой протокольной спецификации. Если они созданы, то должен быть создан и список замены тестовых примеров СПСТ, в котором перечислены идентификаторы тестовых примеров базовых спецификаций, замененные специфичными для профиля тестовыми примерами.
10.3.3 Специфичные для профиля ЗСР и ДИРТ
Если для профиля созданы специфичные тестовые примеры, то должны быть также созданы и специфичные для профиля формы ЗСР и ДИРТ. Эти документы стандартизуются в СПСТ.
10.4 Сводный перечень СТП
Все документы, на которые дана ссылка в сводном перечне СТП, должны достичь, по меньшей мере, статуса «проект комитета» или его эквивалента до того, как сводный перечень СТП будет опубликован как часть МФС, международного стандарта или рекомендации МККТТ.
10.5 Объединение сводного перечня СПТ и СПСТ
СПТ не публикуется в виде отдельного документа. Он представляет собой совокупность документов, которые должен собрать пользователь, руководствуясь сводным перечнем СПТ.
Только те части СПТ, которые специально стандартизованы для профиля, т.е. сводный перечень СПТ и СПСТ, публикуются в виде отдельных частей документа «Спецификация профиля».
Документ «Спецификация профиля» может содержать один или несколько профилей. Если в нем определяется только один профиль, то он обычно состоит из трех частей:
a) в части 1 содержатся спецификация профиля и список требований;
b) в части 2 содержится сводный перечень СПТ;
c) в части 3 содержится специфичная для профиля спецификация теста (СПСТ), которая является факультативной, и ее наличие зависит от наличия специфичных для профиля тестовых примеров.
На рисунке 1 показана структура документа «Спецификация профиля», в котором содержится один профиль. На рисунке показано также соотношение между назначением документа «Спецификация профиля» и назначением СПТ.
Если в документе «Спецификация профиля» определяется несколько профилей, то он обычно имеет следующую структуру:
a) каждый профиль определяется в отдельной части;
b) каждая СПСТ определяется в отдельной части;
c) СПСТ публикуются в отдельных частях, но могут быть объединены в общую часть.
На рисунке 2 показана структура документа по спецификации профиля, охватывающего несколько профилей. На рисунке показано также, что СПСТ для каждого профиля могут быть объединены в отдельный документ.
В данном Приложении содержится форма сводного перечня СТП. Разработчики спецификаций теста профиля должна использовать эту форму для разработки исчерпывающего сводного перечня СТП, адаптированного для тестирования различных компонентов, образующих профиль.
А.2. Форма сводного перечня СТП
Форма сводного перечня СТП должна иметь следующий формат:
1. <a id="p100297"></a>Идентификация профиля
Идентификатор профиля: Идентификатор профиля (Таксономия ТО 10000)
ПТ профиля: Ссылка на ПТ профиля Специфичная для профиля ЗСР: Ссылка на специфичную для
профиля ЗСР
ПТДП профиля: Ссылка на ПТДП профиля Специфичная для профиля Ссылка на специфичную для форма ДИРТ: профиля форму ДИРТ
2. <a id="p100304"></a>Компоненты спецификации теста профиля
Подраздел 2.1 для: Протокол/Общий профиль и др. Подраздел 2.n для: Протокол/Общий профиль и др.
2.N. Спецификация аттестационного тестирования для ____________________
Идентификация протокола: Идентификация протокола Форма ЗСРП: Ссылка на форму ЗСРП СТКиЦТ: Ссылка на базовую спецификацию
СТКиЦТ
Дополнительная СТКиЦТ: Ссылка на СПСТ и раздел Для профилей, включающих в себя информационные объекты, должны быть
добавлены следующие ссылки:
Идентификатор объекта: Идентификатор объекта Форма ЗСР объекта: Форма ЗСР объекта
2.N.m. Использование КАТ для ___________________________
Базовая спецификация КАТ Ссылка на базовую спецификацию КАТ
Метод абстрактного тестирования Ссылка на метод абстрактного тестирования
Протокол административного Описание протокола управления тестированием административного управления
тестированием
Форма частичной ДИРТ Ссылка на форму частичной ДИРТ Дополнительные тестовые Ссылка на СПСТ и раздел
примеры
Примечание. Повторить для каждого КАТ, применимого к компоненту N.
2.P. Сводный перечень СТП для общего профиля
Для профилей, ссылающихся на общие профили, этот формат должен использоваться как замена подразделов 2.N и 2.N.m.
Сводный перечень СТП Ссылка на сводный перечень СТП общего профиля
3. <a id="p100325"></a>Спецификации, не относящиеся к аттестационному тестированию для
заданного протокола
Структура комплекта абстрактных Ссылка на СПСТ и раздел тестов
Цели дополнительного тестирования Ссылка на СПСТ и раздел Абстрактные тестовые примеры Ссылка на СПСТ и раздел
Разработчик средств тестирования для данного сводного перечня СТП должен выполнять требования ГОСТ Р ИСО/МЭК 9646-4.
В частности, реализация каждого КАТ, на который дается ссылка, должна соответствовать спецификации КАТ, согласующейся с модификацией, описанной в СПСТ, на которую дана ссылка в этом сводном перечне СТП. Реализация тестовых примеров в этой СПСТ должна соответствовать СПСТ.
Испытательные лаборатории, обеспечивающие услуги аттестационного тестирования согласно данному сводному перечню СТП, должны отвечать требованиям ГОСТ Р ИСО/МЭК 9646-5.