ПНСТ 554-2021. Предварительный национальный стандарт Российской Федерации. Интеллектуальные транспортные системы. Системы искусственного интеллекта для автоматизации управления автомобильными транспортными средствами. Методы испытаний. Общие положения

(утв. и введен в действие Приказом Росстандарта от 26.11.2021 № 47-пнст)

до 1 марта 2023 года

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования «Национальный исследовательский университет „Высшая школа экономики“ (НИУ ВШЭ)»

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. № 47-пнст

Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).

Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: info@tc164.ru и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112 Москва, Пресненская набережная, д. 10, стр. 2.

В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе «Национальные стандарты», а также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

В настоящее время системы искусственного интеллекта для управления автоматизированными транспортными средствами проходят широкие испытания. Именно от полноты и достоверности процесса испытаний зависят перспективы данной технологии и сроки начала ее массового использования на автомобильных дорогах общего и необщего пользования, как только испытания смогут гарантировать безопасность дальнейшей эксплуатации систем искусственного интеллекта для управления автоматизированными транспортными средствами.

Методы испытаний должны включать в себя как виртуальные испытания для моделирования факторов дорожно-транспортных ситуаций, обучения и тестирования моделей искусственного интеллекта и иных задач, так и испытания в реальных условиях дорожного движения на специализированных полигонах.

Настоящий предварительный стандарт является продолжением комплекса стандартов по установлению требований к применению технологий искусственного интеллекта на транспорте, таких как как ГОСТ Р 58823, с целью повышения доверия к технологиям искусственного интеллекта, повышения уровня безопасности на транспорте и эффективности транспортных процессов.

1 Область применения

Настоящий стандарт распространяется только на системы искусственного интеллекта для автоматизации управления движением автомобильных транспортных средств (далее — СИИАУД АТС), но не распространяется на системы автоматизированного управления автомобилем (САУ) в полной комплектации.

Системы искусственного интеллекта, требования к которым установлены в настоящем стандарте, могут устанавливаться только на АТС категорий L, M и № по [1], эксплуатируемые на автомобильных дорогах и соответствующие уровням автоматизации управления движением 4 и 5 по ГОСТ Р 58823.

Настоящий стандарт предназначен для применения при проведении всех типов испытаний процессов управления автоматизированными транспортными средствами системами искусственного интеллекта.

Требования настоящего стандарта направлены на обеспечение безопасности дорожного движения, жизни и здоровья людей, сохранности их имущества и охраны окружающей среды.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 33707-2016 Информационные технологии. Словарь

ГОСТ Р ИСО/МЭК 9126 Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению

ГОСТ Р ИСО/МЭК 19086-4 Информационные технологии. Облачные вычисления. Структура соглашения об уровне обслуживания (SLA). Часть 4. Компоненты информационной безопасности и защиты персональных данных

ГОСТ Р ИСО 26262-3 Дорожные транспортные средства. Функциональная безопасность. Часть 3. Стадия формирования концепции

ГОСТ Р ИСО 26262-7 Дорожные транспортные средства. Функциональная безопасность. Часть 7. Производство и эксплуатация

ГОСТ Р 58823 Автомобильные транспортные средства. Системы автоматизации управления движением. Классификация и определения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 автоматическая система управления движением; АСУД: Аппаратные и программные средства, которые в совокупности способны выполнять всю задачу управления движением в длительном режиме вне зависимости от того, ограничена ли она конкретными условиями эксплуатации.

3.2 система искусственного интеллекта для автоматизированного управления движением автоматизированных транспортных средств; СИИАУД АТС: Система искусственного интеллекта для обработки данных, поступающих от датчиков (сенсоров) автоматизированного транспортного средства, и формирования сигналов, передаваемых на механизмы управления автоматизированного транспортного средства.

Примечание - Система обязательно включает в свой состав одну или более подсистем, каждая из которых может реализовывать алгоритм искусственного интеллекта. Входит в состав АТС.

3.3 алгоритм обработки данных в СИИАУД: Конечное упорядоченное множество точно определенных правил для решения задачи по преобразованию данных, поступающих от датчиков АТС, в сигналы, передаваемые на механизмы управления АТС.

Примечание — Алгоритм по ГОСТ 33707-2016, пункт 4.39.

3.4 предусмотренные условия эксплуатации СИИАУД: Полная совокупность дорожно-транспортных ситуаций, в которых должно быть обеспечено соответствие значений функциональных характеристик СИИАУД заданным требованиям.

3.5 дорожно-транспортная ситуация: Последовательность развивающихся на дороге событий, обусловленных взаимодействием транспортного средства и других участников движения, а также условий внешней среды в определенных пространственно-временных границах.

3.6 сценарий дорожно-транспортной ситуации: Исчерпывающая совокупность значений факторов дорожно-транспортной ситуации, влияющих на сложность решения задачи автоматизированного управления АТС с использованием СИИАУД.

3.7 датчик: Средство измерений, предназначенное для выработки сигнала измерительной информации в форме, удобной для передачи, дальнейшего преобразования, обработки и (или) хранения, но не поддающейся непосредственному восприятию наблюдателем.

3.8 кооперативные интеллектуальные транспортные системы (V2X): Системы, использующие V2X-взаимодействие — обмен информацией между автомобилем и любым другим объектом (другими автомобилями, дорожной инфраструктурой, пешеходами и пассажирами и т.д.) посредством технологий беспроводной связи.

Примечание — V: от англ. vehice — автомобиль, транспортное средство согласно [2].

3.9 входные данные о дорожной обстановке: Текущие данные о дорожной обстановке вокруг АТС, движение которого управляется системой искусственного интеллекта. Источниками входных данных о дорожной обстановке являются бортовые камеры, радары, лидары, данные из кооперативных интеллектуальных транспортных систем (V2X) и других источников.

3.10 безопасность автоматизированного управления АТС: Состояние, характеризуемое совокупностью параметров конструкции, включая функциональные характеристики СИИАУД, и технического состояния транспортного средства, обеспечивающих недопустимость или минимизацию риска причинения вреда жизни или здоровью граждан, имуществу физических и юридических лиц, государственному или муниципальному имуществу, окружающей среде.

3.11 функциональные характеристики СИИАУД: Минимальный представительный набор измеримых свойств СИИАУД, в достаточной мере характеризующих способность СИИАУД управлять движением АТС с заданной эффективностью и безопасностью.

3.12

имитационная модель: Частный случай математической модели процесса, явления, который представляет процесс с определенной точностью. Примечание — Имитационная модель обычно строится без знания реальной физики процесса или явления. [ГОСТ Р 57188-2016, статья 2.2.2]

4 Характерные особенности

4.1 Отличительными особенностями СИИАУД являются:

4.1.1 На стадии проектирования:

задание функциональных требований к СИИАУД должно быть в контексте предусмотренных условий эксплуатации, описанных с использованием демонстрационной совокупности вариантов данных, поступающих от датчиков АТС [демонстрационный набор данных, см. 6.1, в)] и соответствующих этой совокупности вариантов данных описаний управляющих воздействий АТС, или иным достаточно полным образом.

4.1.2 На стадии разработки:

• при разработке алгоритма обработки данных в СИИАУД в обязательном порядке используются специально подготовленные наборы данных, содержащие примеры данных, поступающих от датчиков АТС, и соответствующие этой совокупности вариантов данных описания управляющих воздействий АТС (обучающий набор данных);
• алгоритм обработки данных в СИИАУД не обладает полной прозрачностью и объяснимостью для пользователей СИИАУД и других заинтересованных лиц (например, органов по сертификации, испытательных лабораторий, органов власти).

4.1.3 На стадии испытаний:

• основным (обязательным) методом испытаний СИИАУД является оценка функциональных характеристик и качества СИИАУД с использованием специально подготовленных представительных наборов данных, содержащих примеры данных, поступающих от датчиков АТС в предусмотренных условиях эксплуатации, и соответствующих этой совокупности вариантов данных описаний управляющих воздействий АТС [тестовый набор данных, см. 6.1 д)];
• при необходимости могут быть использованы другие методы испытаний СИИАУД, в том числе:
• структурно-функциональный анализ алгоритма обработки данных в СИИАУД;
• тестирование с использованием данных, принимающих значения, находящиеся на границе и выходящие за границы допустимых диапазонов;
• тестирование с использованием наборов данных, принимающих случайные значения, и др.

4.1.4 На стадии эксплуатации:

• данные, получаемые от датчиков в процессе эксплуатации, могут быть использованы для дополнительного обучения (дообучения) СИИАУД АТС, направленного на улучшение функциональных характеристик и повышение качества АТС.

4.1.5 На стадии утилизации:

• осуществляется контроль уровня конфиденциальности данных, накопленных в СИИАУД за время ее эксплуатации, и, в случае необходимости, предпринимаются меры по предотвращению нарушения конфиденциальности этих данных путем их уничтожения и/или соответствующей модификации (см. ГОСТ Р ИСО/МЭК 19086-4).

4.2 Совокупность идентифицированного сценария дорожно-транспортной ситуации и достаточно полного описания датчиков, установленных на АТС, должна обеспечивать формирование вариантов данных, поступающих с датчиков, с точностью до параметра погрешности, не влияющего на решение задачи автономного управления движением АТС в данной дорожно-транспортной ситуации.

4.3 Датчики (сенсоры) управления движением включают (но не ограничиваются):

• средства определения местоположения и параметров движения АТС с использованием радионавигационных полей, включая абонентские терминалы спутниковых радионавигационных систем;
• средства инерциальных навигационных систем, включая гироскопы и акселерометры;
• средства определения местоположения АТС и контроля окружающей дорожно-транспортной ситуации с использованием пассивных средств получения изображений в видимом, инфракрасном и других диапазонах длин волн;
• средства определения местоположения АТС и контроля окружающей дорожно-транспортной ситуации с использованием активных лазерных, радиолокационных и иных средств получения изображений;
• средства измерения расстояния до объектов на основе лазерных, радиолокационных и иных дальномеров;
• средства получения информации об объектах дорожной инфраструктуры, включая дорожные знаки и разметку, на основе пассивных и запрос-ответных технологий радиочастотной идентификации.

4.4 Факторы дорожно-транспортной ситуации могут быть определены на различных шкалах, включая шкалу наименований, порядковую шкалу, интервальную шкалу и абсолютную шкалу.

Факторы дорожно-транспортной ситуации подразделяются на:

4.4.1 Факторы внешней среды:

• условия освещенности (интервальная шкала, люкс);
• уровень видимости (шкала наименований);
• осадки (вид осадков: дождь, дождь со снегом, снег, град; тип осадков: моросящие, ливневые, обложные) (порядковая шкала);
• ветер (интервальная шкала, км/с).

4.4.2 Факторы дорожной инфраструктуры:

• категория автомобильной дороги (количество и ширина полос, наличие примыканий и пересечений в одном уровне, наличие пешеходных тротуаров и пешеходных переходов в одном уровне) (шкала наименований, порядковая шкала);
• профиль автомобильной дороги (наличие поворотов, уклонов) (шкала наименований);
• состояние дорожного покрытия (порядковая шкала);
• наличие и состояние технических средств организации дорожного движения (дорожной разметки, дорожных знаков, светофоров, иных средств (отбойники, временные ограждения и прочее)) (шкала наименований).

4.4.3 Факторы дорожного движения:

• плотность потока транспортных средств (интервальная шкала);
• скорость потока и отдельных транспортных средств (интервальная шкала);
• состав потока транспортных средств (интервальная шкала);
• наличие участников дорожного движения, нарушающих правила дорожного движения, виды совершаемых нарушений (шкала наименований).

4.4.4 Иные факторы: попадание посторонних предметов и объектов (не являющихся участниками дорожного движения, например диких животных) на дорогу и прочее (шкала наименований).

4.5 Каталог сценариев дорожно-транспортной ситуации

4.5.1 Валидация на основе сценария заключается в воспроизведении конкретных реальных дорожно-транспортных ситуаций, в которых проверяется безопасность транспортного средства, оснащенного СИИАУД.

4.5.2 Сценарий дорожно-транспортной ситуации может включать в себя множество элементов, таких как схема проезжей части, типы пользователей дорог, объектов, обладающих статическими или различными динамическими моделями поведения, различных условий окружающей среды.

4.5.3 Как отмечалось в 4.1.3, использование сценариев дорожно-транспортных ситуаций может применяться к различным методикам испытаний, таким как виртуальное и имитационное моделирование, испытания на полигоне и испытания на дорогах общего и необщего пользования. Вместе эти методики обеспечивают многогранную архитектуру тестирования, при этом каждая методика обладает определенными сильными и слабыми сторонами. Следовательно, некоторые сценарии могут быть более подходящими для тестирования с использованием определенных методик тестирования по сравнению с другими.

4.5.4 Сценарии дорожно-транспортных ситуаций следует рассматривать для проверки СИИАУД АТС, считая, что в идеале сценарии (нейтральные по отношению к технологии транспортного средства) всесторонне отражают ситуацию на дорогах общего и необщего пользования во всем мире [3].

4.6 Идентификация сценариев дорожно-транспортной ситуации

4.6.1 Методы проверки, основанные на сценариях дорожно-транспортных ситуаций, должны включать охват релевантных, критических и сложных сценариев для эффективной проверки СИИАУД.

4.6.2 Сценарии дорожно-транспортной ситуации можно идентифицировать на основе:

• анализа поведения водителя-человека, включая оценку естественных данных о вождении;
• анализа данных о столкновениях, таких как базы данных о ДТП правоохранительных органов и страховых компаний;
• анализа схем организации движения на конкретных участках дорог (например, путем видеозаписи и анализа поведения участников дорожного движения на конкретных перекрестках);
• анализа данных, собранных датчиками СИИАУД (например, акселерометром, камерой, радаром и системами глобального позиционирования и другими);
• использования специального измерительного автомобиля, оборудования для мониторинга, измерений с помощью дронов и так далее для сбора различных данных о дорожном движении;
• знаний и опыта, приобретенных в ходе разработки и обучения СИИАУД;
• синтетически сгенерированных сценариев на основе вариаций ключевых параметров дорожно-транспортной ситуации;
• спроектированных сценариев, основанных на требованиях функциональной безопасности (см. ГОСТ Р ИСО 26262-3).

4.6.3 Непрерывный сбор реальных данных важен для выявления неожиданных сценариев, которые могут быть однозначно сложными для конкретной СИИАУД АТС.

4.6.4 После определения широкого диапазона сценариев дорожно-транспортных ситуаций конкретные требования могут быть протестированы и подтверждены с помощью виртуальных, полигонных и натурных (испытаниях на дорогах общего и необщего пользования) методов валидации испытаний [3].

4.7 Классификация сценариев дорожно-транспортных ситуаций

4.7.1 Объем информации, которая включена в сценарии, может быть обширным. Например, описание сценария может содержать информацию, определяющую широкий спектр различных действий, характеристик и элементов, таких как объекты (например, транспортные средства, пешеходы), дороги и окружающая среда, а также заранее запланированные направления действий и основные события, которые должны произойти во время сценария. Следовательно, очень важно установить стандартизированный и структурированный язык для описания сценариев, чтобы заинтересованные стороны понимали цель сценария, цели друг друга и возможности СИИАУД АТС.

4.7.2 Один из подходов для разработки стандартизированного и структурированного языка для описания сценариев дорожно-транспортных ситуаций, который также включает различные уровни абстракции и детализации, — это классификация сценариев по трем категориям: функциональные, логические и конкретные сценарии.

4.7.2.1 Функциональный сценарий: сценарий дорожно-транспортных ситуаций с наивысшим уровнем абстракции, определяющий основную концепцию сценария, такую как базовое описание действий транспортного средства; взаимодействие транспортного средства с другими участниками дорожного движения и объектами; геометрия проезжей части и другие элементы, составляющие сценарий (например, условия окружающей среды и т.д.). Этот подход использует доступный язык для описания дорожно-транспортной ситуации и соответствующих ей элементов.

4.7.2.2 Логический сценарий: создавая элементы, идентифицированные в рамках функционального сценария дорожно-транспортной ситуации, разработчики создают логический сценарий, выбирая диапазоны значений или распределения вероятностей для каждого элемента в сценарии (например, возможную ширину полосы движения в метрах). Описание логического сценария охватывает все элементы и технические требования, необходимые для реализации системы, которая решает эти сценарии.

4.7.2.3 Конкретные сценарии: конкретные сценарии дорожно-транспортных ситуаций устанавливают путем выбора конкретных значений для каждого элемента. Этот шаг гарантирует воспроизводимость конкретного тестового сценария. Кроме того, для каждого логического сценария с непрерывными диапазонами может быть разработано любое количество конкретных сценариев, помогающих убедиться, что транспортное средство подвергается воздействию самых разных ситуаций [3].

4.7.3 Определение необходимости разработки и применения конкретного языка для описания сценариев дорожно-транспортных ситуаций остается на усмотрение организации, которая проводит испытания СИИАУД АТС.

5 Методы испытаний

5.1 Целью испытаний СИИАУД АТС являются:

• проверка функциональности, надежности и безопасности СИИАУД до начала их массовой эксплуатации в штатном режиме на дорогах общего и необщего пользования;
• сбор данных для анализа и обучения алгоритмов СИИАУД АТС (в том числе управления движением АТС в стандартных, нестандартных и чрезвычайных дорожных условиях).

5.2 Методы испытаний СИИАУД АТС подразделяются на следующие типы [3]:

5.2.1 Виртуальные испытания, которые представляют собой компьютерную симуляцию процесса управления движением АТС системой искусственного интеллекта, в рамках которой происходит:

• создание среды симуляции, которая с точки зрения системы искусственного интеллекта идентична автомобильной дороге;
• моделирование движения АТС по конкретным участкам автомобильных дорог с привязкой к геометкам на сверхточных электронных картах и цифровым двойникам автомобильных дорог;
• моделирование движения АТС при различной дорожной обстановке.

В процессе моделирования (виртуальных испытаний) используются различные типы инструментальных средств для оценки соответствия СИИАУД АТС требованиям безопасности в широком диапазоне виртуальных сценариев, включая те из них, которые было бы чрезвычайно сложно протестировать в реальных условиях.

5.2.2 Испытания на полигоне, при которых используется испытательный полигон с закрытым доступом с различными элементами сценария для проверки возможностей и функционирования СИИАУД АТС: возможен вариант полунатурных испытаний, которые допускают масштабирование некоторых элементов дорожно-транспортной ситуации и замену некоторых реальных элементов математическими моделями.

5.2.3 Испытания на дорогах общего и необщего пользования, при которых проводятся тестирование и оценка работы СИИАУД АТС, связанной с ее способностью двигаться в реальных условиях дорожного движения.

5.2.4 Отдельно следует выделить:

а) Процедуры аудита и оценки, которые устанавливают, как с использованием документации производители будут обязаны демонстрировать контролирующим органам безопасность СИИАУД АТС при моделировании, испытаниях на полигоне и в реальных дорожных условиях. Аудит должен подтвердить, что опасности и риски, относящиеся к системе, были идентифицированы, и что была внедрена последовательная концепция безопасности при проектировании. Аудит также должен подтвердить наличие надежных процессов, механизмов и стратегий (то есть системы управления безопасностью), которые обеспечивают соответствие СИИАУД АТС требованиям безопасности на протяжении всего жизненного цикла транспортного средства. Он также должен оценивать взаимодополняемость между различными компонентами оценки и общим охватом сценария дорожно-транспортной ситуации.

б) Процедуры мониторинга и отчетности в процессе эксплуатации связаны с безопасностью СИИАУД АТС в процессе эксплуатации. Он полагается на сбор данных о парке автомобилей в полевых условиях, чтобы оценить, остается ли СИИАУД АТС безопасной при эксплуатации на дороге. Этот сбор данных также можно использовать для наполнения каталога сценариев новыми сценариями дорожно-транспортных ситуаций в случае крупных аварий и инцидентов.

5.3 Моделирование (виртуальные испытания)

5.3.1 Моделирование предоставляет инструменты для оценки производительности СИИАУД АТС в разнообразных и сложных условиях, включая недопустимые для испытаний на полигоне и дорогах общего и необщего пользования. Виртуальные испытания на основе имитационных моделей играют важную роль в обеспечении комплексной оценки СИИАУД АТС.

5.3.2 Виртуальные испытания можно использовать на разных этапах разработки и проверки СИИАУД АТС. Виртуальные испытания можно использовать для комплексного и экономичного исследования СИИАУД АТС (или его части) в широком диапазоне сценариев дорожно-транспортных ситуаций через различные предусмотренные условия эксплуатации и для множества дополнительных целей. Основываясь на моделировании, виртуальные испытания особенно рекомендуются для проверки СИИАУД АТС в критических для безопасности сценариях, которые было бы трудно или небезопасно воспроизводить на испытательных полигонах или дорогах общего и необщего пользования.

5.3.3 Виртуальные испытания включают в себя замену одного или нескольких физических элементов, описанных в тестировании на основе сценария дорожно-транспортной ситуации, на имитационную модель. Цель такой виртуализации — в достаточной степени воспроизвести оригинальные физические элементы. Для автомобильных приложений виртуальное тестирование может использоваться для воспроизведения дорожно-транспортной ситуации и работающих в ней объектов, которые взаимодействуют со всей системой (например, полностью укомплектованный автомобиль с функциями СИИАУД АТС) либо с подсистемой (например, с исполнительным механизмом или аппаратным контроллером), или отдельным компонентом (например, датчиком). Благодаря этому подходу испытатель может быть уверен в СИИАУД АТС на основе виртуальных испытаний и валидации, которые были выполнены разработчиком гибким, управляемым, предсказуемым, повторяемым и эффективным способом.

5.3.4 Инструментальная цепочка моделирования, используемая для виртуальных испытаний, может привести к комбинации различных подходов. В частности, тесты могут быть выполнены:

1. полностью с помощью компьютера, при этом модель задействованных элементов (например, простое представление логики управления СИИАУД АТС) взаимодействует в моделируемой среде;

2. с использованием датчиков, подсистем или целого транспортного средства, взаимодействующих с виртуальной средой (тестирование оборудования или транспортного средства в контуре). Для тестирования транспортного средства в контуре автомобиль может находиться:

а) в лаборатории, в которой транспортное средство будет стоять на месте или двигаться на динамометрическом стенде или испытательном стенде трансмиссии и быть подключено к модели окружающей среды с помощью проводов или путем прямого воздействия на ее датчики;

б) на испытательном полигоне, где транспортное средство будет подключено к модели окружающей среды и будет взаимодействовать с виртуальными объектами, физически перемещаясь по испытательному треку;

3. с использованием подсистемы, взаимодействующей с водителем.

5.3.5 Взаимодействие между тестируемой системой и окружающей средой может быть разомкнутым или замкнутым.

5.3.5.1 Виртуальные испытания с разомкнутым контуром (также называемые с повторной обработкой программного или аппаратного обеспечения, теневым режимом и т.д.) можно проводить с помощью различных методов, таких как взаимодействие СИИАУД АТС с виртуальными ситуациями, собранными из реального мира. В этом случае действия виртуальных объектов управляются только данными и информация не корректируется самостоятельно на основе обратной связи с выходными данными. Поскольку контролер разомкнутого контура может изменяться из-за внешних помех без ведома СИИАУД АТС и/или испытателя, применимость тестов разомкнутого контура при валидации СИИАУД АТС может быть ограничена.

5.3.5.2 Виртуальные испытания с обратной связью включают в себя цикл обратной связи, который непрерывно отправляет информацию от контролера с обратной связью в СИИАУД АТС. В этих тестовых системах поведение цифровых объектов может изменяться в зависимости от действия тестируемой системы.

5.3.6 Выбор испытаний с открытым или замкнутым циклом может зависеть от таких факторов, как цели виртуальных испытаний и статус разработки тестируемой системы. Ожидается, что для проверки СИИАУД АТС будут рассматриваться в основном виртуальные испытания с обратной связью.

5.4 Испытания на полигоне

5.4.1 Испытания на полигоне проводят на закрытой испытательной площадке, где используются реальные элементы дорожной инфраструктуры и прочие элементы, воспроизводящие различные дорожно-транспортные ситуации.

5.4.2 Испытания на полигоне проводят для оценки требований безопасности СИИАУД АТС (например, человеческий фактор, система безопасности). Такой подход к испытаниям позволяет испытывать физические транспортные средства с помощью ограниченного набора реалистичных сценариев (основанных на геометрии, размерах и оптических приводах испытательного трека) для оценки подсистем либо целой системы СИИАУД АТС. Эти внешние входы и условия можно контролировать или измерять во время испытаний. В дополнение к этому методу испытаний, обеспечивающему более высокий уровень достоверности окружающей среды, чем при моделировании, имеется возможность испытать транспортное средство с меньшей опасностью, чем та, которая может возникнуть при реальных дорожных испытаниях. Однако работа на тестовых полигонах может быть ресурсоемкой, поэтому испытания на тестовой трассе будут основываться на выбранных известных критических сценариях.

5.4.3 Испытания на полигоне могут быть более подходящими для оценки возможностей СИИАУД АТС в дискретном количестве номинальных сценариев и критических сценариях. Те же испытания можно использовать для проверки характеристик транспортных средств с учетом человеческого фактора или отказа в этих сценариях.

5.4.4 Испытания на полигоне — это завершенный процесс, который используется для оценки требований безопасности для некоторых существующих технологий. Однако может быть сложно разработать определенные элементы предусмотренных условий эксплуатации, такие как дождь, туман и снег, чтобы надежно проверить, как СИИАУД АТС взаимодействует с этими элементами окружающей среды.

5.4.5 Информация, сгенерированная во время испытаний на полигоне, также может использоваться для проверки виртуальных испытаний путем сравнения производительности СИИАУД АТС в виртуальном тесте с его производительностью на тестовой трассе при выполнении того же сценария.

5.5 Испытания на дорогах общего и необщего пользования

5.5.1 При испытаниях на дорогах общего и необщего пользования происходит проверка соответствия требованиям безопасности (включая человеческий фактор, системы безопасности) СИИАУД транспортного средства в реальном дорожном движении. Этот метод испытаний может подвергнуть СИИАУД АТС широкому спектру условий, связанных с предусмотренными условиями эксплуатации. Существуют различные подходы к испытаниям на дорогах общего и необщего пользования. Например, испытания могут проводиться в предусмотренных условиях эксплуатации (например, при езде по шоссе) с водителем, обеспечивающим безопасность.

5.5.2 Испытания в реальных дорожных условиях могут также использоваться для оценки части характеристик СИИАУД АТС на некоторых границах предусмотренных условий эксплуатации (номинальные и сложные сценарии). Такое же испытание можно использовать для подтверждения характеристик, связанных с человеческим фактором в этих условиях.

5.5.3 Дорожные испытания могут использоваться для обнаружения проблем, которые не могут быть хорошо зафиксированы тестами на полигоне и моделированием, таких как ограничение качества восприятия (например, из-за условий освещения, дождя и т.д.).

5.5.4 Несмотря на то, что во время реальных дорожных испытаний может оказаться невозможным встретить все сценарии дорожно-транспортных ситуаций, вероятность охвата конкретных сложных сценариев может быть увеличена путем выбора конкретного типа предусмотренных условий эксплуатации (например, скоростное шоссе) и изучения различных конкретных элементов (например, поток высокой или низкой плотности).

5.5.5 Конкретные нарушения, выявленные во время испытаний в реальных дорожных условиях, могут быть позже проанализированы путем оценки данных с помощью виртуальных, полигонных и дорожных испытаний. Кроме того, данные реальных дорожных испытаний могут быть собраны для выявления и записи новых сценариев движения и повышения достоверности методологий полигонных и виртуальных испытаний в будущем.

5.5.6 Дорожные испытания могут использоваться для проверки правильности моделирования частей виртуальной среды или среды полигонных испытаний путем сравнения производительности СИИАУД АТС в рамках моделирования и мониторинга его производительности при выполнении того же тестового сценария в реальных дорожных условиях.

5.6 Процедуры аудита и оценки

5.6.1 Цель аудита — оценить и продемонстрировать, что:

• производитель СИИАУД и/или СИИАУД АТС использует правильные процессы для обеспечения эксплуатационной и функциональной безопасности в течение жизненного цикла СИИАУД и/или транспортного средства с системой СИИАУД (см. ГОСТ Р ИСО 26262-7);
• СИИАУД и/или транспортное средство с использованием СИИАУД безопасно по своей конструкции, и эта конструкция проходит достаточную проверку перед выпуском на рынок. Валидация должна быть подтверждена мониторингом использования.

5.6.2 От производителя транспортного средства, компонентов СИИАУД и/или СИИАУД АТС требуется продемонстрировать, что:

• существуют надежные процессы для обеспечения безопасности на протяжении всего жизненного цикла транспортного средства (этап разработки, производство, а также эксплуатация на дороге и вывод из эксплуатации); в том числе принятые меры для наблюдения за транспортным средством в поле и принятие правильных действий, когда это необходимо;
• опасности и риски, относящиеся к системе, были идентифицированы, и была внедрена последовательная проектная концепция безопасности для снижения этих рисков;
• оценка рисков и концепция безопасности, основанная на конструкции, были подтверждены производителем посредством испытаний, показывающих до того, как транспортное средство будет размещено на рынке, что транспортное средство соответствует требованиям безопасности.

5.6.3 На основе доказательств, предоставленных производителем, и целевых испытаний органы власти смогут проводить аудит и проверять, являются ли процессы, оценка рисков, конструкция и валидация производителя достаточно надежными с точки зрения функциональной и эксплуатационной безопасности.

5.6.4 Оценка рисков, концепция безопасности при проектировании и валидационные тесты могут использоваться для демонстрации общей безопасности СИИАУД АТС гораздо более надежным образом, чем ограниченное количество физических и виртуальных испытаний.

5.6.5 Анализ рисков, концепции безопасности при проектировании, а также методы проверки и подтверждения являются стандартными методами разработки, используемыми в автомобильной промышленности в течение многих лет для обеспечения функциональной безопасности электронной системы (отказоустойчивости). Ожидается, что производители будут следовать аналогичным методам для систематической минимизации небезопасных и неизвестных сценариев для СИИАУД АТС (эксплуатационная безопасность за пределами отказов).

5.6.6 Инструменты, входящие в оценку безопасности, обеспечивают более надежную демонстрацию безопасности СИИАУД АТС, чем серия из нескольких испытаний. Обоснование безопасности производителя будет усилено, если оно будет оценено независимым аудитором и подтверждено целевыми натурными или виртуальными испытаниями. В частности, потребуются тестовые прогоны, чтобы показать, что транспортное средство демонстрирует минимальные характеристики для стандартных маневров, ключевых критических сценариев (например, экстренное торможение) и в условиях дорожного движения в потоке. На текущем этапе еще предстоит решить, будут ли эти испытания стандартизированы среди производителей для некоторых определенных ситуаций или должны быть адаптированы к результатам оценки риска и проектирования СИИАУД АТС, или и того, и другого.

5.7 Процедуры оперативного мониторинга и отчетности

5.7.1 Компонент мониторинга и отчетности в процессе эксплуатации направлен на обеспечение безопасности АТС (включая отказоустойчивость, обработку ошибок и т.д.), оснащенных СИИАУД, после выхода на рынок. На практике применение других компонентов позволит оценить, является ли СИИАУД АТС достаточно безопасной для вывода на рынок, в то время как мониторинг и отчетность в процессе эксплуатации соберут дополнительные свидетельства полевых операций, чтобы продемонстрировать, что СИИАУД АТС продолжает оставаться безопасной, когда эксплуатируется на дороге общего и необщего пользования.

5.7.2 Компонент заключается в сборе соответствующих данных СИИАУД во время работы автоматизированных транспортных средств.

5.7.3 Ретроспективный анализ данных от производителей и других соответствующих источников используется для достижения трех основных целей мониторинга и отчетности в процессе эксплуатации:

• продемонстрировать, что первоначальная оценка безопасности (остаточный риск) на этапе аудита перед выходом на рынок подтверждена дополнительно в полевых условиях («подтверждение безопасности»);
• наполнять каталог сценариев важными новыми сценариями, которые могут произойти с автоматизированными транспортными средствами в полевых условиях («создание сценария»);
• выработать рекомендации по безопасности для всех СИИАУД АТС путем обмена знаниями, извлеченными из основных происшествий и инцидентов, связанных с безопасностью, чтобы все производители и ответственные органы могли полезно использовать оперативную обратную связь, способствуя постоянному совершенствованию как технологий, так и законодательства («рекомендации по безопасности»).

5.7.4 Какая бы оценка безопасности ни проводилась перед выходом на рынок, фактический уровень безопасности будет подтвержден только после того, как достаточное количество транспортных средств будет подвергаться достаточному диапазону условий движения и окружающей среды. Поэтому очень важно наличие обратной связи (мониторинга) для подтверждения безопасности СИИАУД АТС. Кроме того, этот компонент можно использовать для создания новых сценариев в каталоге сценариев, чтобы покрыть новые риски безопасности.

5.7.5 На ранней стадии внедрения СИИАУД АТС на рынок важно, чтобы все сообщество узнало о сбоях, связанных с автоматизированными транспортными средствами, чтобы быстро отреагировать и обеспечить безопасность для последующего предотвращения этого сбоя для всех других СИИАУД АТС [4].

5.8 Взаимодействие различных методов испытаний

5.8.1 Результаты испытаний от каждого метода должны быть соизмеримы и совместимы друг с другом в пределах погрешности 2%.

5.8.2 Общая цель методов испытаний в том, чтобы на основе требований безопасности оценить, способна ли СИИАУД АТС справиться с чрезвычайными происшествиями, с которыми можно столкнуться при эксплуатации. Для этого необходимо рассмотреть сценарии, связанные с поведением участников дорожного движения и условиями окружающей среды, а также сценарии, связанные с поведением водителя и отказами СИИАУД АТС.

5.8.3 В многоуровневом подходе признается, что безопасность СИИАУД АТС не может быть надежно оценена и подтверждена с использованием только одного из методов. Каждый из вышеупомянутых методов испытаний обладает своими сильными сторонами и ограничениями, такими как различные уровни экологического эффекта, точность и масштабируемость.

5.8.4 Одного метода испытаний может быть недостаточно, чтобы оценить, способна ли СИИАУД АТС справиться со всеми происшествиями, которые могут встречаться при эксплуатации. Например, в то время как испытания в реальных дорожных условиях обеспечивают высокую степень соответствия окружающей среде, такого рода испытания могут быть дорогостоящими, трудоемкими, трудными для воспроизведения и нести риски для безопасности. В этом случае полигонные испытания могут быть более подходящим методом для сценариев повышенного риска, не подвергая других участников дорожного движения потенциальному ущербу. Кроме того, тестовые сценарии также могут быть легче воспроизведены в закрытой среде по сравнению с реальной дорожной обстановкой. Тем не менее, сценарии полигонных испытаний могут быть потенциально трудными для разработки и реализации, особенно при наличии множества сложных сценариев, включающих множество элементов.

5.8.5 Моделирование (виртуальные испытания), напротив, может быть более масштабируемым, рентабельным, безопасным и эффективным по сравнению с полигонным или реальным дорожным испытанием, что позволяет испытателю безопасно и легко создавать широкий спектр сценариев, включая сложные сценарии, в которых исследуется разнообразный спектр элементов. Однако моделирование может иметь более низкую точность, чем другие методы. Программное обеспечение для моделирования также может различаться по качеству, и испытания может быть трудно воспроизвести на разных платформах моделирования.

5.8.6 В дополнение к соответствующим сильным и слабым сторонам каждого метода испытаний, характер оцениваемых требований безопасности также будет определять, какие компоненты метода следует использовать.

5.8.7 Наиболее подходящим методом для оценки общей безопасности системы СИИАУД АТС до вывода на рынок может быть контрольный компонент, использующий систематический подход для выполнения анализа рисков. Аудит может включать такую информацию, как результаты валидации, подтвержденные конструкцией, а также анализ данных, собранных производителем в натурных условиях.

5.8.8 Виртуальные испытания могут быть более подходящими, когда есть необходимость изменить параметры тестирования и необходимо провести большое количество испытаний для эффективного охвата всех компонентов сценария. Полигонные испытания могут лучше всего подойти для случаев, когда производительность СИИАУД АТС может быть оценена с помощью дискретного количества натурных тестов, и оценка выиграла бы от более высоких уровней точности (например, для критических дорожных ситуаций).

5.8.9 Испытания в реальных дорожных условиях могут быть более подходящими, если сценарий не может быть точно представлен виртуально или на испытательном полигоне (например, взаимодействие с другими участниками дорожного движения и качество восприятия СИИАУД).

5.8.10 Последовательность и состав методов испытаний, используемых для оценки каждого требования безопасности, могут различаться. Хотя большинство испытаний могут следовать логической последовательности от моделирования к мониторингу, а затем и к испытаниям в реальных дорожных условиях, могут быть отклонения от данной логики в зависимости от конкретного проверяемого требования безопасности.

5.8.11 Необходимо, чтобы компоненты методов испытаний СИИАУД АТС использовались вместе для создания эффективного, всеобъемлющего и согласованного процесса с учетом их сильных сторон и ограничений. Эти методы должны дополнять друг друга, избегая чрезмерного дублирования или избыточности, чтобы обеспечить эффективную и действенную стратегию валидации.

6 Общие требования к испытаниям

6.1 При создании и эксплуатации СИИАУД применяют следующие наборы данных (см. рисунок 1), если в СИИАУД применяются методы, базирующиеся на подходах Supervised learning:

а) базовый демонстрационный набор данных — образцовый размеченный набор данных (далее — НД), поступающих от датчиков АТС, и/или описание способов формирования такого НД (включая, при необходимости, программу и методику испытаний, в соответствии с которой необходимо осуществлять испытания СИИАУД), включенные в состав нормативно-технического документа, устанавливающего унифицированные требования к проведению испытаний СИИАУД определенного типа;

б) дополнительный демонстрационный набор данных — дополнительный размеченный НД, предоставляемый заказчиком СИИАУД при формировании уточненных требований к системе с учетом особенностей конкретного АТС и условий его эксплуатации;

в) демонстрационный набор данных — совокупность базового и дополнительного контрольных НД;

г) обучающий набор данных — набор данных, формируемый на основе демонстрационного НД и необходимый для создания СИИАУД. При формировании обучающего НД широко применяют технологии аугментации данных, позволяющие повысить качество создаваемой СИИАУД;

д) тестовый набор данных — НД, формируемый в органах по оценке соответствия на основе демонстрационного НД и необходимый для проведения сертификации, испытаний или аттестации СИИАУД. Тестовый НД должен обладать свойством представительности, безызбыточности, объективности и конфиденциальности.

6.2 При реализации конкретных алгоритмов искусственного интеллекта иными методами, в частности обучение с подкреплением, или методы, основанные на знаниях, требования, относящиеся к наборам данных, не применяются.

6.3 При выборе набора функциональных характеристик системы СИИАУД целесообразно руководствоваться ГОСТ Р ИСО/МЭК 9126 и следующими принципами:

• достаточность набора характеристик для принятия решения о возможности использования системы ИИ при решении конкретной прикладной задачи;
• простота и возможность измерения значений характеристик;
• отсутствие перекрытия между используемыми характеристиками;
• соответствие установившимся понятиям и терминологии;
• возможность последующего уточнения и детализации характеристик.

6.4 Требования к тестовому набору данных

6.4.1 Представительность: отклонение оценок функциональных характеристик СИИАУД, полученных при проведении испытаний на тестовом НД, от апостериорных значений этих характеристик, полученных в результате эксплуатации СИИАУД в предусмотренных условиях эксплуатации, с заданной вероятностью не должно превышать некоторую определенную, допустимо малую величину.

Критериями представительности тестового НД являются:

• соответствие статистических характеристик факторов дорожно-транспортной ситуации в тестовом НД и в предусмотренных условиях эксплуатации АТС;
• соответствие сложности решения задачи автоматизированного управления движением АТС на тестовом наборе данных и в предусмотренных условиях эксплуатации.

6.4.2 Безызбыточность: при формировании тестового НД необходимо стремиться к тому, чтобы его объем был минимально достаточным для выполнения требования представительности конкретной дорожно-транспортной ситуации. Безызбыточность тестового НД не затрагивает объем данных для самокоррекции датчиков, а требуется для конкретизации отдельной дорожно-транспортной ситуации.

6.4.3 Объективность: тестовый НД должен доказуемо принадлежать к той же генеральной совокупности, что и демонстрационный набор данных. При необходимости доказательства объективности тестового НД должны быть предоставлены разработчику и другим заинтересованным сторонам без нарушения конфиденциальности тестового НД.

6.4.4 Конфиденциальность: в отношении тестового НД органами по оценке соответствия должен быть обеспечен режим конфиденциальности, исключающий использование тестового НД разработчиком на стадии создания СИИАУД. При этом должна быть обеспечена объективность тестового НД.

6.5 На стадии эксплуатации АТС происходит дообучение СИИАУД. При дообучении СИИАУД на стадии эксплуатации АТС должны быть предусмотрены процедуры повторной оценки качества СИИАУД, подтверждающие сохраняемость в процессе эксплуатации функциональных характеристик СИИАУД, проверяемых при оценке соответствия.

6.6 При проведении испытаний рекомендуется учитывать раздел 4 [4].

[1]	Технический регламент Таможенного союза ТР ТС 018/2011 «О безопасности колесных транспортных средств»
[2]	Душкин Р.В., Андронов М.Г. Многоагентная транспортная система и V2X-взаимодействие как важный шаг перехода к беспилотному автомобильному транспорту//Транспортное планирование и моделирование: Сборник трудов V Международной научно-практической конференции, 16 — 17 апреля 2020 г. — СПб.: «Издательско-полиграфическая компания „Коста“, 2020. — 184 с. — с. 54 — 65»
[3]	Рабочий документ Всемирного форума для согласования правил в области транспортных средств: Новый метод оценки/тестирования для автоматизированного вождения — 184 сессия. — Женева. — 22 — 24 июня 2021 г. (World forum for harmonization of vehicle regulations: Working Document New Assessment/Test Method for Automated Driving — 184th session. — Geneva. — 22 — 24 June 2021)
[4]	Automotive SPICE® Process Reference and Assessment Model (PDF 1800KB) — RELEASE 3.1 — 01 November 2017

УДК 004.93`14:006.354	ОКС 35.020
Ключевые слова: искусственный интеллект, автоматизированное управление движением, СИИАУД, автоматизированные транспортные средства, методы испытаний, наборы данных

---