ПНСТ 784-2022. Предварительный национальный стандарт Российской Федерации. Искусственный интеллект для навигационных систем воздушных судов гражданской авиации. Алгоритм контроля целостности для приемников спутниковой навигации ГЛОНАСС/GPS. Методы испытаний
(утв. и введен в действие Приказом Росстандарта от 08.11.2022 № 98-пнст)
Внимание
Документ утратил силу с 01.01.2026 в связи с истечением срока действия, установленного Приказом Росстандарта от 08.11.2022 № 98-пнст. Документ введен в действие с 01.01.2024 на период до 01.01.2026 (Приказ Росстандарта от 08.11.2022 № 98-пнст).
Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 8 ноября 2022 г. № 98-пнст
ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ДЛЯ НАВИГАЦИОННЫХ СИСТЕМ ВОЗДУШНЫХ СУДОВ ГРАЖДАНСКОЙ АВИАЦИИ
АЛГОРИТМ КОНТРОЛЯ ЦЕЛОСТНОСТИ ДЛЯ ПРИЕМНИКОВ СПУТНИКОВОЙ НАВИГАЦИИ ГЛОНАСС/GPS. МЕТОДЫ ИСПЫТАНИЙ
Artificial intelligence for civil aviation aircraft. An integrity control algorithm for GLONASS/GPS satellite navigation receivers. Test methods
Срок действия с 1 января 2024 года до 1 января 2026 года
Предисловие
1 РАЗРАБОТАН Обществом с ограниченной ответственностью «ННК Консалтинг»
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 8 ноября 2022 г. № 98-пнст
Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).
Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес. до истечения срока его действия разработчику настоящего стандарта по адресу: contact@nnccompany.ru и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112 Москва, Пресненская набережная, д. 10, стр. 2.
В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе «Национальные стандарты» и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Развитие методов искусственного интеллекта и рост вычислительных мощностей делают возможным решение задач оценки состояния комплексных систем или подтверждения достоверности решения посредством нейронных сетей с точностью, превышающей классические аналитические и статистические методы. Это способствует применению методов искусственного интеллекта при условии проведения качественных испытаний в сферах, связанных с высоким риском для жизни и здоровья людей, в частности — навигации и гражданской авиации.
- определены объект и цель испытаний алгоритма контроля целостности с использованием методов искусственного интеллекта;
- формализованы требования к методам испытания;
- сформулирован критерий успешности испытаний.
1 Область применения
Настоящий стандарт распространяется на навигационную аппаратуру потребителей, предназначенную для определения местоположения воздушных судов по сигналам глобальных навигационных спутниковых систем ГЛОНАСС и GPS с использованием методов искусственного интеллекта.
Стандарт устанавливает технические и эксплуатационные требования, методы и требуемые результаты испытаний к навигационной аппаратуре воздушного судна гражданской авиации, реализующей алгоритмы автономного контроля целостности с использованием методов искусственного интеллекта.
2 Нормативные ссылки
В настоящем стандарте использована нормативная ссылка на следующий стандарт:
ПНСТ 788-2022 Искусственный интеллект для навигационных систем воздушных судов гражданской авиации. Алгоритм контроля целостности для приемников спутниковой навигации ГЛОНАСС/GPS. Общие требования
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, на затрагивающей эту ссылку.
3 Сокращения
В настоящем стандарте применены следующие сокращения:
ГЛОНАСС — глобальная навигационная спутниковая система Российской Федерации;
НКА — навигационный космический аппарат;
ПВГ — пространственно-временная геометрия;
СКО — среднеквадратическое отклонение;
GPS — глобальная навигационная спутниковая система Соединенных Штатов Америки;
SBAS — спутниковая система дифференциальной коррекции;
РЭ — руководство по эксплуатации;
UTC — всемирное координированное время;
HDOP — снижение точности в горизонтальной плоскости;
HELFD — уровень исключения по горизонту;
HPE — погрешность горизонтального местоположения;
HPLFD — уровень защиты в горизонтальной плоскости;
URA — общая точность потребителя;
UTC — всемирное координированное время;
VDB — всенаправленная передача данных в ОВЧ-диапазоне;
GDOP — геометрический фактор ухудшения точности;
VDOP — снижение точности в вертикальной плоскости.
4 Общие положения
4.1 Объектом испытаний является навигационная аппаратура потребителей, предназначенная для определения местоположения воздушных судов по сигналам глобальных навигационных спутниковых систем ГЛОНАСС и GPS, реализующая алгоритмы автономного контроля целостности с использованием методов искусственного интеллекта.
4.2 Цель испытаний — оценить соответствие алгоритма контроля целостности с использованием методов искусственного интеллекта требованиям, установленным в ПНСТ 788-2022.
4.3 Условия проведения испытаний должны соответствовать требованиям, предъявляемым к условиям дальнейшей эксплуатации навигационной аппаратуры.
4.4 Требования к имитатору навигационных сигналов
Применяемый имитатор навигационных сигналов должен:
- поддерживать одновременное формирование радиочастотных навигационных сигналов спутниковых навигационных систем ГЛОНАСС и GPS;
- поддерживать формирование радиочастотных сигналов спутниковой системы дифференциальной коррекции SBAS в случае ее применения в алгоритме контроля целостности приемника;
- реализовывать функциональность, необходимую для имитации сценариев испытания алгоритма контроля целостности (приложение А).
4.5 Требования к интеграции внешних данных для дифференциальной коррекции
Источники данных для дифференциальной коррекции, применяемые в алгоритме контроля целостности испытываемого приемника, должны быть интегрированы на всех этапах проведения испытаний:
- спутниковая система дифференциальной коррекции должна быть интегрирована посредством применения имитатора навигационных сигналов;
- данные наземной системы дифференциальной коррекции могут быть интегрированы посредством соответствующих имитаторов и VDB приемника, а также с использованием программного имитатора сообщений, реализованного в соответствии с протоколом взаимодействия приемников спутниковой навигации и VDB;
- данные автономной системы дифференциальной коррекции могут быть интегрированы с использованием программного имитатора сообщений, реализованного в соответствии с протоколом взаимодействия бортового оборудования с приемником спутниковой навигации.
Все используемые имитаторы должны быть синхронизированы по времени на всех этапах проведения испытаний.
4.6 Требования к офлайн-тестированию
Одной из наиболее сложных проблем при испытании является сведение воедино проверок функций исключения и обнаружения отказов. Оборудование должно исключать отказы до того, как погрешность горизонтального местоположения станет недопустимой и при этом будет отсутствовать выдача сигнала предупреждения потребителю.
4.7 Требования к условиям офлайн-тестирования
При выполнении офлайн-тестирования для каждого дальномерного измерения GPS и ГЛОНАСС должна быть применена соответствующая модель погрешностей дальномерных измерений.
Требования к моделям приведены ниже.
4.7.1 Модель погрешностей для измерений GPS
Остаточная ошибка для дальномерных измерений GPS для «здоровых» спутников GPS должна моделироваться следующим образом
\sigma_{GPS,i}^{2} = URA_{i}^{2} + \sigma_{i,UIRE}^{2} + \sigma_{i,air}^{2} + \sigma_{i,tropo}^{2} , (1)
где \sigma_{GPS,i} — стандартное отклонение в измерении псевдодальности i-го спутника GPS;
URAi — точность дальности потребителя. Для целей офлайн-тестирования значение URA должно принимать:
- консервативное значение 5,7 м (индекс 3) при расчете HPLFD и HELFD и
- значение, соответствующее уровню реально передаваемых значений URA в сообщениях GPS.
\sigma_{i,UIRE} — это смоделированное стандартное отклонение ошибки оценки ионосферной задержки Fpp·тvert (в метрах) для измерения i-го спутника GPS, где Fpp представляет собой коэффициент ионосферной неопределенности, а тvert — смоделированное стандартное отклонение ошибки ионосферной задержки.
, (2)где \theta_{ir} — угол возвышения i-го спутника GPS в радианах. Члены данного выражения Re и hl должны определяться следующим образом: Re = 6378136,0 м; hl = 350000,0 м.
Значение тvert должно получаться на основании данных из действующей редакции ИКД GPS:
\psi = \frac{0,0137}{(E_{i} + 0,11)} - 0,022 , (3)
\phi_{i} = \phi_{U} + \psi cos(\alpha_{i}) , (4)
IF(\phi_{i}>0,416),\phi_{i} = 0,416 , (5)
IF(\phi_{i}< - 0,416),\phi_{i} = - 0,416 , (6)
\lambda_{i} = \lambda_{U} + \frac{\psi sin(\alpha_{i})}{cos(\phi_{i})} , (7)
\phi_{m} = \phi_{i} + 0,064cos(\lambda_{i} - 1,617) , (8)
\phi_{md} = \phi_{m} \cdot 180 , (9)
IF(|\phi_{md}|<20),\text{т}_{vert}^{2} = 81m^{2} , (10)
IF(20<|\phi_{md}|<55),\text{т}_{vert}^{2} = 20,25m^{2} , (11)
IF(55 \leq |\phi_{md}|),\text{т}_{vert}^{2} = 36m^{2} , (12)
где Ei — угол возвышения i-го спутника GPS;
\phi_{U} — широта потребителя;
\lambda_{U} — долгота потребителя;
\lambda_{i} — азимут i-го спутника GPS.
Параметры Ei, \psi , \lambda_{i} , \phi_{i} и \phi_{m} — в полуциклах, а параметр \phi_{md} — в градусах.
\sigma_{i,air} представляет собой стандартное отклонение ошибки в измерении i-го спутника GPS из-за вклада приемника, включающее шум из-за многолучевости и шум приемника, смоделированный как гауссова последовательность (белый шум) с наборами данных, которые не коррелированы по времени.
\sigma_{i,air} = (\sigma_{noise,GPS}^{2}[i] + \sigma_{multipath}^{2}[i] + \sigma_{divg}^{2}[i])^{\frac{1}{2}} . (13)
Первое и третье слагаемые в выражении (13) следует принять как константы с учетом работы ГЛОНАСС/GPS приемника в условиях минимальной мощности. Для целей офлайн-тестирования наихудшая ситуация для спутника GPS должна устанавливаться следующим образом:
(\sigma_{noise,GPS}^{2}[i] + \sigma_{divg}^{2}[i])^{\frac{1}{2}} = 0,36\text{м}. (14)
Составляющая за многолучевость должна определяться как
\sigma_{multipath}[i] = 0,13 + 0,53e^{( - \theta_{i}10deg)} , (15)
где \theta_{i} — угол возвышения i-го спутника GPS в градусах;
\sigma_{i,tropo} — это стандартное отклонение ошибки оценки тропосферной задержки в измерении i-го спутника GPS. Оно должно моделироваться как гауссова случайная величина с нулевым математическим ожиданием:
\sigma_{i,tropo} = (\sigma_{TVE} \cdot m(\theta_{ir})) , м, (16)
m(\theta_{ir}) = \frac{1,001}{\sqrt{0,002001 + sin_{2}(\theta_{ir})}} , (17)
где \sigma_{TVE} = 0,12\text{м} .
4.7.2 Модель погрешностей для измерений ГЛОНАСС
Остаточная ошибка для дальномерных измерений ГЛОНАСС для «здоровых» спутников ГЛОНАСС должна моделироваться следующим образом:
\sigma_{GLO,i}^{2} = (\alpha_{Ft} \cdot Ft_{i})^{2} + \sigma_{i,UIRE}^{2} + \sigma_{i,air}^{2} + \sigma_{i,tropo}^{2} + \sigma_{i,dt}^{2} , (18)
где \sigma_{GLO,i} — стандартное отклонение в измерении псевдодальности i-го спутника ГЛОНАСС;
Fti — фактор точности измерения ГЛОНАСС, характеризующий прогнозируемую ошибку измерения псевдодальности ГЛОНАСС, обусловленную набором данных (эфемеридной и частотно-временной информации). Ft должен принимать консервативное значение 6,0 м, позволяющее обеспечить соответствие текущему гарантированному порогу целостности (NTE) для ГЛОНАСС, равному 70 м, с учетом использования множителя \alpha_{Ft} ;
\alpha_{Ft} — множитель для текущего значения фактора точности измерения ГЛОНАСС, передаваемого со спутника. \alpha_{Ft} должен принимать значение 3, позволяющее вместе с консервативным значением Ft соответствовать текущему гарантированному порогу целостности (NTE) для ГЛОНАСС, равному 70 м.
Значение тvert должно получаться на основании данных из действующей редакции ИКД GPS, но с подстановкой в формулы параметров спутника ГЛОНАСС:
\psi = \frac{0,0137}{(E_{i} + 0,11)} - 0,022 , (19)
\phi_{i} = \phi_{U} + \psi cos(\alpha_{i}) , (20)
IF(\phi_{i}>0,416),\phi_{i} = 0,416 , (21)
IF(\phi_{i}< - 0,416),\phi_{i} = - 0,416 , (22)
\lambda_{i} = \lambda_{U} + \frac{\psi sin(\alpha_{i})}{cos(\phi_{i})} , (23)
\phi_{m} = \phi_{i} + 0,064cos(\lambda_{i} - 1,617) , (24)
\phi_{md} = \phi_{m} \cdot 180 , (25)
IF(|\phi_{md}|<20),\text{т}_{vert}^{2} = 81m^{2} , (26)
IF(20<|\phi_{md}|<55),\text{т}_{vert}^{2} = 20,25m^{2} , (27)
IF(55 \leq |\phi_{md}|),\text{т}_{vert}^{2} = 36m^{2} , (28)
где Ei — угол возвышения i-го спутника ГЛОНАСС;
\phi_{U} — широта потребителя;
\lambda_{U} — долгота потребителя;
\lambda_{i} — азимут i-го спутника ГЛОНАСС.
Параметры Ei, \psi , \lambda_{i} , \phi_{i} , \phi_{m} — в полуциклах, а параметр \phi_{md} — в градусах.
\sigma_{i,air} = (\sigma_{noise,GLO}^{2}[i] + \sigma_{multipath}^{2}[i] + \sigma_{divg}^{2}[i])^{\frac{1}{2}} . (29)
Первое и третье слагаемые в выражении (29) следует принять как константы с учетом работы ГЛОНАСС/GPS приемника в условиях минимальной мощности. Для целей офлайн-тестирования наихудшая ситуация для спутника ГЛОНАСС должна устанавливаться следующим образом:
(\sigma_{noise,GPS}^{2}[i] + \sigma_{divg}^{2}[i])^{\frac{1}{2}} = 0,72\text{м}. (30)
Составляющая за многолучевость для измерений ГЛОНАСС тоже может быть определена как
\sigma_{multipath}[i] = 0,13 + 0,53e^{( - \theta_{i}10deg)} , (31)
\sigma_{i,tropo} = (\sigma_{TVE} \cdot m(\theta_{ir})) , м, (32)
m(\theta_{ir}) = \frac{1,001}{\sqrt{0,002001 + sin_{2}(\theta_{ir})}} , (33)
где \sigma_{TVE} = 0,12\text{м} .
\sigma_{i,dt} — это стандартное отклонение ошибки в измерении i-го спутника ГЛОНАСС из-за вклада приемника, включающее межлитерные задержки сигналов ГЛОНАСС при прохождении через радиоприемный тракт приемника. Для целей офлайн-тестирования может быть принято на уровне 1,0 — 1,5 м.
Влияние шума от следящей системы ГЛОНАСС/GPS должно быть смоделировано с помощью белого шума со значениями (СКО), характерными для испытываемого оборудования с минимальным соотношением «сигнал — шум». Белый шум должен генерироваться в виде гауссовой последовательности с наборами данных, которые не коррелированы во времени. Интервал набора данных, используемый при офлайн-тестировании, не должен превышать 1 с.
Для каждого спутника, используемого в навигационном решении и работе алгоритма контроля целостности с использованием методов искусственного интеллекта, должны применяться различающиеся шумовые наборы данных. Для каждого нового прогона должен генерироваться и применяться новый набор шумовых данных.
При выполнении всех прогонов при офлайн-тестировании параметры движения спутников ГЛОНАСС и GPS, участвующих в навигационном решении и работе алгоритма контроля целостности, должны быть установлены в 0, а координаты местоположения каждого спутника должны быть установлены в значения, соответствующие выбранной ПВГ, и «заморожены». Выполнение этого требования позволит обеспечить неизменяющееся значение HPLFD в течение всего времени прогона соответствующего офлайн-сценария.
Все офлайн-тестирование базируется на допущении, что все дальномерные измерения GPS имеют идентичные между собой модели ошибок и что все дальномерные измерения ГЛОНАСС имеют идентичные между собой модели ошибок.
Аппаратура ГЛОНАСС/GPS должна определять весовой коэффициент для каждого дальномерного измерения, основываясь на оценочной остаточной ошибке этого измерения.
4.8 Идеология тестирования на невыдачу сигнала предупреждения и неудавшееся исключение
4.8.1 Характеристики, требующие подтверждения
В процессе офлайн-тестирования должны быть статистически подтверждены следующие значения характеристик:
- вероятность невыдачи сигнала предупреждения (Pma) должна быть не более 10-4;
- вероятность неудавшегося исключения (Pfe) — не более 10-4.
4.8.2 Объем проверок
Проверка соответствия значениям характеристик должна быть выполнена отдельно для каждого режима отказа, установленного в качестве минимальных требований к алгоритму контроля целостности с использованием методов искусственного интеллекта:
- единичного отказа спутника ГЛОНАСС;
- единичного отказа спутника GPS;
- комбинации из двух независимых единичных отказов спутников ГЛОНАСС;
- комбинации из единичного отказа спутника ГЛОНАСС и единичного отказа спутника GPS;
- системного отказа ГЛОНАСС;
- комбинации из единичного отказа спутника GPS и системного отказа ГЛОНАСС;
- комбинации из единичного отказа спутника ГЛОНАСС и системного отказа ГЛОНАСС.
Вместе с этим рекомендуется, чтобы производителем дополнительно было выполнено тестирование для дополнительных режимов отказа:
- комбинации из двух независимых единичных отказов спутников GPS;
- комбинации из двух независимых единичных отказов спутников ГЛОНАСС и единичного отказа спутника GPS.
4.8.3 Размер набора данных
Размер набора данных, который позволит обеспечить репрезентативность для статистического подтверждения значений характеристик, может быть определен следующим образом:
n = \frac{Z^{2} \cdot p \cdot q}{e^{2}} , (34)
Z — нормированное отклонение, определяемое исходя из выбранного уровня доверительности. Этот показатель характеризует вероятность попадания результатов в специальный доверительный интервал. На практике уровень доверительности (доверительная вероятность) часто принимается как 95% или 99%. Тогда значения Z будут равны 1,96 и 2,58 соответственно;
p — вариация для набора данных, в долях. По сути, p — это вероятность того, что будет выбран тот или иной вариант события;
e — допустимая ошибка в долях.
Число прогонов (размер набора данных) должно обеспечивать высокую вероятность успешного прохождения испытаний и низкую вероятность ложного прохождения испытаний. Поэтому для данных офлайн-тестов целесообразно принять следующее предположение: вероятность того, что правильно спроектированный ГЛОНАСС/GPS приемник с положительным результатом пройдет тестирование на невыдачу сигнала предупреждения и на неудавшееся исключение составляет 99%. Соответственно, вероятность того, что ГЛОНАСС/GPS приемник не пройдет данное испытание, составляет 1%. Следовательно, Z примет значение 2,58.
Ошибка выборочного исследования e определяет точность, с которой оценивается доля положительных результатов для события в исследуемом наборе данных. Положительным результатом для этих тестов будут события «Правильного обнаружения отказа» и «Корректного исключения отказа». Соответственно, ошибка e — это доля отрицательных результатов, которыми будут события «Невыдача сигнала предупреждения» и «Неудавшееся исключение». В соответствии с установленными требованиями вероятность невыдачи сигнала предупреждения (Pma) должна быть меньше и равной 0,0001. Тогда на основании выражения (34) получаем:
n = \frac{(2,58)^{2} \cdot 0,99 \cdot 0,01}{(0,0001)^{2}} @6600000 .
Аналогичным образом для вероятности неудавшегося исключения (Pfe не более 0,0001) размер набора данных также составляет 6 600 000.
4.8.4 Количество геометрий
Для целей офлайн-тестирования алгоритма контроля целостности с использованием методов искусственного интеллекта должно быть выбрано 40 ПВГ для каждого из режимов отказа.
40 ПВГ для каждого из режимов отказа должны выбираться из общего массива ПВГ, который должен содержать 338 832 точки.
4.8.5 Количество прогонов для каждой геометрии
Размер набора данных фактически является предварительным требованием по общему количеству прогонов, необходимому для статистического подтверждения требований по Pma и Pfe при тестировании на 40 выбранных ПВГ. Следовательно, количество прогонов для каждой ПВГ будет определяться как соотношение размера набора данных и количества выбранных ПВГ и составит: 6 600 000/40 = 165 000.
4.8.6 Предварительная оценка критериев прохождения проверок
Ниже выполнена оценка для двух способов определения критериев прохождения проверок:
А) Прямой (арифметический) метод
Общее количество прогонов для наборов SET1 и SET2, каждый из которых включает 20 ПВГ, предварительно составляет 3 300 000.
Этому количеству прогонов соответствуют подлежащие подтверждению значения характеристик Pma и Pfe. Таким образом, с учетом того, что проверки характеристик по невыдаче сигнала предупреждения и по неудавшемуся исключению проводятся совместно, количество допустимых событий, которые могут использоваться в качестве критериев успешного прохождения испытаний при оценке результатов офлайн-тестирования для любого из наборов SET1 и SET2, можно определить следующим образом:
где Kma — критерий по допустимому количеству событий невыдачи сигнала предупреждения при оценке результатов офлайн-тестирования;
Kfe — критерий по допустимому количеству событий неудавшегося исключения при оценке результатов офлайн-тестирования.
При этом при тестировании GPS приемников общее количество допустимых событий для Pma и Pfe составляет 47, что практически на порядок меньше, чем получено выше.
С целью оптимизации времени офлайн-тестирования ГЛОНАСС/GPS приемника на невыдачу сигнала предупреждения и неудавшееся исключение, полученные выше результаты предварительных оценок могут быть пересмотрены и уточнены следующим образом:
- количество геометрий может быть сохранено в качестве требования к методикам, поскольку оно обеспечивает унификацию с методиками тестирования GPS и GPS/SBAS приемников;
- принимая во внимание тот факт, что полученное предварительное количество прогонов в 100 раз больше, а соответствующее ему предварительное значение критериев (330 допустимых событий) для оценки результатов тестирования получилось на порядок больше, чем в аналогичных методиках тестирования GPS приемников, целесообразным представляется комплексно и пропорционально уменьшить количество прогонов и значения критериев:
- при офлайн-тестировании на невыдачу сигнала предупреждения и на неудавшееся исключение может быть выполнено не менее 16500 прогонов для каждой из 40 ПВГ, определенной для каждого из режимов отказа.
- количество допустимых событий, которые могут использоваться в качестве критериев успешного прохождения испытаний при оценке результатов офлайн-тестирования для любого из наборов SET1 и SET2, составляет:
Б) Метод биноминального распределения
Как уже было отмечено выше, при тестировании GPS приемников общее количество допустимых событий для Pma и Pfe составляет 47. Такое значение критерия основано на биноминальном распределении и получено при моделировании в среде Mathlab с использованием функции y = binocdf(x,N,p) (функция кумулятивного биноминального распределения).
В качестве шага с применением этой функции было выполнено проверочное моделирование с использованием исходных данных для GPS:
- количество допустимых событий — 47;
- размер набора данных — 33 000;
- предельное значение Pma, Pfe = 0,001.
Моделирование дало следующие результаты:
- вероятность того, что спроектированное надлежащим образом (Pma, Pfe = 0,001) GPS оборудование пройдет тестирование с положительным результатом, составляет 0,9917;
- вероятность того, что спроектированное ненадлежащим образом (Pma, Pfe = 0,002) GPS оборудование пройдет тестирование с положительным результатом, составляет 0,008682.
В качестве второго шага с использованием этой же функции было выполнено проверочное моделирование для исходных данных и результатов, полученных выше для ГЛОНАСС/GPS приемника:
- количество допустимых событий — 33;
- размер набора данных — 330 000;
- предельное значение Pma, Pfe = 0,0001.
Моделирование дало следующие результаты:
- вероятность того, что спроектированный надлежащим образом (Pma, Pfe = 0,0001) ГЛОНАСС/GPS приемник пройдет тестирование с положительным результатом, составляет 0,5461;
- вероятность того, что спроектированный ненадлежащим образом (Pma, Pfe = 0,0002) ГЛОНАСС/GPS приемник пройдет тестирование с положительным результатом, составляет 5,39·10-6.
Как видно из результатов, при использовании критерия «33», определенного в результате прямого (арифметического) метода, вероятность успешного прохождения тестов существенно ниже, чем для GPS. Очевидно, что для сохранения одинакового уровня строгости с GPS критерий по допустимому количеству событий должен быть пересмотрен. Поэтому в качестве следующего шага был выполнен подбор значения X-критерия, который обеспечил бы соответствующий уровень строгости. Исходные данные:
- количество допустимых событий — X;
- размер набора данных — 330 000;
- предельное значение Pma, Pfe = 0,0001.
В результате моделирования было определено, что требуемый уровень строгости позволяет получить значение критерия, равное 47:
- вероятность того, что спроектированный надлежащим образом (Pma, Pfe = 0,0001) ГЛОНАСС/GPS приемник пройдет тестирование с положительным результатом, составляет 0,9917;
- вероятность того, что спроектированный ненадлежащим образом (Pma, Pfe = 0,0002) ГЛОНАСС/GPS приемник пройдет тестирование с положительным результатом, составляет 0,008729.
Как видно из результатов моделирования, обеспечивается полная гармонизация с условиями, принятыми для GPS. Поэтому значение 47 обоснованно принимается в качестве критериев прохождения проверок ГЛОНАСС/GPS приемника по невыдаче сигнала предупреждения (Pma) и по неудавшемуся исключению (Pfe).
4.9 Идеология тестирования на выдачу ложного сигнала предупреждения
Частота выдачи ложных сигналов предупреждения об отказах — это частота, с которой ГЛОНАСС/GPS приемник сигнализирует внешнему потребителю о том, что его местоположение вышло за пределы HPL, хотя его текущее местоположение все еще остается в пределах HPL (не произошло отказа в определении местоположения).
Выдача ложного сигнала предупреждения не зависит от геометрического расположения видимых спутников ГЛОНАСС и GPS. Возникновение этого события может быть привнесено ошибкой, вызванной ионосферным отражением или собственными шумами ГЛОНАСС/GPS приемника.
При проведении тестирования отказы спутников или созвездия не должны вноситься.
4.9.1 Характеристики, требующие подтверждения
В процессе офлайн-тестирования, должны быть статистически подтверждены следующие значения характеристик:
- вероятность выдачи ложного сигнала предупреждения (Pfa) — не более 3,33·10-7 на заход (или не более 10-5 за час полета).
4.9.2 Объем проверок
С учетом того, что при тестировании на выдачу ложного сигнала предупреждения отказы не вносятся, это означает: выдача ложного сигнала предупреждения не зависит от режима отказа. Таким образом, проверка соответствия значению характеристики может быть выполнена только один раз.
4.9.3 Определение размера набора данных
Для целей офлайн-тестирования ГЛОНАСС/GPS приемника для проверки соответствия установленным требованиям по Pfa принимается общий размер набора данных, равный 99 000 000.
4.9.4 Определение количества геометрий
Для целей офлайн-тестирования алгоритма контроля целостности с использованием методов искусственного интеллекта может быть использовано 40 ПВГ из наборов SET1 и SET2, выбранных для любого из режимов отказа.
4.9.5 Определение количества прогонов для каждой геометрии
При офлайн-тестировании на выдачу ложного сигнала предупреждения должно быть выполнено не менее 2 475 000 прогонов для каждой из 40 выбранных ПВГ.
4.9.6 Критерии прохождения проверок
С учетом унификации размера набора данных и количества ПВГ для использования при офлайн-тестировании ГЛОНАСС/GPS приемника на соответствие требованиям по Pfa, количество допустимых событий, которое должно применяться в качестве критериев успешного прохождения проверок при оценке результатов офлайн-тестирования для всего массива из 40 ПВГ, будет установлено следующим образом:
- суммарное количество сигналов предупреждения для всех выбранных 40 ПВГ — не более 47;
- количество сигналов предупреждения для любой отдельно взятой ПВГ — не более 3.
Соответствие первому критерию должно гарантировать соответствие главному требованию по Pfa. Соответствие второму критерию должно гарантировать, что для любого из проверяемых местоположений (ПВГ) будет отсутствовать аномальная концентрация ложных предупреждений.
С использованием функции y = binocdf(x,N,p) выполнено проверочное моделирование с исходными данными:
- количество допустимых событий — 47;
- размер набора данных — 99 000 000;
- предельное значение Pfa = 3,33·10-7.
Моделирование дало следующие результаты:
- вероятность того, что спроектированный надлежащим образом (Pfa = 3,33·10-7) ГЛОНАСС/GPS приемник пройдет тестирование с положительным результатом, составляет 0,9918;
- вероятность того, что спроектированный ненадлежащим образом (Pfa = 6,66·10-7) ГЛОНАСС/GPS приемник пройдет тестирование с положительным результатом, составляет 0,0089.
4.10 Требования к онлайн-тестированию
Онлайн-тестирование должно подтверждать то, что алгоритмы навигационного решения и контроля целостности с использованием методов искусственного интеллекта, проверенные в процессе офлайн-тестирования, аналогичны по своим функциям, характеристикам и схожи по результатам вычислений.
Онлайн-тестирование должно проводиться в реальном времени.
4.11 Требования к условиям онлайн-тестирования
При выполнении онлайн-тестирования предполагается, что в аппаратуре ГЛОНАСС/GPS реализованы модели погрешностей дальномерных измерений GPS и ГЛОНАСС. При этом:
а) В онлайн-сценарии уровни значений Ft и URA должны соответствовать реальным значениям, которые передаются в составе данных реальных сигналов ГЛОНАСС и GPS соответственно. Согласно результатам наблюдений наиболее распространенное значение Ft составляет 4,0 м, в то время как наиболее распространенное значение URA — 2,4 м.
б) Ионосферная ошибка, связанная с использованием ионосферных коррекций по модели GPS, описана следующей моделью. Эта модель может быть применима и для измерений GPS, и для измерений ГЛОНАСС:
\sigma_{i,UIRE}^{2} = MAX\{(\frac{c \cdot T_{iono})}{5})^{2} \cdot (F_{pp} \cdot \text{т}_{vert})^{2}\} , (35)
где c — скорость света в вакууме (2,99792458·108 м/с);
Tiono — ионосферная поправка для измерения, вычисленная по модели Клобучара. Для измерения ГЛОНАСС вычисленная по модели поправка должна умножаться на коэффициент пересчета:
где fGPS — значение несущей частоты GPS L1 (1575,0 МГц);
fGLO — значение центрального значения несущей частоты ГЛОНАСС L1 (1602,0 МГц).
в) Шум аппаратуры ГЛОНАСС/GPS в сигналах ГЛОНАСС и GPS должен моделироваться на уровне показателей, соответствующих условиям приема реальных сигналов ГЛОНАСС и GPS.
г) Соотношение «сигнал — шум» должно моделироваться на уровне показателей, соответствующих условиям приема реальных сигналов ГЛОНАСС и GPS.
5 Методы контроля и испытаний
Характеристики алгоритма контроля целостности с использованием методов искусственного интеллекта должны быть подтверждены в условиях как офлайн-, так и онлайн-тестирования.
Офлайн-тестирование предназначено для статистической проверки характеристик, основанной на применении статистического набора данных (прогонов) требуемого размера.
Онлайн-тестирование предназначено для проверки характеристик в реальном времени на целевом вычислителе аппаратуры ГЛОНАСС/GPS.
5.1 Состав проверок для офлайн-тестирования
Проверка характеристик алгоритма контроля целостности с использованием методов искусственного интеллекта методом офлайн-тестирования должна включать следующие испытания:
- тестирование характеристик алгоритма контроля целостности по невыдаче сигнала предупреждения и по неудавшемуся исключению;
- тестирование характеристик алгоритма контроля целостности по выдаче ложного сигнала предупреждения.
5.2 Состав проверок для онлайн-тестирования
Проверка характеристик алгоритма контроля целостности с использованием методов искусственного интеллекта методом онлайн-тестирования должна проводиться для каждого из режимов отказа, установленных в качестве минимальных требований к алгоритму контроля целостности ГЛОНАСС/GPS:
- единичного отказа спутника ГЛОНАСС;
- единичного отказа спутника GPS;
- комбинации из двух независимых единичных отказов спутников ГЛОНАСС;
- комбинации из единичного отказа спутника ГЛОНАСС и единичного отказа спутника GPS;
- системного отказа ГЛОНАСС;
- комбинации из единичного отказа спутника GPS и системного отказа ГЛОНАСС;
- комбинации из единичного отказа спутника ГЛОНАСС и системного отказа ГЛОНАСС.
Вместе с этим рекомендуется, чтобы производителем было выполнено онлайн-тестирование для дополнительных режимов отказа в том случае, если для этих режимов было выполнено офлайн-тестирование:
- комбинации из двух независимых единичных отказов спутников GPS;
- комбинации из двух независимых единичных отказов спутников ГЛОНАСС и единичного отказа спутника GPS.
5.3 Методы испытаний
5.3.1 Методология для офлайн-тестирования характеристик алгоритма контроля целостности ГЛОНАСС/GPS приемника с использованием методов искусственного интеллекта в части невыдачи сигнала предупреждения и неудавшегося исключения предполагает следующие шаги.
Входными данными для расчета являются альманах спутников ГЛОНАСС и альманах спутников GPS. По данным альманахов для каждой ПВГ выполняют прогноз видимых спутников ГЛОНАСС и GPS с учетом маски по углу возвышения, равному 5°.
- Шаг второй. Из полученного массива в 338832 ПВГ для всех тестируемых режимов отказа выбирают наборы геометрий SET1 и SET2, каждый из которых должен содержать по 20 ПВГ:
- SET1 должен включать такие 20 ПВГ, для каждой из которых прогнозируемое значение HPLFD находится в диапазоне от 185 м (0,1 м. мили) до 556 м (0,3 м. мили) и обеспечивается его примерная линейность.
- SET2 должен включать такие 20 ПВГ, для каждой из которых прогнозируемое значение HELFD находится в диапазоне от 185 м (0,1 м. мили) до 556 м (0,3 м. мили) и обеспечивается его примерная линейность.
В случае если для SET1 и/или SET2 не обеспечивается возможность получить набор геометрий в достаточном количестве и в соответствии с требованиями, указанными выше, допускается выполнить деселекцию спутников из базового альманаха ГЛОНАСС и GPS в минимальном объеме, обеспечивающем получения требуемых наборов ПВГ.
Приемлемыми методами резекции альманаха могут быть:
- ручное выключение отдельных спутников, при котором сигнал спутника и его данные будут иметь признак «нездоров», или
- выполнение расчета массива геометрий (из 338832 ПВГ) с более высоким (чем 5°) значением маски по углу возвышения.
Также могут применяться другие методы деселекции спутников.
- Шаг третий. Для каждой ПВГ, выбранной для набора SET1 или SET2, выстраивают офлайн-сценарий. Входными данными для построения являются координаты i-й ПВГ (широта и долгота) и время, на которое данная ПВГ была рассчитана, а также альманах спутников ГЛОНАСС и GPS.
Длительность офлайн-сценария целесообразно выбрать равной 300 с. Это позволит обеспечить перекрытие пятиминутного интервала времени между опорным временем, на который была рассчитана i-я ПВГ, и опорным временем следующей ПВГ.
- Шаг четвертый. Каждый офлайн-сценарий запускают на выполнение и при этом моделируют условия отказа, соответствующие конкретному режиму отказа. Тестирование проводят методом Монте-Карло. Условия отказа вносят в момент времени, соответствующий времени расчета выбранной ПВГ (т.е. t0).
Для ПВГ из набора SET1 отказ вносят в спутник (спутники), являющийся самым сложным для обнаружения отказа. Для ПВГ из набора SET2 отказ вносят в спутник (спутники), являющийся самым сложным для исключения отказа.
Каждый прогон для ПВГ из SET1 должен прекращаться при наступлении одного из трех условий:
- корректное исключение — событие, когда отказ правильно исключен до того, как погрешность горизонтальных координат превысила HPLFD в течение времени, превышающего ТТА;
- неудавшееся исключение — событие, когда навигационное предупреждение выдано вследствие выявления условий «отказа местоположения»;
- пропущенное предупреждение — событие, когда погрешность горизонтальных координат превышает HPLFD в течение времени, превышающего ТТА, без выдачи сигнала предупреждения.
Каждый прогон для ПВГ из SET2 должен прекращаться при наступлении одного из трех условий:
- корректное исключение — событие, когда отказ правильно исключен до того, как погрешность горизонтальных координат превысила HELFD в течение времени, превышающего ТТА;
- неудавшееся исключение — событие, когда навигационное предупреждение выдано, когда погрешность горизонтальных координат превысила HELFD в течение времени, превышающего ТТА;
- пропущенное предупреждение — событие, когда погрешность горизонтальных координат превышает HELFD в течение времени, превышающего ТТА, без выдачи сигнала предупреждения.
Результаты прогонов должны быть зарегистрированы в файлах протоколов для последующего анализа.
- Шаг пятый. Зарегистрированные результаты проверяют на соответствие установленным критериям успешного прохождения проверок. Если подтверждается соответствие — тогда результаты офлайн-тестирования на невыдачу сигнала предупреждения и на неудавшееся исключение следует считать положительными. В противном случае причины неудовлетворительных результатов должны быть выявлены и проанализированы, алгоритм контроля целостности — доработан и подвергнут повторному тестированию.
5.3.2 Методология для онлайн-тестирования характеристик алгоритма контроля целостности ГЛОНАСС/GPS приемника с использованием методов искусственного интеллекта включает следующие шаги.
- Шаг первый. Выполняют выбор пяти ПВГ для каждого из тестируемых режимов отказа. ПВГ выбирают из тех 40 ПВГ, которые были определены для наборов SET1 и SET2 и использованы далее при офлайн-тестировании характеристик FDE в условиях соответствующего режима отказа.
Каждая выбранная ПВГ должна иметь относительно постоянные значения HPLFD и HELFD в течение всей длительности онлайн-сценария.
Таким образом, минимально необходимый объем проверок при онлайн-тестировании будет включать от 35 до 45 испытаний.
- Шаг второй. Для каждой выбранной ПВГ выстраивают онлайн-сценарий. Входными данными для построения должны быть координаты ПВГ (широта и долгота) и время, на которое данная ПВГ была рассчитана, и альманах спутников ГЛОНАСС и GPS.
При этом в онлайн-сценарии уже должны быть смоделированы условия отказа, соответствующие конкретному режиму отказа. Для ПВГ из набора SET1 отказ вносят в спутник (спутники), являющийся самым сложным для обнаружения отказа. Для ПВГ из набора SET2 отказ вносят в спутник (спутники), являющийся самым сложным для исключения отказа.
Таким образом, для i-й ПВГ, выбранной для целей онлайн-тестирования, будут моделироваться те же условия отказа в измерениях тех же спутников, что и при офлайн-тестировании. Это должно позволить предъявлять требования по определенной сходимости результатов офлайн- и онлайн-тестирования.
-
Шаг третий. Каждый онлайн-сценарий запускают на выполнение. Результаты тестирования регистрируют в файлах протоколов для последующего анализа.
-
Шаг четвертый. Зарегистрированные результаты проверяют на соответствие установленным критериям успешного прохождения проверок. Если подтверждается соответствие — результаты онлайн-тестирования следует считать положительными. В противном случае причины неудовлетворительных результатов должны быть выявлены и проанализированы, алгоритм контроля целостности — доработан и подвергнут повторному циклу тестирования.
5.3.3 Критерии оценки результатов тестирования
Итоговые результаты тестирования должны соответствовать следующим условиям.
-
Алгоритм контроля целостности ГЛОНАСС/GPS приемника с использованием методов искусственного интеллекта способен обнаружить спутники GPS и/или ГЛОНАСС, в измерениях которых моделируются условия отказа.
-
Алгоритм контроля целостности ГЛОНАСС/GPS приемника с использованием методов искусственного интеллекта способен исключить из навигационного решения спутники GPS и/или ГЛОНАСС, в измерениях которых моделируются условия отказа.
-
Расхождение между значениями HPLFD, получаемыми в результате офлайн- и онлайн-тестирования, может выходить за предел 50 м на интервале времени, не превышающем 10 с.
-
Наблюдается сходимость модели поведения ГЛОНАСС/GPS приемника при выполнении обнаружения и исключения отказавших спутников GPS и/или ГЛОНАСС в процессе офлайн- и онлайн-тестирования.
СЦЕНАРИИ ИМИТАЦИИ СИГНАЛОВ СПУТНИКОВЫХ НАВИГАЦИОННЫХ СИСТЕМ ГЛОНАСС/GPS ДЛЯ ИСПЫТАНИЯ АЛГОРИТМА КОНТРОЛЯ ЦЕЛОСТНОСТИ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Данное приложение является продолжением приложения Б ПНСТ 788-2022.
1 Исходные данные для разработки сценария «Avia2»
1.1 Аппаратура расположена в точке с координатами: 3.00000°N, 69°E, высотой над референц-эллипсоидом 150 м.
1.2 Спутниковая группировка GPS заморожена.
1.3 В 23.34.23 UTC в измерения спутника Sat_ID(10) начинает вводиться возрастающая ошибка со скоростью 5 м/с.
1.4 В 23.39.23 UTC в измерения спутника Sat_ID(11) начинает вводиться возрастающая ошибка со скоростью 5 м/с.
1.5 В 23.44.23 UTC в измерения спутника Sat_ID(10) начинает вводиться убывающая ошибка со скоростью 5 м/с.
1.6 В 23.49.23 UTC в измерения спутника Sat_ID(11) начинает вводиться убывающая ошибка со скоростью 5 м/с.
Исходные данные для разработки сценария «Avia2»
2 Исходные данные для разработки сценария «Avia3»
2.1 Аппаратура расположена в точке с координатами: 3.00000°N, 111.00000°E, высотой над референц-эллипсоидом 150 м.
2.2 Спутниковая группировка GPS заморожена; в 23.34.23 UTC в измерения спутника Sat_ID(9) и спутника Sat_ID(18) начинает вводиться возрастающая ошибка со скоростью 5 м/с.
2.3 В 23.39.34 UTC в измерения спутника Sat_ID(9) и спутника Sat_ID(18) начинает вводиться убывающая ошибка со скоростью 5 м/с.
2.4 В 23.44.34 UTC в измерениях спутника Sat_ID(9) и спутника Sat_ID(18) ошибок нет.
Исходные данные для разработки сценария «Avia3»
3 Исходные данные для разработки сценария «Avia4»
3.1 Аппаратура расположена в точке с координатами: 3.00000°N, 165.00000°W, высотой над референц-эллипсоидом 150 м.
3.2 Спутниковая группировка GPS заморожена.
3.3 В 23.34.23 UTC в измерения спутника Sat_ID(6) и спутника Sat_ID(8) начинает вводиться возрастающая ошибка со скоростью 5 м/с.
3.4 В 23.39.34 UTC в измерения спутника Sat_ID(6) и спутника Sat_ID(8) начинает вводиться убывающая ошибка со скоростью 5 м/с.
3.5 В 23.44.34 UTC в измерениях спутника Sat_ID(6) и спутника Sat_ID(8) ошибок нет.
Исходные данные для разработки сценария «Avia4»
4 Исходные данные для разработки сценария «Avia5»
4.1 Аппаратура расположена в точке с координатами: 42.00000°N, 64.00000°W, высотой над референц-эллипсоидом 150 м.
4.2 Спутниковая группировка GPS заморожена.
4.3 В 23.34.23 UTC в измерения спутника Sat_ID(4) начинает вводиться возрастающая ошибка со скоростью 0,5 м/с.
Исходные данные для разработки сценария «Avia5»
5 Исходные данные для разработки сценария «Avia6»
5.1 Аппаратура расположена в точке с координатами: 39.00000°N, 33.00000°W, высотой над референц-эллипсоидом 150 м.
5.2 Спутниковая группировка GPS заморожена.
5.3 В 23.34.23 UTC в измерения спутника Sat_ID(3) начинает вводиться возрастающая ошибка со скоростью 0,1 м/с.
Исходные данные для разработки сценария «Avia6»
6 Исходные данные для разработки сценария «aeh_err2»
6.1 Имитируемые НКА:
6.2 В течение сценария aeh_err2 происходит скачкообразное изменение дальности от 0 до 1000 м должно быть у двух НКА (ГЛОНАСС и GPS) и возрастание ошибки дальности со скоростью 82,6 м/с у двух НКА (ГЛОНАСС и GPS).
6.3 Модель движения движение по дуге со скоростью 333 м/с (1200 км/ч д.б. 1390 км/ч) и центростремительным ускорением 0,58 м/с2 д.б. 14,7 м/с2 на высоте 5 км. Радиус круга 191,2 км.
6.4 Продолжительность сценария 45 мин.
6.5 Дата и время начала навигационных сообщений: 10-10-2010, 22:00.
Исходные данные для разработки сценария «aeh_err2»
7 Исходные данные для разработки сценария «AAsc_gps»
Исходные данные для разработки сценария «AAsc_gps»