ГОСТ Р 72030.2-2026. Национальный стандарт Российской Федерации. Умный город. Системы фотовидеофиксации в сфере городского управления, работающие в автоматическом режиме. Часть 2. Методология оценки эксплуатационных характеристик программ
(утв. и введен в действие Приказом Росстандарта от 21.01.2026 № 18-ст)
Примечание
Документ введен в действие с 30.06.2026.
Утвержден и введен в действие
Приказом Федерального агентства
по техническому регулированию
и метрологии
от 21 января 2026 г. № 18-ст
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ФОТОВИДЕОФИКСАЦИИ В СФЕРЕ ГОРОДСКОГО УПРАВЛЕНИЯ,
РАБОТАЮЩИЕ В АВТОМАТИЧЕСКОМ РЕЖИМЕ
МЕТОДОЛОГИЯ ОЦЕНКИ ЭКСПЛУАТАЦИОННЫХ ХАРАКТЕРИСТИК ПРОГРАММ
Smart city. Photo and video recording systems in the field
of urban management, operating in automatic mode. Part 2.
Methodology for program performance estimation
30 июня 2026 года
1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением «Российский институт стандартизации» (ФГБУ «Институт стандартизации») и Некоммерческим партнерством «Русское общество содействия развитию биометрических технологий, систем и коммуникаций» (Некоммерческое партнерство «Русское биометрическое общество»)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 194 «Кибер-физические системы»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 21 января 2026 г. № 18-ст
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Настоящий стандарт устанавливает требования:
- к проведению эксплуатационных испытаний систем фотовидеофиксации в сфере городского управления, работающих в автоматическом режиме (СФВФ);
- порядку и объему выборки для проведения эксплуатационных испытаний СФВФ;
- принципам и методам оценки эксплуатационных характеристик СФВФ;
- протоколам испытаний СФВФ;
- базовым наборам данных для демонстрации или проверки СФВФ.
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ 15150 Машины, приборы и другие технические изделия. Исполнения для различных климатических районов. Категории, условия эксплуатации, хранения и транспортирования в части воздействия климатических факторов внешней среды
ГОСТ Р 50779.22 Статистические методы. Статистическое представление данных. Точечная оценка и доверительный интервал для среднего
ГОСТ Р 72030.1 Умный город. Системы фотовидеофиксации в сфере городского управления, работающие в автоматическом режиме. Часть 1. Общие требования
Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
В настоящем стандарте применены следующие термины по ГОСТ Р 72030.1, а также следующие термины с соответствующими определениями:
3.1 испытательная лаборатория: Орган, который осуществляет испытания.
Примечание — См. [1].
3.2 экспериментатор: Лицо, несущее ответственность за описание, разработку и анализ испытания.
3.3 администратор испытания: Ответственное лицо, проводящее испытание.
3.4 наблюдатель за испытанием: Ответственное лицо, фиксирующее данные проводимого испытания или наблюдающий за испытуемой группой.
3.5 вероятность ошибки классификации предъявления с признаком нарушения; ВОКПсПН: Доля предъявлений с определенным видом признака нарушения, которые некорректно классифицируют как предъявления без признака нарушения или как предъявления с другим видом признака нарушения, от общего количества предъявлений с данным видом признака нарушения в конкретном сценарии.
3.6 вероятность ошибки классификации предъявления без признака нарушения; ВОКПбПН: Доля предъявлений без признака нарушения, которые некорректно классифицируют как предъявления с признаком нарушения, от общего количества предъявлений без признака нарушения в конкретном сценарии.
3.7 вероятность отсутствия ответа на предъявление с признаком нарушения; ВООПсПН: Доля попыток предъявлений с определенным видом признака нарушения, которые вызывают отсутствие ответа со стороны системы, от общего количества попыток предъявлений с данным видом признака нарушения в конкретном сценарии.
3.8 вероятность отсутствия ответа на предъявление без признака нарушения; ВООПбПН: Доля попыток предъявлений без признака нарушения, которые вызывают отсутствие ответа со стороны системы, от общего количества попыток предъявлений без признака нарушения в конкретном сценарии.
3.9 обобщенная вероятность ошибки классификации предъявления с признаком нарушения; ОВОКПсПН: Доля попыток предъявлений с определенным видом признака нарушения, которые некорректно классифицируют как предъявления без признака нарушения или как предъявления с другим видом признака нарушения, от общего количества попыток предъявлений с данным видом признака нарушения в конкретном сценарии.
3.10 обобщенная вероятность ошибки классификации предъявления без признака нарушения; ОВОКПбПН: Доля попыток предъявлений без признака нарушения, которые некорректно классифицируют как предъявления с признаком нарушения или которые вызывают отсутствие ответа со стороны системы, от общего количества попыток предъявлений без признака нарушения в конкретном сценарии.
3.11 длительность обработки предъявления с признаком нарушения; ДОПсПН: Время, необходимое для классификации системой предъявления с определенным видом признака нарушения.
3.12 длительность обработки предъявления без признака нарушения; ДОПбПН: Время, необходимое для классификации системой предъявления без признака нарушения.
4 Проведение эксплуатационных испытаний
4.1 Виды эксплуатационных испытаний
4.1.1 Общие положения
Технические эксплуатационные испытания СФВФ могут быть трех видов: технологические, сценарные и оперативные.
4.1.2 Технологическое испытание
В процессе технологического испытания выполняют испытание одного или нескольких программных средств обнаружения и классификации СФВФ с использованием базы данных. Сбор базы данных может быть частью испытания, или можно использовать заранее собранную базу данных, доступную экспериментатору. Общие требования к наборам данных для проведения технологических испытаний приведены в 4.4. Несмотря на то что для разработки и настройки СФВФ перед испытанием можно применять демонстрационные данные, фактическое испытание необходимо проводить с теми данными, которые ранее не были доступны разработчикам подсистем обнаружения и классификации.
Испытание проводят путем обработки данных в режиме отложенного задания. Вследствие неизменяемости базы данных результаты технологических испытаний являются воспроизводимыми. Тем не менее эксплуатационные характеристики по отношению к этой базе данных будут зависеть как от внешних условий, так и от выборки. Результаты испытаний заносятся в протокол (см. приложение А).
Примечание — Результаты технологических испытаний являются воспроизводимыми при условии неизменности испытуемой подсистемы обнаружения и классификации.
4.1.3 Сценарное испытание
В процессе сценарного испытания проводят испытание одной или нескольких СФВФ в условиях, моделирующих максимально приближенную к действительности ситуацию.
В рамках сценарного испытания СФВФ происходит проверка предъявлений с признаком нарушения и без признака нарушения. Выходными данными СФВФ являются результаты классификации (бинарный ответ) по каждому предъявлению, которые фиксируются в протоколе наблюдателя за испытанием (см. приложение Б).
Каждая испытуемая система имеет собственный датчик сбора данных, в результате чего могут быть небольшие различия в получаемых начальных данных. Следовательно, если сравниваются несколько СФВФ, необходимо уделить внимание тому, чтобы сбор данных для всех испытуемых систем проходил в одних и тех же условиях окружающей среды и с использованием одной и той же выборки.
В зависимости от требований к испытанию обработка данных может быть как в режиме отложенного задания, так и в режиме реального времени. Результаты сценарных испытаний различных СФВФ являются невоспроизводимыми/трудно воспроизводимыми вследствие невозможности точного повторения условий внешней среды для каждого сценария.
4.1.4 Оперативное испытание
Оперативное испытание, как правило, проводят в режиме реального времени для обеспечения согласованности со средой применения (если только испытуемые системы не обрабатывают данные в режиме отложенного задания).
В рамках оперативного испытания СФВФ происходит проверка предъявлений с признаком нарушения и без признака нарушения. Выходными данными СФВФ являются результаты классификации (бинарный ответ) по каждому предъявлению, которые фиксируются в протоколе наблюдателя за испытанием (см. приложение В). Для вычисления ошибок классификации в оперативных испытаниях необходимо, чтобы наблюдателю за испытанием была известна исходная информация о типах предъявлений.
Воспроизводимость результатов оперативного испытания может быть ограничена из-за неизвестных и недокументированных различий в условиях эксплуатации. Более того, может быть трудно установить «истинную» информацию о типах предъявлений особенно в условиях отсутствия администратора испытания, наблюдателя за испытанием или обслуживающего персонала.
4.2 Планирование испытания
4.2.1 Общие положения
На первом этапе испытания экспериментатор должен определить:
а) тип испытуемых систем, их применение, условия испытания и выборку;
б) эксплуатационные характеристики, которые необходимо измерить;
в) данные, необходимые для оценки эксплуатационных характеристик (т.е. определить тип испытания: технологическое, сценарное или оперативное).
Вышеуказанные данные являются основой для разработки соответствующего протокола испытания и определяют необходимые средства контроля условий испытаний, выборки испытуемых субъектов и объема испытаний.
Примечание — Вид испытания может быть определен заранее, например при наличии базы данных для проведения технологического испытания или установленной системы для выполнения оперативного испытания. Возможно также наличие таких условий, при которых все виды испытаний могут быть проведены последовательно, с постепенным сужением вариантов систем, рассматриваемых для ввода в эксплуатацию.
Настоящий стандарт регламентирует основные принципы проведения оценки эксплуатационных характеристик и оформления протокола испытаний. Методы и требования к конкретным видам испытаний и целевым применениям в настоящем стандарте не рассматриваются.
4.2.2 Контроль факторов, влияющих на эксплуатационные характеристики
Показатели эксплуатационных характеристик СФВФ могут значительно зависеть от способов ее применения, условий окружающей среды и выборки.
Факторы, влияющие на измеряемые эксплуатационные характеристики, должны быть явно или неявно отнесены к одному из следующих четырех классов:
а) контролируемые управляемые факторы, включенные в методику испытания (как независимые переменные), которые можно наблюдать, протоколировать и анализировать;
б) контролируемые неуправляемые факторы (постоянные в течение испытаний), являющиеся частью условий испытания;
в) неконтролируемые факторы — случайные и независимые от испытания факторы;
г) незначительные факторы, эффект от наличия которых не будет учтен. Без данной категории факторов испытание будет крайне затруднительным.
До начала сбора данных должно быть определено, каким образом будет осуществлен контроль данных факторов.
При проведении технологического испытания могут быть учтены особенности применения и выборки, гарантирующие, что испытания будут не слишком трудными и не слишком простыми для испытуемых подсистем обнаружения и классификации СФВФ.
Для того чтобы испытания СФВФ могли быть проведены на репрезентативной выборке в реальных условиях, при сценарном испытании должны быть определены и смоделированы условия реального применения и выборка.
При проведении оперативного испытания условия окружающей среды и выборку определяют в реальных условиях под контролем экспериментатора.
4.3 Объем испытания
Масштаб испытания с точки зрения объема базы данных влияет на достоверность измерения вероятностей ошибок. Чем больше объем проводимого испытания, тем выше достоверность результатов. Для установления нижних границ количества попыток или предъявлений, необходимых для заданного уровня достоверности, применяют правило трех или правило 30.
4.4 Общие требования к наборам данных для испытаний
Для проведения технологических испытаний СФВФ необходима база данных.
База данных для проведения технологических испытаний СФВФ не должна быть доступна разработчикам СФВФ.
Для формирования базы данных создают два раздела:
Раздел «Предъявления с признаком нарушения» представляет собой набор видеозаписей/видеопотоков с предъявлениями различных видов признака нарушения.
Раздел «Предъявления без признака нарушения» представляет собой набор видеозаписей/видеопотоков с предъявлениями без признака нарушения.
Базу данных формируют путем объединения двух разделов. Перед объединением создают список с принадлежностями каждого предъявления к разделу. После объединения раздел может быть подвергнут дополнительному перемешиванию и переименованию файлов с обязательным сохранением файла с разметкой данных.
5 Эксплуатационные характеристики СФВФ
5.1 Общие положения
Эксплуатационные характеристики могут быть выражены вероятностями ошибок классификации, вероятностями отсутствия ответа и другими вероятностными метриками. Такие метрики можно использовать в оценках безопасности, научно-образовательных оценках, процессах методических технологий или разработки продукта либо в оперативной оценке производительности конечным пользователем.
5.2 Порядок расчета эксплуатационных характеристик СФВФ
5.2.1 Общие положения
При оценке эксплуатационных характеристик СФВФ измеряют способность систем правильно классифицировать признак нарушения.
Значения описанных в настоящем подразделе эксплуатационных характеристик следует приводить в протоколе испытания с доверительными интервалами. Порядок расчета доверительных интервалов определен правилами статистики.
Примечание — При расчете доверительных интервалов можно руководствоваться, например, требованиями ГОСТ Р 50779.22.
При проведении сценарного и оперативного испытаний рекомендуется вычислять эксплуатационные характеристики для нескольких порогов.
5.2.2 Эксплуатационные характеристики СФВФ, оцениваемые в технологическом испытании
5.2.2.1 Метрики отсутствия ответа
С учетом рекомендаций разработчика СФВФ и предполагаемого сценария ее использования экспериментатор должен определить, что представляет собой отсутствие ответа, и указать условия, при которых отсутствие ответа влияет на вероятность ошибок классификации.
Экспериментатор должен указать вероятности отсутствия ответа для СФВФ, используя следующие характеристики:
- ВООПсПН и размер выборки, по которой проведены вычисления;
- ВООПбПН и размер выборки, по которой проведены вычисления.
\text{ВООПсПН } = (\frac{1}{N}) \sum_{i = 1}^{N} Res_{i} , (1)
где N — число попыток предъявлений с признаком нарушения;
Resi — результат классификации; равен 1, если i-е предъявление с определенным видом признака нарушения не классифицируется, и равен 0, если оно классифицируется.
\text{ВООПбПН } = (\frac{1}{N}) \sum_{i = 1}^{N} Res_{i} , (2)
где N — число попыток предъявлений без признака нарушения;
Resi — результат классификации; равен 1, если i-е предъявление без признака нарушения не классифицируется, и равен 0, если оно классифицируется.
5.2.2.2 Метрики классификации
В протоколе оценки СФВФ должны быть указаны ВОКПсПН и ВОКПбПН.
В протоколе должно быть указано, каким образом решения системы и баллы использованы для классификации предъявлений.
ВОКПсПН рассчитывают по формуле
\text{ВОКПсПН } = 1 - (\frac{1}{N}) \sum_{i = 1}^{N} Res_{i} , (3)
где N — число предъявлений с определенным видом признака нарушения;
Resi — результат классификации; равен 1, если i-е предъявление с определенным видом признака нарушения классифицировано как предъявление с данным видом признака нарушения, и равен 0, если оно классифицировано как предъявление с другим видом признака нарушения или как предъявление без признака нарушения.
В протоколе оценки СФВФ должны быть указаны числа правильно и неправильно классифицированных предъявлений с признаком нарушения.
ВОКПбПН рассчитывают по формуле
\text{ВОКПбПН } = \frac{\sum_{i = 1}^{N} Res_{i}}{N} , (4)
где N — число предъявлений без признака нарушения;
Resi — результат классификации; равен 1, если i-е предъявление без признака нарушения классифицировано как предъявление с признаком нарушения, и равен 0, если оно классифицировано как предъявление без признака нарушения.
Указание в протоколе испытаний совокупного показателя ВОКПсПН и ВОКПбПН (например, усредненной вероятности ошибок) не соответствует требованиям настоящего стандарта.
Показатели классификации могут быть указаны в виде единого значения ВОКПбПН при фиксированном значении ВОКПсПН.
Пример — В протоколе может быть указано, что при ВОКПсПН, равной 5%, ВОКПбПН принимает значение 20%.
В протоколе испытаний СФВФ могут быть указаны ОВОКПсПН и ОВОКПбПН.
ОВОКПсПН рассчитывают по формуле
ОВОКПсПН = (1 — ВООПсПН)·ВОКПсПН. (5)
ОВОКПбПН рассчитывают по формуле
ОВОКПбПН = ВООПбПН + (1 — ВООПбПН)·ВОКПбПН. (6)
В протоколе испытаний СФВФ должна быть указана равная вероятность ошибок первого и второго рода (РВО). РВО для СФВФ вычисляют по формуле
РВО = arg minВОКПбПН|ВОКПбПН — ВОКПсПН|. (7)
В протоколе испытаний СФВФ может быть указана обобщенная РВО. Обобщенную РВО для СФВФ вычисляют по следующей формуле:
РВОобоб = arg minОВОКПбПН|ОВОКПбПН — ОВОКПсПН|. (8)
5.2.2.3 Метрики оперативности функционирования
Экспериментатор должен указать длительность обработки системой как среднее значение длительности. Длительность следует указывать отдельно для предъявлений с признаком нарушения (ДОПсПН) и без него (ДОПбПН). Отсутствие ответа не учитывают при расчете длительности. Длительность может быть определена прямым наблюдением.
ДОПсПН рассчитывают по формуле
\text{ДОПсПН } = \frac{\sum_{i = 1}^{N} \tau_{i}}{N} , (9)
где N — число предъявлений с определенным видом признака нарушения;
\tau_{i} — длительность обработки системой i-го предъявления с определенным видом признака нарушения.
ДОПбПН рассчитывают по формуле
\text{ДОПбПН } = \frac{\sum_{i = 1}^{N} \tau_{i}}{N} , (10)
\tau_{i} — длительность обработки системой i-го предъявления без признака нарушения.
Среднюю скорость обработки запросов (ССОЗ), запросы/с, вычисляют по формуле
\text{ССОЗ} = \frac{N}{T_{2} - T_{1}} , (11)
где N — число поданных предъявлений;
T1 - время отправки первого предъявления/первого пакета с предъявлениями на проверку;
T2 — время получения ответа от СФВФ по последнему обработанному предъявлению.
5.2.3 Эксплуатационные характеристики СФВФ, оцениваемые в сценарном испытании
5.2.3.1 Метрики отсутствия ответа
ВООПсПН и ВООПбПН рассчитывают, если доступна соответствующая информация от системы. В этом случае ВООПсПН и ВООПбПН рассчитывают по формулам (1) и (2) соответственно.
5.2.3.2 Метрики классификации
ВОКПсПН и ВОКПбПН рассчитывают, если доступна соответствующая информация от системы. В этом случае ВОКПсПН, ВОКПбПН, ОВОКПсПН и ОВОКПбПН рассчитывают по формулам (3) - (6).
В остальных случаях ОВОКПсПН и ОВОКПбПН рассчитывают по следующим формулам:
O\text{ВОКПсПН } = 1 - (\frac{1}{N}) \sum_{i = 1}^{N} Res_{i} , (12)
где N — число предъявлений с определенным видом признака нарушения;
Resi — результат; равен 1, если зафиксировано нарушение, и равен 0, если не зафиксировано нарушение.
\text{ОВОКПбПН } = \frac{\sum_{i = 1}^{N} Res_{i}}{N} , (13)
Resi — результат; равен 1, если зафиксировано нарушение, и равен 0, если не зафиксировано нарушение.
5.2.4 Эксплуатационные характеристики СФВФ, оцениваемые в оперативном испытании
5.2.4.1 Пропускная способность
В протоколе оперативного испытания СФВФ должно быть указано значение пропускной способности. Пропускная способность может быть определена по среднему числу транзакций, совершенных в единицу времени (мин, ч) в условиях полной загруженности СФВФ.
5.2.4.2 Метрики классификации
При условии, что наблюдателю за испытанием приведена исходная информация о типах предъявлений, в протоколе оперативного испытания СФВФ должны быть указаны ОВОКПсПН и ОВОКПбПН.
ОВОКПсПН рассчитывают по формуле
O\text{ВОКПсПН } = 1 - (\frac{1}{N}) \sum_{i = 1}^{N} Res_{i} , (14)
где N — число предъявлений с определенным видом признака нарушения;
Resi — результат; равен 1, если зафиксировано нарушение, и равен 0, если не зафиксировано нарушение.
ОВОКПбПН рассчитывают по формуле
\text{ОВОКПбПН } = \frac{\sum_{i = 1}^{N} Res_{i}}{N} , (15)
где N — число предъявлений без признака нарушения;
Resi — результат; равен 1, если зафиксировано нарушение, и равен 0, если не зафиксировано нарушение.
5.2.5 Краткие выводы
В таблице 2 перечислены метрики эксплуатационных характеристик программных средств обнаружения и классификации СФВФ и СФВФ.
Метрики эксплуатационных характеристик программных средств обнаружения и классификации СФВФ и СФВФ
6.1 Фундаментальные показатели
6.1.1 В протоколе эксплуатационных испытаний СФВФ должны быть указаны следующие показатели:
а) для технологического испытания:
- ВООПсПН или указание, что ВООПсПН неизвестна,
- ВООПбПН или указание, что ВООПбПН неизвестна,
- ВОКПсПН и соответствующая ВОКПбПН (по всему диапазону пороговых значений),
- ОВОКПсПН и соответствующая ОВОКПбПН (по всему диапазону пороговых значений) (при необходимости),
- ДОПсПН,
- ДОПбПН,
- ССОЗ (при необходимости),
- РВО,
- РВО (обобщенная) (при необходимости);
- ВООПсПН или указание, что ВООПсПН неизвестна,
- ВООПбПН или указание, что ВООПбПН неизвестна,
- ВОКПсПН и соответствующая ВОКПбПН или указание, что ВОКПсПН и ВОКПбПН неизвестны,
- ОВОКПсПН и соответствующая ОВОКПбПН;
в) для оперативного испытания:
- пропускная способность,
- ОВОКПсПН и соответствующая ОВОКПбПН или указание, что исходная информация о типах предъявлений неизвестна.
6.2 Учет особенностей испытания
Показатели эксплуатационных характеристик зависят от вида испытания, особенностей применения системы и выборки. Для получения правильного представления о данных показателях необходимо знать:
а) подробную информацию об испытуемой(ых) системе(ах);
е) параметры контроля факторов, воздействующих на эксплуатационные характеристики;
ж) данные о внештатных ситуациях и данные, не включенные в анализ;
и) данные о неконтролируемых факторах (и методы оценки данных факторов);
к) любые отклонения от требований настоящего стандарта, которые должны быть обоснованы.
6.3 Графическое представление результатов испытания
6.3.1 Общие положения
Эксплуатационные характеристики должны быть изображены в виде кривых рабочей характеристики или компромиссного определения ошибки (КОО) по всему диапазону пороговых значений.
Масштабы осей (граничные значения и использование логарифмических масштабов) должны обеспечивать наглядно представленные результаты и должны быть согласованы для различных графиков в одном протоколе испытаний. Для обеспечения наглядности при изменении масштаба на графиках должна быть пометка об изменении масштаба.
6.3.2 График рабочей характеристики
Вероятность ошибки можно представить на графике в виде функции от порога принятия решения, например так, как на рисунке 1.
Рисунок 1 — Примеры графиков рабочей характеристики
с отмеченной равной вероятностью ошибок
первого и второго рода (РВО)
6.3.3 График КОО
Эксплуатационные характеристики системы могут быть изображены в виде графика КОО по всему диапазону порогов принятия решения. Графики КОО являются независимыми от порога, что позволяет сравнивать эксплуатационные характеристики различных систем при одинаковых условиях или одной системы при различных условиях.
Графики КОО могут быть использованы для построения вероятностей ошибок классификации (ВОКПбПН в зависимости от ВОКПсПН, ОВОКПбПН в зависимости от ОВОКПсПН).
На графике КОО по оси абсцисс (ось x) откладывают ложноположительную вероятность, а по оси ординат (ось y) — ложноотрицательную вероятность. Шкалы осей, показывающие граничные значения, должны обеспечивать наглядное представление результатов. Для более четкого определения вероятностей ошибок в интересующем диапазоне графики КОО обычно строят с использованием шкалы с нормальным отклонением или логарифмической шкалы. Построение графика КОО с логарифмической шкалой по осям обеспечивает большую детализацию при низких вероятностях ошибок и помогает различать системы, работающие похожим образом.
На рисунке 2 показаны примеры построения графиков КОО с использованием логарифмической шкалы.
Рисунок 2 — Примеры графиков КОО с использованием
логарифмической оси
(рекомендуемое)
обнаружения и классификации СФВФ
Объект испытаний (ОИ) — программные средства обнаружения и классификации СФВФ.
<Полное наименование разработчика подсистемы обнаружения и классификации СФВФ>
<Дата выпуска (релиза) подсистемы обнаружения и классификации СФВФ>
<Номер версии подсистемы обнаружения и классификации СФВФ в формате A.B.C.D>
А.1.2 Цель испытания подсистемы обнаружения и классификации системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Целью проведения испытания подсистемы обнаружения и классификации СФВФ является определение следующих эксплуатационных характеристик:
- ВОКПсПН;
- ВОКПбПН;
- ВООПсПН;
- ВООПбПН;
- ОВОКПсПН;
- ОВОКПбПН;
- ДОПсПН;
- ДОПбПН;
- ССОЗ;
- РВО;
- РВО (обобщенная).
А.1.3 Испытательная лаборатория (экспериментатор)
<Полное наименование испытательной лаборатории>
<Фамилия, имя, отчество руководителя испытательной лаборатории>
<Фамилия, имя, отчество сотрудника испытательной лаборатории, проводящего испытания>
А.1.4 Заказчик испытания подсистемы обнаружения и классификации системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Полное наименование заказчика испытания подсистемы обнаружения и классификации СФВФ>
А.1.5 Место проведения испытания подсистемы обнаружения и классификации системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Адрес испытательной лаборатории>
А.1.6 Дата проведения испытания подсистемы обнаружения и классификации системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Дата начала проведения испытания подсистемы обнаружения и классификации СФВФ в формате ДД.ММ.ГГГГ>
<Дата окончания проведения испытания подсистемы обнаружения и классификации СФВФ в формате ДД.ММ.ГГГГ>
А.1.7 Материально-техническое обеспечение испытания подсистемы обнаружения и классификации системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Перечень технических средств стенда, используемых во время испытаний>
А.1.8 Методическое обеспечение испытания подсистемы обнаружения и классификации системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Испытание СФВФ проводят в соответствии с утвержденными программой и методикой <обозначение программы и методики>.
А.1.9 Условия проведения испытания подсистемы обнаружения и классификации системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Испытание СФВФ проводят в нормальных климатических условиях. В соответствии с ГОСТ 15150 нормальными значениями климатических факторов внешней среды при испытаниях изделий (нормальные климатические условия испытаний) считают следующие:
- температура — плюс (25 +/- 10) °C;
- относительная влажность воздуха — от 45% до 80%;
- атмосферное давление — от 84,0 до 106,7 кПа (от 630 до 800 мм рт. ст.).
Испытание подсистемы обнаружения и классификации СФВФ проводят в режиме отложенного задания.
В процессе проведения испытания осуществляют сбор выходных данных подсистемы обнаружения и классификации СФВФ.
На основе результатов классификации и числа предъявлений с определенным видом признака нарушения вычисляют значения ВОКПсПН и ВООПсПН для каждого вида признака нарушения.
На основе результатов классификации и числа предъявлений без признака нарушения вычисляют значения ВОКПбПН и ВООПбПН.
На основе значений ВОКПсПН и ВООПсПН вычисляют значение ОВОКПсПН для каждого вида признака нарушения.
На основе значений ВОКПбПН и ВООПбПН вычисляют значение ОВОКПбПН.
На основе значений длительности обработки подсистемы обнаружения и классификации СФВФ всех предъявлений с определенным видом признака нарушения и числа предъявлений с данным видом признака нарушения вычисляют значение ДОПсПН для каждого вида признака нарушения.
На основе значений длительности обработки подсистемы обнаружения и классификации СФВФ всех предъявлений без признака нарушения и числа предъявлений без признака нарушений вычисляют значение ДОПбПН.
На основе значений времени отправки первого предъявления/первого пакета с предъявлениями на проверку, времени получения ответа от подсистемы обнаружения и классификации СФВФ по последнему обработанному предъявлению и числа поданных предъявлений вычисляют значение ССОЗ.
На основе значений ОВОКПсПН/ВОКПсПН и ОВОКПбПН/ВОКПбПН построены кривая КОО, график рабочей характеристики и вычислено значение РВО (обобщенная)/РВО.
Данные, полученные по результатам испытания, представлены в настоящем протоколе и приложении к протоколу. Приложение к протоколу размещено на [<лазерном компьютерном диске>; <USB флеш-накопителе>].
В приложении представлены все выходные данные СФВФ, являющейся ОИ, в файле формата .csv.
А.6 Результаты испытания подсистемы обнаружения и классификации системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Результатами испытания подсистемы обнаружения и классификации СФВФ являются следующие:
- значение ВОКПсПН (для каждого вида признака нарушения) с доверительным интервалом;
- значение ВОКПбПН с доверительным интервалом;
- значение ВООПсПН (для каждого вида признака нарушения) с доверительным интервалом;
- значение ВООПбПН с доверительным интервалом;
- значение ОВОКПсПН (для каждого вида признака нарушения) с доверительным интервалом;
- значение ОВОКПбПН с доверительным интервалом;
- значение ДОПсПН (для каждого вида признака нарушения) с доверительным интервалом;
- значение ДОПбПН с доверительным интервалом;
- значение ССОЗ;
- РВО;
- РВО (обобщенная).
(рекомендуемое)
<Полное наименование разработчика СФВФ>
<Номер версии СФВФ в формате A.B.C.D>
Б.1.2 Цель испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Целью проведения испытания СФВФ является определение следующих эксплуатационных характеристик:
Б.1.3 Испытательная лаборатория (экспериментатор)
<Полное наименование испытательной лаборатории>
<Фамилия, имя, отчество руководителя испытательной лаборатории>
<Фамилия, имя, отчество сотрудника испытательной лаборатории, проводящего испытания>
Б.1.4 Заказчик испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Полное наименование заказчика испытания СФВФ>
Б.1.5 Место проведения испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Адрес испытательной лаборатории>
Б.1.6 Дата проведения испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Дата начала проведения испытания СФВФ в формате ДД.ММ.ГГГГ>
<Дата окончания проведения испытания СФВФ в формате ДД.ММ.ГГГГ>
Б.1.7 Методическое обеспечение испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Испытание СФВФ проводят в соответствии с утвержденными программой и методикой <обозначение программы и методики>.
Б.1.8 Условия проведения испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Испытание интеллектуальной системы контроля средств индивидуальной защиты (ИСКСИЗ) проводят в нормальных климатических условиях. В соответствии с ГОСТ 15150 за нормальные значения климатических факторов внешней среды при испытаниях изделий (нормальные климатические условия испытаний) принимают следующие:
- температура — плюс (25 +/- 10) °C;
- относительная влажность воздуха — от 45% до 80%;
- атмосферное давление — от 84,0 до 106,7 кПа (от 630 до 800 мм рт. ст.).
Испытание СФВФ проводят в режиме <отложенного задания/реального времени>.
В процессе проведения испытания осуществляют сбор выходных данных СФВФ.
На основе результатов классификации и числа предъявлений с определенным признаком нарушения вычисляют значения ВОКПсПН и ВООПсПН для каждого вида признака нарушения.
На основе результатов классификации и числа предъявлений без признака нарушения вычисляют значения ВОКПбПН и ВООПбПН.
На основе значений ВОКПсПН и ВООПсПН вычисляют значение ОВОКПсПН для каждого вида признака нарушения.
На основе значений ВОКПбПН и ВООПбПН вычисляют значение ОВОКПбПН.
Данные, полученные в результате испытания, представлены в настоящем протоколе и приложении к протоколу. Приложение к протоколу размещено на [<лазерном компьютерном диске>; <USB флеш-накопителе>].
Б.6 Результаты испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Результатами испытания СФВФ являются следующие:
- значение ВОКПсПН (для каждого вида признака нарушения) с доверительным интервалом;
- значение ВОКПбПН с доверительным интервалом;
- значение ВООПсПН (для каждого вида признака нарушения) с доверительным интервалом;
- значение ВООПбПН с доверительным интервалом;
- значение ОВОКПсПН (для каждого вида признака нарушения) с доверительным интервалом;
- значение ОВОКПбПН с доверительным интервалом.
Форма протокола оперативного испытания СФВФ
<Полное наименование разработчика СФВФ>
<Номер версии СФВФ в формате A.B.C.D>
В.1.2 Цель испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Целью проведения испытания СФВФ является определение следующих эксплуатационных характеристик:
В.1.3 Испытательная лаборатория (экспериментатор)
<Полное наименование испытательной лаборатории>
<Фамилия, имя, отчество руководителя испытательной лаборатории>
<Фамилия, имя, отчество сотрудника испытательной лаборатории, проводящего испытания>
В.1.4 Заказчик испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Полное наименование заказчика испытания СФВФ>
В.1.5 Место проведения испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Адрес испытательной лаборатории>
В.1.6 Дата проведения испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
<Дата начала проведения испытания СФВФ в формате ДД.ММ.ГГГГ>
<Дата окончания проведения испытания СФВФ в формате ДД.ММ.ГГГГ>
В.1.7 Методическое обеспечение испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Испытание СФВФ проводят в соответствии с утвержденными программой и методикой <обозначение программы и методики>.
В.1.8 Условия проведения испытания системы фотовидеофиксации в сфере городского управления, работающей в автоматическом режиме
Испытание СФВФ проводят в нормальных климатических условиях. В соответствии с ГОСТ 15150 за нормальные значения климатических факторов внешней среды при испытаниях изделий (нормальные климатические условия испытаний) принимают следующие:
- температура — плюс (25 +/- 10) °C;
- относительная влажность воздуха — от 45% до 80%;
- атмосферное давление — от 84,0 до 106,7 кПа (от 630 до 800 мм рт. ст.).
Испытание СФВФ проводят в режиме <отложенного задания/реального времени>.
В процессе проведения испытания осуществляют сбор выходных данных ИСКСИЗ.
На основе среднего числа транзакций, совершенных в единицу времени (1 ч) в условиях полной загруженности СФВФ.
На основе результатов классификации и числа предъявлений с признаком нарушения вычисляют значение ОВОКПсПН для каждого вида признака нарушения.
На основе результатов классификации и числа предъявлений без признака нарушения вычисляют значение ОВОКПбПН.
Данные, полученные в результате испытания, представлены в настоящем протоколе и приложении к протоколу. Приложение к протоколу размещено на [<лазерном компьютерном диске>; <USB флеш-накопителе>].
Результатами испытания СФВФ являются следующие:
- значение пропускной способности;
- значение ОВОКПсПН (для каждого вида признака нарушения) с доверительным интервалом;
- значение ОВОКПбПН с доверительным интервалом.
| [1] | СМ № 04.1-1.0008 | Руководство по аккредитации испытательных лабораторий (центров) |
|---|
| УДК 332:006.354 | ОКС 35.020 35.240.99 |
| Ключевые слова: умный город, система фотовидеофиксации в сфере городского управления, оценка эксплуатационных характеристик | |