Документ 47858

ИСТОРИЯ ИЗМЕНЕНИЙ НОРМАТИВНО-ТЕХНИЧЕСКИХ АКТОВ

flowchart LR
  n0["ГОСТ Р ИСО 19113-2003"]:::rst
  n1["ГОСТ Р 57773-2017"]:::doc
  n2["ГОСТ Р 57773-2026"]:::notEnt
  n1 --> n2
  n0 --> n1
classDef rst fill:#FFEBEB,stroke:#8B0000,color:#000;
classDef doc fill:#EBFFEB,stroke:#006400,color:#000;
classDef notEnt fill:#FFFFEB,stroke:#FF8C00,color:#000;

Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 13 мая 2026 г. № 483-ст

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ПРОСТРАНСТВЕННЫЕ ДАННЫЕ

КАЧЕСТВО ДАННЫХ

Spatial data. Data quality

(ISO 19157-1:2023, NEQ)

ГОСТ Р 57773-2026

ОКС 35.240.70

Дата введения 1 января 2027 года

Предисловие

1 РАЗРАБОТАН Публично-правовой компанией «Роскадастр» (ППК «Роскадастр»)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 394 «Географическая информация/геоматика»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 13 мая 2026 г. № 483-ст

4 Настоящий стандарт разработан с учетом основных нормативных положений международного стандарта ИСО 19157-1:2023 «Географическая информация. Качество данных. Часть 1. Общие требования» (ISO 19157-1:2023, «Geographic information — Data quality — Part 1: General requirements», NEQ)

5 ВЗАМЕН ГОСТ Р 57773-2017

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Пространственные данные все чаще распространяют, обменивают и используют для целей, отличных от тех, которые предусматривались разработчиком. Информация о качестве доступных данных имеет важнейшее значение для процесса отбора наборов данных, в которых ценность данных напрямую связана с их качеством. Пользователям пространственных данных представляется множество наборов данных на выбор. В связи с этим возникает необходимость сравнения качества наборов данных с целью определения тех, которые наилучшим образом отвечают потребностям пользователя.

Цель описания качества пространственных данных состоит в облегчении сравнения и выбора набора данных, которые наилучшим образом удовлетворяют потребностям или требованиям приложений. Полные описания качества наборов данных будут способствовать распространению, обмену и использованию соответствующих наборов данных. Информация о качестве пространственных данных позволяет их разработчику оценить, насколько точно данный набор отвечает критериям, изложенным в спецификации продукта, и помогает пользователям данных оценить способность продукта удовлетворять требованиям его конкретного приложения. Для осуществления такой оценки используется ряд четко определенных процедур в последовательном порядке.

С целью облегчения сравнения важно, чтобы результаты в отчетах информации о качестве данных были выражены в сопоставимом виде, а также чтобы было общее понимание использованных мер качества данных. Эти меры качества обеспечивают дескрипторы качества пространственных данных путем сравнения с данными предметной области. Использование несовместимых мер делает сравнение качества данных невозможным. Настоящий стандарт устанавливает требования к компонентам и структуре мер качества данных и определяет общие базовые меры качества данных.

В настоящем стандарте отмечается, что мнение производителя и мнение пользователя о качестве данных могут не совпадать. Уровень соответствия качеству может быть установлен с помощью спецификации на продукт производителя данных или требований к качеству пользователя данных. Если пользователю данных требуется больше информации о качестве данных, чем предусмотрено их производителем, то пользователь данных может ознакомиться с ходом процесса оценки качества данных у производителя, чтобы получить дополнительную информацию. В этом случае требования пользователя данных рассматриваются как спецификация продукта с целью использования в процессе производства данных.

Целью настоящего стандарта является установление структуры для определения качества пространственных данных, включая принципы описания качества пространственных данных и концепций обработки информации о качестве пространственных данных, а также последовательные и стандартные методы определения и выдачи информации о качестве наборов данных. Структура является расширяемой и включает правила добавления дополнительных мер качества данных.

1 Область применения

Настоящий стандарт устанавливает принципы описания качества пространственных данных, в том числе:

• определяет компоненты для описания качества данных;
• определяет процесс установления дополнительных, специфичных для предметной области, компонентов для описания качества данных;
• устанавливает компоненты и структуру мер качества данных;
• описывает общие процедуры оценки качества пространственных данных;
• устанавливает принципы составления отчетности о качестве данных.

Настоящий стандарт предназначен для разработчиков данных, предоставляющих информацию о качестве, для описания и оценки того, насколько набор данных соответствует спецификации продукта, а также для пользователей данных, пытающихся определить, обладают ли конкретные пространственные данные достаточным качеством, необходимым для их частного применения.

Настоящий стандарт не определяет минимально приемлемые уровни качества пространственных данных. Такая информация обычно присутствует в качестве требования в спецификации информационного продукта, определенной в соответствии с ГОСТ Р 70846.13.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 33707 (ISO/IEC 2382:2015) Информационные технологии. Словарь

ГОСТ Р 57656 (ИСО 19115-2:2009) Пространственные данные. Метаданные. Часть 2. Расширения для изображений и матричных данных

ГОСТ Р 57668-2017 (ИСО 19115-1:2014) Пространственные данные. Метаданные. Часть 1. Основные положения

ГОСТ Р 70846.2 Национальная система пространственных данных. Термины и определения

ГОСТ Р 70846.13 Национальная система пространственных данных. Требования к спецификации информационного продукта на основе пространственных данных

ГОСТ Р ИСО 2859-1 Статистические методы. Процедуры выборочного контроля по альтернативному признаку. Часть 1. Планы выборочного контроля последовательных партий на основе приемлемого уровня качества

ГОСТ Р ИСО 2859-2 Статистические методы. Процедуры выборочного контроля по альтернативному признаку. Часть 2. Планы выборочного контроля отдельных партий на основе предельного качества LQ

ГОСТ Р ИСО 2859-3 Статистические методы. Процедуры выборочного контроля по альтернативному признаку. Часть 3. Контроль с пропуском партий

ГОСТ Р ИСО/МЭК 25000 Системная и программная инженерия. Требования и оценка качества систем и программных средств (SQuaRE). Руководство

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р 70846.2, а также следующие термины с соответствующими определениями:

3.1 точность (accuracy): Степень соответствия результата проверки или измерений принятому истинному значению.

Примечание - В настоящем стандарте истинным значением может выступать эталонное значение, принятое за истинное.

3.2 соответствие (conformance): Выполнение заданных требований.

Примечание - При отсутствии двусмысленности модификатор «соответствие» можно опустить. Например, «отчет об испытаниях» — это то же самое, что и «отчет об испытаниях на соответствие».

3.3 уровень соответствия качества (conformance quality level): Пороговое значение или набор пороговых значений для результирующих оценок качества данных, по которым определяют степень соответствия набора данных спецификации информационного продукта или потребностям пользователя.

3.4 корректность (correctness): Соответствие предметной области.

3.5 покрытие (coverage): Свойство, которое действует как функция для возврата значений из своего диапазона для любой прямой позиции в пределах своего домена.

3.6 спецификация информационного продукта (data product specification): Детальное описание набора данных или ряда набора данных, а также дополнительная информация, которая обеспечивает его (их) создание, поставку и использование другой стороной.

Примечания

1 Спецификация продукта данных предоставляет описание предметной области и спецификацию для сопоставления предметной области с продуктом данных. Она может использоваться для производства, продажи, конечного использования или других целей.

2 Спецификация — это документ, устанавливающий требования.

3 Продукт данных — это набор данных или серия наборов данных, которые могут быть предоставлены (см. [1]).

3.7 качество данных (data quality): Степень, в которой набор присущих характеристик данных соответствует требованиям.

3.8 мера качества данных (data quality measure): Переменная, которой присваивается значение в результате измерения характеристики качества данных.

3.9 единица качества данных (data quality unit): Комбинация области определения и элементов качества данных.

3.10 набор данных (dataset): Идентифицируемая совокупность данных.

Примечание - Набор данных может быть меньшей группой данных, которая, хотя и ограничена некоторыми условиями, такими как пространственная протяженность или тип объекта, физически расположена внутри большего набора данных. Теоретически набор данных может быть таким же маленьким, как один объект или атрибут объекта, содержащийся в большем наборе данных. Карту или диаграмму на бумажном носителе можно считать набором данных.

3.11 комплект наборов данных (dataset series): Совокупность наборов данных, обладающих одинаковыми характеристиками.

3.12 пространственный объект (объект) (feature): Абстракция явлений реального мира.

Примечание - Объект может встречаться как тип объекта либо экземпляр объекта.

3.13 атрибут пространственного объекта (feature attribute): Характеристика объекта.

Примечание - Атрибут объекта имеет имя, характеризуется определенным типом данных и имеет область допустимых значений. Атрибут экземпляра объекта также имеет значение атрибута, принадлежащее области допустимых значений.

3.14 экземпляр объекта (feature instance): Образец данного типа объекта, имеющего определенные значения атрибутов объекта.

3.15 операция объекта (feature operation): Операция, которую может выполнять каждый экземпляр типа объекта.

3.16 тип объекта (feature type): Класс объектов, имеющих общие характеристики.

3.17 географические данные (geographic data): Данные с неявной или явной ссылкой на местоположение относительно Земли.

3.18 элемент (item): То, что может быть описано и рассмотрено отдельно.

Примечание - Элемент может быть любой частью набора данных, такой как объект, взаимосвязь объектов, атрибут объекта или их комбинация.

3.19 происхождение (lineage): Происхождение, источник(и) и процесс(ы) производства, используемые при производстве ресурса.

3.20 метаданные (metadata): Информация о ресурсе.

3.21 метакачество (metaquality): Информация, описывающая качество данных.

3.22 качество (quality): Степень, в которой набор присущих характеристик объекта соответствует требованиям.

3.23 оценка качества (quality evaluation): Систематическая проверка степени, в которой сущность способна выполнять указанные требования.

3.24 реестр (register): Набор файлов, содержащих идентификаторы, назначенные элементам с описаниями связанных элементов.

3.25 требование (requirement): Потребность или ожидание, которые указаны, обычно подразумеваются или являются обязательными.

3.26 отчет об оценке качества (quality evaluation report): Отчет о качестве в форме свободного текстового документа, содержащий полную подробную информацию об оценках качества данных, результатах и использованных мерах.

3.27 неопределенность (неопределенность измерения) (uncertainty): Параметр, связанный с результатом измерения, который характеризует дисперсию значений, которые могли бы быть обоснованно отнесены к измеряемой величине.

Примечание - Неопределенность измерения включает в себя, как правило, много компонентов. Некоторые из этих компонентов могут быть оценены из статистического распределения результатов серии измерений и могут быть охарактеризованы экспериментальными стандартными отклонениями. Другие компоненты, которые также могут быть охарактеризованы стандартными отклонениями, оцениваются из предполагаемых распределений вероятностей, основанных на опыте или другой информации.

3.28 предметная область (universe of discourse): Представление о реальном или гипотетическом мире, которое включает в себя все, что представляет интерес.

4 Сокращения

В настоящем стандарте применены следующие сокращения:

ADQR — агрегированный результат качества данных (aggregated data quality result);

AQL — приемлемый предел качества (acceptance quality limit);

GML — географический язык разметки (Geographic Markup Language);

UML — унифицированный язык моделирования (Unified Modelling Language);

XML — расширяемый язык разметки (Extensible Markup Language).

Примечание - Пакетные аббревиатуры (сокращения) используются для обозначения пакета, содержащего класс. Эти сокращения предшествуют именам классов и соединены символом «_» (см. таблицу 1).

Таблица 1

Пакетные аббревиатуры

5 Соответствие

В настоящем стандарте определены два класса соответствия, тесты для которых приведены в приложении А.

6 Общие требования к качеству пространственных данных

В разделах 8 — 11 описываются компоненты качества данных на основе концептуальной модели UML, определенной в настоящем стандарте. Словарь элементов в модели UML представлен в приложении Б.

7 Обзор качества данных

Работа с качеством данных включает:

• изучение концепций качества в отношении пространственных данных. В приложении В представлено описание концепций качества данных, применяемых при определении компонентов для описания качества пространственных данных;
• определение уровней соответствия качества данных спецификации информационного продукта или потребностям пользователя. Разработка спецификации информационного продукта описана в ГОСТ Р 70846.13;
• определение аспектов качества в схемах приложения;
• оценку качества данных и метакачества;
• составление отчетности о качестве данных и метакачестве.

Примечание - Создание схем приложения см. в [2].

Оценка качества данных может быть применена к комплекту наборов данных, набору данных или поднабору данных в наборе данных, обладающих общими характеристиками, так что их качество может быть оценено.

Качество данных должно быть описано с помощью элементов качества данных. Элементы качества данных и их дескрипторы применяются для описания степени соответствия набора данных критериям, изложенным в спецификации информационного продукта или требованиях пользователя, и предоставляют количественную информацию о качестве.

Если информация о качестве описывает данные, которые были созданы без детальной спецификации информационного продукта или с наличием спецификации, но при отсутствии в ней количественных мер и дескрипторов, то оценка элемента данных может быть осуществлена посредством неколичественного субъективного подхода в виде описательного результата (см. 8.5.4.4) для каждого элемента.

Некоторая информация о качестве данных может быть получена на основе элементов назначения, использования и происхождения. Такая информация выдается в виде метаданных согласно ГОСТ Р 57668.

Примечание - Назначение описывает обоснование создания набора данных и содержит информацию о его предполагаемом использовании, которое может не совпадать с фактическим применением набора данных. Использование описывает приложения, в которых применялся набор данных как разработчиком данных, так и другими пользователями данных. Происхождение описывает историю набора данных и производит подсчет жизненного цикла набора данных, начиная со сбора и приобретения, включая составление и преобразование к их текущему виду. Эта общая, неколичественная информация является наглядной для пользователей и может способствовать оценке качества набора данных, преимущественно в случаях особого применения, отличного от предполагаемого (см. также 10.2.3).

Настоящий стандарт определяет, что количественные элементы качества данных могут иметь ассоциативное качество, которое называется метакачеством. Метакачество описывает качество результатов оценки качества данных по определенным характеристикам.

Примечание - Концепция метакачества описана в 8.3.7, а дескрипторы метакачества определены в 8.5.5.

На рисунке 1 представлен обзор информации о качестве данных.

Рисунок 1 — Концептуальная модель качества пространственных данных

8 Компоненты качества данных

8.1 Обзор компонентов

На рисунке 2 представлен обзор компонентов и связей между ними. Подробнее о компонентах и их атрибутах см. в словаре данных в приложении Б.

Рисунок 2 — Обзор компонентов качества данных

8.2 Единица качества данных (data quality unit)

Для описания качества пространственных данных могут рассматриваться различные элементы качества и различные поднаборы данных, с целью описания которых используются единицы качества данных. Единица качества данных — это совокупность области определения и элементов качества данных (см. рисунок 3 и таблицу Б.1)

Рисунок 3 — Единица качества данных

Область определения единиц(ы) качества данных задает протяженность, пространственные, и/или временные, и/или общие характеристики, идентифицирующие данные, на основе которых должно быть установлено и оценено качество данных.

Поскольку области определения часто различаются для отдельных элементов качества данных, один отчет о качестве данных (метаданные или отчет об оценке качества) может охватывать несколько единиц качества данных. Эти различные области могут быть, например, пространственно разделены, перекрываться или даже совпадать.

Примечание - Если набор данных является результатом интеграции наборов данных различных областей определения, значений качества данных или весов элементов качества, такой новый набор данных должен установить свою новую единицу качества данных, т.е. определить свою собственную область определения качества данных и указать интересующие элементы качества.

Ниже приведены примеры того, что устанавливает область определения качества данных (см. также MD_Scope в ГОСТ Р 57656):

а) комплект наборов данных;

б) набор данных;

в) поднабор данных, определяемый одной или несколькими из следующих характеристик:

1. типы элементов (наборы типов объектов, атрибутов объектов, операций с объектами или отношений объектов);

2. конкретные элементы (наборы экземпляров объектов, значения атрибутов или экземпляры отношений объектов);

3. географическая протяженность;

4. временная протяженность (заданные временные рамки и точность временных рамок);

г) покрытие.

8.3 Элементы качества данных (data quality elements)

8.3.1 Общие положения

Элемент качества данных — это компонент, описывающий определенный аспект качества пространственных данных, организованный по различным категориям. В настоящем стандарте они организованы в группы элементов качества, каждая из которых определена в 8.3.2 — 8.3.7. Связь между различными аспектами качества и соответствующими им элементами качества проиллюстрирована на рисунке 4, где группы элементов представлены абстрактными классами, а элементы — их подклассами.

Примечание - В зависимости от используемого инструмента и/или организационных предпочтений реализации концептуальной модели качества данных, представленной на рисунке 4, различаются.

Рисунок 4 — Обзор элементов качества данных

Примечание - Если элементы качества, определенные в настоящем стандарте, недостаточны для выражения качества набора данных, можно определить и использовать новые элементы в соответствии с требованиями, указанными в 8.4.

8.3.2 Полнота (completeness)

Полнота определяется как степень, с которой набор данных (или ряд наборов данных), представляющий объект (или объекты), имеет значения для всех ожидаемых атрибутов и связанных экземпляров сущностей на момент создания набора данных (см. [3], [4]). Таким образом, полнота относится к наличию и/или отсутствию объектов, их атрибутов и связей. В настоящем стандарте два элемента (и связанные с ними меры) определяют полноту:

• присутствие (commission) — избыточность данных в наборе данных;
• отсутствие (omission) — отсутствие данных в наборе данных.

8.3.3 Логическая согласованность (logical consistency)

Логическая согласованность определяется как степень соблюдения логических правил структуры данных, атрибутов и связей (структура данных может быть концептуальной, логической или физической). Если эти логические правила документально оформлены в другом источнике (например, в спецификации информационного продукта), необходимо ссылаться на этот источник (например, при оценке качества данных). В настоящем стандарте логическая согласованность состоит из четырех элементов качества данных (и связанных с ними мер):

• концептуальной согласованности (conceptual consistency) — соблюдения правил концептуальной схемы;
• доменной согласованности (domain consistency) — соблюдения значений доменов;
• согласованности формата (format consistency) — степени, с которой данные хранятся в соответствии с физической структурой набора данных;
• топологической согласованности (topological consistency) — правильности явно закодированных топологических характеристик набора данных.

8.3.4 Позиционная точность (positional accuracy)

Позиционная точность относится к точности измерений (см. [5], [6]) и представляет собой близость соответствия между измеренным положением объектов и положением, принятым как истинное в пространственной системе координат. В зависимости от области применения и типа системы координат в настоящем стандарте определяются следующие три элемента качества данных для выражения позиционной точности:

• абсолютная или внешняя точность (absolute or external accuracy) — степень соответствия заявленных значений координат значениям координат, принятым как истинные в стандартной системе координат;
• относительная или внутренняя точность (relative or internal accuracy) — степень соответствия относительного положения объектов в наборе данных их соответствующим относительным положениям, принятым как истинные в локальной системе координат;
• точность позиционирования сеточных данных (gridded data positional accuracy) — степень соответствия пространственного положения сеточных данных значениям, принятым как истинные.

Точность позиционирования — это оценка неопределенности результатов измерений (см. [7]) и поэтому должна выражаться мерами неопределенности.

8.3.5 Временное качество (temporal quality)

Под временным качеством понимают качество временных атрибутов и временных отношений объектов. Временное качество может быть описано следующими элементами качества данных (и связанными с ними мерами):

• точностью измерения времени (accuracy of a time measurement) — степенью соответствия заявленных временных измерений значениям, принятым как истинные;
• временной согласованностью (temporal consistency) — правильностью временного порядка событий;
• временной достоверностью (temporal validity) — достоверностью данных по отношению ко времени.

Примечания

1 В английском языке термины «timeliness», «currentness» (см. [4]), «up-to-dateness and actuality» используются как синонимы временной достоверности.

2 Временная достоверность отличается от доменной согласованности и временных значений. Например, значение «33 марта 2020 г.», представляющее дату, указывает на несогласованность домена. Примером временной недостоверности является набор данных, содержащий объекты, которые не существовали в метке времени, связанной с их записью.

8.3.6 Тематическое качество (tematic quality)

Тематическое качество определяется как точность количественных атрибутов и правильность неколичественных атрибутов, а также классификаций признаков и их отношений. В настоящем стандарте тематическое качество определяется тремя элементами качества данных (и связанными с ними мерами):

• правильностью классификации (classification correctness) — соответствием классов объектов или их атрибутов предметной области (например, реальной ситуации или эталонному набору данных);
• правильностью неколичественных атрибутов (non-quantitative attribute correctness) — определением, является ли неколичественный атрибут правильным или неправильным;
• точностью количественных атрибутов (quantitative attribute accuracy) — степенью соответствия значения количественного атрибута значению, принятому в качестве правильного или являющемуся правильным.

8.3.7 Элементы метакачества (metaquality elements)

Элементы метакачества представляют собой набор количественных и качественных утверждений об оценке качества и ее результате. Знания о качестве и пригодности метода оценки, примененной мере и др. могут иметь такое же значение, как и сам результат.

См. Г.5.3 для примера оценки метакачества. Метакачество должно быть описано с использованием следующих элементов:

• достоверности (confidence) — надежности результата качества данных.

Примечание - Количественные показатели для достоверности могут быть получены с помощью статистических параметров, таких как стандартное отклонение или доверительный интервал на заданном уровне достоверности.

Пример - Достоверность в первую очередь исходит из используемого метода и его надежности, а также, в меньшей степени, из рассматриваемой совокупности;

• репрезентативности (representativity) — степени, в которой использованная выборка дала результат, который является репрезентативным для данных в рамках области качества данных.

Примечание - Статистический метод, основанный на выборке, может считаться таким же надежным, как глобальный метод, когда охвачены все географические зоны и соответствующие периоды времени, а совокупность достаточно велика. Решающее значение имеет не только размер выборки, но и то, насколько хорошо она представляет фактическое состояние данных. См. также 10.2.2 и приложение Д;

• однородности (homogeneity) — ожидаемой или проверенной однородностью результатов, полученных для оценки качества данных.

Примечания

1 Однородность заключается в сравнении результатов оценки нескольких сегментов глобального набора данных. Это сравнение может быть выражено с использованием, например, среднеквадратических ошибок (как, например, в Д.5.3). В случае общего процесса однородность не может быть оценена, поскольку результат является глобальным.

2 Эти тесты часто проводятся, когда данные были получены разными операторами, в зависимости от зоны сбора или даты сбора.

8.4 Расширение модели информации о качестве данных

Для многих целей, специфичных для домена, может быть целесообразным расширить стандартную модель информации о качестве данных, описанную в 8.3. Расширение включает добавление элементов качества данных (или одной из ее специализаций, описанных в 8.3) и мер качества данных.

Пример - Производители данных могут пожелать предоставить своим пользователям средства для записи отзывов о наборе данных.

Примечания

1 Новый элемент качества должен быть определен как специализация QualityElement (см. 8.3) в соответствии с правилами для расширений метаданных (см. ГОСТ Р 57668-2017, приложение C) и правилами для профилей доменов стандартных схем (см. [2], 8.3).

2 При необходимости, элементы, определенные в других национальных (см. ГОСТ Р ИСО/МЭК 25000) и международных стандартах (см. [8]), могут быть использованы для расширения набора компонентов качества, определенных в разделе 8.

8.5 Дескрипторы элементов качества данных

8.5.1 Общие положения

Элемент качества данных описывается ссылкой на меру качества, метод оценки, результат качества и элемент метакачества. Данные дескрипторы представлены на рисунке 5 и описаны в 8.5.2 — 8.5.5.

Рисунок 5 — Дескрипторы элементов качества данных

8.5.2 Ссылка на меру (measure reference)

Элементы качества данных ссылаются на меры с помощью ссылки (см. рисунок 6), предоставляя идентификатор меры, полностью описанной в другом месте.

Примечание - Полное описание можно найти в регистре мер или каталоге, который может быть частью спецификации продукта данных или отчета об оценке качества.

Рисунок 6 — Ссылки на меры качества данных

Меры качества данных более подробно описаны в разделе 9.

В приложении Е приведен список стандартизированных мер качества данных.

Пример - Процент значений атрибута, которые являются правильными.

Настоящий стандарт устанавливает, что для измерения качества набора данных используются различные методы. Одной меры качества данных может быть недостаточно для полной оценки качества данных, задаваемых областью определения качества данных, а также для предоставления мер качества для различных вариантов использования набора данных. Комбинация мер качества данных может давать полезную информацию. Несколько мер качества данных могут быть описаны для данных, заданных одной областью определения качества данных. В этом случае отчет о качестве данных должен включать один экземпляр QualityElement для каждой примененной меры.

8.5.3 Метод оценки (evaluation method)

Метод оценки качества данных описывает те процедуры и методы, которые применяются к пространственным данным для получения результата качества данных (см. рисунок 7). Для различных элементов качества данных часто используются различные методы оценки.

Рисунок 7 — Метод оценки качества данных

Метод оценки качества данных используется для описания методологии, используемой для применения меры качества данных для данных, задаваемых некоторой областью их определения, или для описания документации, в которой такая методология описывается.

Примечание - Оценка качества данных более подробно описана в разделе 10.

Пример - Примерами документации являются спецификации информационных продуктов (см. ГОСТ Р 70846.13), опубликованные статьи или утвержденные стандарты организаций.

Для каждой оценки следует указывать дату или диапазон дат. Если оценка проводилась в непоследовательном временном порядке, то следует указывать каждую отдельную дату. Даты указываются в соответствии с требованиями (см. [8]).

8.5.4 Результат качества

8.5.4.1 Общие положения

Результат качества данных предоставляется для каждого элемента качества данных. Это может быть количественный результат, результат соответствия, описательный результат или результат покрытия (см. рисунок 8).

Примечание - Для одного элемента качества данных могут применяться различные типы результатов качества.

Рисунок 8 — Результат качества данных

Качество часто варьируется между различными частями набора данных, для которых оценивается качество, поэтому для одного и того же элемента качества данных можно применить несколько оценок, чтобы более полно и подробно описать количественно качество данных. Чтобы избежать повторения описаний меры и процедуры оценки в нескольких экземплярах элемента качества данных (QualityElement), можно использовать несколько результатов с индивидуальными областями действия результатов.

Пример - Набор данных содержит признаки одного типа, позиции которого были установлены различными методами, дающими разную точность позиционирования. Однако один и тот же метод оценки качества и одна и та же мера применяются ко всему набору данных и дают разные результаты в зависимости от метода получения данных. В этом случае целесообразно иметь несколько результатов с индивидуальными областями действия результатов (область, охватываемая каждым методом получения данных) и одну область действия качества данных (набор данных).

8.5.4.2 Количественный результат

Количественным результатом может быть одно или несколько значений, в зависимости от значений атрибутов valueType и valueStructure, определенных в описании применяемой меры.

Атрибут valueRecordType используется для описания того, как valueType и valueStructure, определенные в мере, реализованы для предоставления значения количественного результата.

Примечание - Атрибут valueRecordType имеет тип RecordType, который является общим типом данных (см. [9]). Его значение изменяется в зависимости от того, какое решение реализации используется для предоставления количественного результата. Пример реализации расширяемого языка разметки (XML) для recordType приведен в [10].

Примеры

1 Использование реализации XML: простой пример: value = 5, valueRecordType = gco: Integer, valueUnit = «metre».

2 В рамках описания меры, valueType — целочисленная переменная, а valueStructure — матрица (n x n). Значение атрибута количественного результата обеспечивает результат самой матрицы в пределах числового кодирования, использующего определенный тип XML, например MatrixType. В XML атрибут valueRecordType обеспечивает описание типа MatrixType. Если применяется другая кодировка, то атрибут valueRecordType изменяется для обеспечения описания типа Matrix в другой кодировке и, соответственно, изменяется реализация вычисления значения атрибута, но само значение остается прежним.

3 Мера «уровень избыточных элементов» («Rate of excess items») используется для оценки количества избыточных элементов в наборе данных по отношению к количеству элементов, которые должны быть представлены. Результат количественного значения имеет тип значения Real. В этом случае единица значения указывается в процентах, значение умножается на 100.

8.5.4.3 Результат соответствия (conformance result)

Результат соответствия — это результат сравнения значения или набора значений, полученных в результате применения некоторой меры качества к данным, заданным областью определения качества, с учетом установленного приемлемого уровня соответствия качества (например, как записано в спецификации информационного продукта в соответствии с ГОСТ Р 70846.13).

Когда уровень соответствия качества определен, его сравнивают с полученным результатом с целью выявления того факта, что качество данных удовлетворяет заданному уровню качества.

Результат соответствия может быть установлен для каждой меры. Уровень соответствия качества определяется в документации, такой как спецификация к информационному продукту или спецификация требований, определенных пользователем. При определении соответствия необходимо ссылаться на применимую нормативно-техническую документацию и указывать использованный уровень соответствия качества.

Примечание - Если оценка проводилась на основе уровней соответствия, полученных из разных источников, для одной и той же меры может быть предоставлено несколько результатов ConformanceResult по качеству данных.

8.5.4.4 Описательный результат (descriptive result)

В некоторых случаях (например, при тематических и геонаучных исследованиях) проведение количественной результирующей оценки для элемента качества данных не представляется возможным. В таком случае субъективная оценка элемента может быть выражена в текстовом формате в качестве описательного результата качества данных.

Пример - Относительная точность положения выше между геологическим объектом и соседним объектом на топографической карте (дороги, реки, озера и т.д.), чем абсолютная точность положения самого геологического объекта.

Этот описательный результат также может быть использован для того, чтобы дать краткое синтетическое описание результата оценки качества данных в дополнение к полному количественному результату или вместо него, если количественное значение не может быть получено.

8.5.4.5 Результат покрытия

Результат качества данных может быть предоставлен как информация в покрытии. Модель UML для результата покрытия представлена на рисунке 8.

8.5.5 Дескрипторы элемента метакачества

Элемент метакачества описывается теми же дескрипторами, что и элемент качества: мера, метод оценки и результат (см. рисунок 9).

Примечание - Связанный элемент качества — это элемент, к которому применяется элемент метакачества.

См. Д.5.3 для примера оценки метакачества.

Рисунок 9 — Дескрипторы метакачества

9 Меры качества данных (data quality measures)

9.1 Общие положения

Для облегчения сравнения наборов данных оценки и отчеты о качестве данных (метаданные или отчет об оценке качества) должны быть выражены сопоставимым образом. Также необходимо иметь общее представление об используемых мерах качества данных.

По возможности в оценках качества данных и для представления результата оценки качества в отчетах об оценке качества и метаданных должны использоваться меры, определенные в регистре мер качества для пространственных данных. Стандартизированные меры качества данных описаны в приложении Е.

Примечания

1 Если ни одна мера, определенная в регистре мер качества для пространственных данных, не применима, могут использоваться дополнительные, определяемые пользователем меры (см. 9.3).

2 Элементы, определенные в других национальных (например, см. ГОСТ Р ИСО/МЭК 25000) и международных стандартах, могут использоваться для расширения модели качества.

9.2 Стандартизированные меры качества данных

9.2.1 Общие положения

Структура стандартных мер качества данных представлена на рисунке 10.

Рисунок 10 — Меры качества данных

Каждая мера качества данных описывается следующими компонентами:

• идентификатор меры (см. 9.2.2);
• название (см. 9.2.3);
• условное название (см. 9.2.4);
• название элемента (см. 9.2.5);
• базовая мера (см. 9.2.6);
• определение (см. 9.2.7);
• описание (см. 9.2.8);
• параметр (см. 9.2.9);
• тип значения (9.2.10);
• структура значения (см. 9.2.11);
• ссылка на источник (см. 9.2.12);
• пример (см. 9.2.13).

Для каждого элемента качества данных можно определить несколько мер. Выбор используемой будет зависеть от типа данных и их предполагаемого назначения. Список стандартизированных мер качества данных приведен в регистре мер качества данных.

9.2.2 Идентификатор меры (measure identifier)

Идентификатор — это значение, уникально идентифицирующее меру в пространстве имен.

Примечание - Данный идентификатор позволяет ссылаться на меру качества данных в элементах качества данных (см. 8.5.2).

9.2.3 Название (name)

Название — это имя меры.

Примечание - Если мера уже имеет общепринятое название, то должно использоваться это название. Если же такого названия не существует, то следует выбрать такое название, которое отражает характер этой меры.

9.2.4 Условное название (alias)

Условное название — это другое отличительное наименование для той же меры качества данных. Им может быть иное общепринятое наименование либо аббревиатура или же краткое имя. Возможно использование более одного условного названия.

9.2.5 Название элемента (element name)

Название элемента — это название элемента качества данных (см. 8.3 и 8.4), к которому применяется мера. Возможно использование более одного имени элемента.

9.2.6 Базовая мера (basic measure)

Базовые меры определяются по их имени, определению, примеру и типу значения (см. рисунок 10).

Базовые меры также следует использовать при необходимости создания новых мер, например для сообщения о незамкнутых участках поверхности или других мерах, зависящих от приложения.

Множество мер основано на подсчете ошибочных элементов. Существуют также некоторые меры, связанные с неопределенностью числовых значений. Для того чтобы избежать повторений, наиболее распространенные методы построения расчетных мер, а также общие статистические показатели для одно- и двумерных случайных величин должны быть установлены в виде базовых мер.

Примечание - В приложении Ж приведены базовые меры.

9.2.7 Определение (definition)

Определение — это представление понятия с помощью описательного утверждения, которое служит для его различения от связанных понятий (см. [11]).

Примечание - Если мера является производной от базовой меры, то такое определение основывается на определении базовой меры и уточняется для данной меры.

9.2.8 Описание (description)

Описание меры помимо текстового описания включает методы расчета, со всеми формулами и/или иллюстрациями, необходимыми для получения результата применения этой меры.

Если мера использует концепцию ошибок для сообщения о правильных или неправильных элементах, описание должно содержать объяснение тех случаев, когда элемент классифицируется как неправильный. В этом случае качество может быть описано только как правильное или неправильное.

9.2.9 Параметр (parameter)

Параметр меры — это вспомогательная переменная, используемая мерой.

9.2.10 Тип значения (value type)

Тип значения — это тип данных, используемый для представления результата меры. Типы данных определены в [9].

9.2.11 Структура значения (value structure)

Результат может состоять из нескольких значений. В таких случаях результат должен быть структурирован с использованием структуры значения, как указано в Б.3.3.

9.2.12 Ссылка на источник (source reference)

Ссылка на источник — это ссылка на документацию с описанием меры.

9.2.13 Пример (example)

Пример - это образец применения меры или результата, полученного для меры. Может быть предоставлено более одного примера.

9.3 Пользовательские меры качества данных

Ввиду характера пространственных данных список стандартизированных мер качества данных не может быть полным. Потенциально могут быть случаи, когда пользователю настоящего стандарта понадобится разработать другие меры качества данных. По возможности эти меры должны быть определены с использованием базовых мер качества данных, а сама мера должна быть определена с использованием структуры, приведенной в разделе 9. Дополнительные примеры мер качества данных (см. [12], приложение C).

Примечание - Новая мера качества должна быть определена как специализация QualityMeasure или одного из ее подтипов (см. раздел 9) в соответствии с правилами для расширений метаданных (ГОСТ Р 57668-2017, приложение C) и правилами для профилей доменов стандартных схем (см. [2], 8.3).

Если мера качества получена из базовой меры, то должна быть указана базовая мера.

Если элемент принят из внешнего источника, то должна быть указана ссылка на внешний источник.

Если мера использует вспомогательную переменную, то для меры должен быть указан ссылочный MeasureParameter.

10 Оценка качества данных

10.1 Процесс оценки качества данных

10.1.1 Введение

Процессы оценки качества используются на разных этапах жизненного цикла продукта, имея разные цели на каждом этапе. Рассматриваемые этапы жизненного цикла — это спецификация, производство, доставка, использование и обновление.

Процесс оценки качества данных — это последовательность шагов для получения результата оценки качества данных.

10.1.2 Последовательность выполнения процесса

Процесс оценки качества представляет собой последовательность шагов, выполняемых для получения результата оценки качества. Рисунок 11 иллюстрирует возможную последовательность действий для оценки качества данных. См. также приложение Г, в котором представлено описание концепции оценки и составления отчетности по качеству данных.

Рисунок 11 — Оценка качества данных

Когда оцениваемые наборы пространственных данных неоднородны и разные части имеют разное качество, то тесты должны быть выполнены соответственно для различных частей.

10.1.3 Этапы процесса (process steps)

В таблице 2 описаны этапы процесса, участвующие в оценке качества, как показано на рисунке 11.

Таблица 2

Этапы процесса

Оценка метакачества может быть выполнена после получения итоговых данных оценки качества. Описанный выше рабочий процесс также является возможным рабочим процессом для оценки метакачества со следующими этапами процесса: указание элемента метакачества и оценка качества, для которой оценивается метакачество, затем указание меры и метода оценки и определение итога оценки метакачества.

10.2 Методы оценки качества данных (data quality evaluation methods)

10.2.1 Классификация методов оценки качества данных

Процедура оценки качества данных включает один или более методов оценки качества данных. Методы оценки качества данных можно разделить на два основных класса: прямая (direct) оценка и косвенная (indirect) оценка. Методы прямой оценки определяют качество данных путем сравнения данных с внутренней и/или внешней эталонной информацией. Методы косвенной оценки выводят или оценивают качество данных, используя информацию о данных, такую как происхождение. Применение методов прямой оценки предпочтительнее косвенной оценки.

Методы прямой оценки, в свою очередь, подразделяются по источникам информации, необходимой для выполнения оценки, т.е. внутренние или внешние. На рисунке 12 показаны классы, используемые для описания методов оценки.

Примечание - Происхождение описано в ГОСТ Р 57668.

Рисунок 12 — Методы оценки качества данных

10.2.2 Прямая оценка (direct evaluation)

Метод прямой оценки — это метод оценки качества набора данных, основанный на проверке элементов в наборе данных.

Методы прямой оценки могут быть классифицированы на внутренние и внешние. Внутренняя прямая (internal direct) оценка качества данных использует только те данные, которые содержатся в оцениваемом наборе данных. Внешняя прямая (external direct) оценка качества требует применения эталонных данных, внешних по отношению к тестируемому набору данных.

Примечание - Эталонные данные — это данные, принятые как представляющие предметную область.

Как для внешних, так и для внутренних методов оценки может использоваться один из следующих методов проверки:

• полный контроль (full inspection): в ходе оценки качества данных проверяется каждый элемент, указанный в области качества данных;
• выборочный контроль (sampling): в ходе оценки качества данных проверяются подмножества пространственных данных, определенных в области качества данных.

При полном контроле тестируется каждый элемент в генеральной совокупности, определенной областью качества данных.

Метод прямой оценки — это метод оценки качества набора данных на основе проверки элементов в наборе данных.

Если оценка основана на выборочной проверке, стратегия выборки должна быть объяснена в отчете об оценке качества.

Предпочтительнее полная проверка. Если полная проверка невозможна, можно использовать выборочную проверку. В приложении Д подробно рассматриваются методы выборки.

10.2.3 Косвенная оценка (indirect evaluation)

Метод косвенной оценки — это метод оценки качества набора данных на основе внешних знаний или накопленного опыта работы с информационным продуктом, который также может быть субъективным.

Эти внешние знания могут включать информацию об использовании набора данных, его происхождении и цели (см. ГОСТ Р 57668) или другую отчетную информацию о качестве набора данных или данных, использованных для создания набора данных. Качество данных может быть оценено, например, на основе знаний об источнике, инструментах и методах, использованных для сбора данных, и оценено по процедурам и спецификациям, разработанным для этого продукта. Косвенно оцененное качество данных может также основываться только на опыте или определяться на основе отзывов пользователей.

В некоторых случаях может быть потенциально вводящим в заблуждение или даже невозможным описать косвенно оцененное качество данных в виде количественного результата. В таких случаях качество данных может быть описано в текстовой форме с использованием описательного результата, см. 8.5.4.4.

10.3 Обобщение и преобразование (aggregation and derivation)

Дополнительные результаты можно получить посредством обобщения или преобразования существующих результатов без проведения новой оценки качества данных.

Обобщение объединяет результаты качества из проведенных оценок качества данных, основанных на различных элементах качества данных или различных областях определения качества данных.

Дополнительные результаты также могут быть выведены из существующих результатов, например, когда результат соответствия получен путем сравнения количественного результата с уровнем соответствия. Это полезно, например, если результат выражен не уровнем соответствия.

Примечания

1 Обобщение может быть применено для обобщения результатов различных элементов качества с целью описания их соответствия спецификации информационного продукта.

2 Подробнее об обобщении см. в приложении Г. Правила изложения информации по обобщению описаны в 11.2.1 и приложении Д.

3 Правила изложения информации по преобразованию описаны в 11.2.2 и приложении Д.

Пример - Если результат имеет уровень достоверности 95%, а уровень соответствия имеет уровень достоверности 99%, результат может быть пересчитан к тому же уровню достоверности, что и уровень соответствия.

11 Отчетность о качестве данных

11.1 Общие положения

Качество данных должно быть представлено в виде метаданных и может быть дополнено отчетом об оценке качества.

Качество данных должно быть представлено в виде метаданных в соответствии с разделами 8, 11 и приложением Б, а также в соответствии с ГОСТ Р 57668.

Для предоставления более подробной информации, чем та, которая сообщается в виде метаданных, может быть дополнительно создан отчет об оценке качества, включая такие сведения, как конкретные этапы процесса, выполненные при оценке. Метаданные должны содержать ссылку на самостоятельный отчет по оценке качества при его наличии (см. рисунок 13). Дополнительный отчет об оценке качества не должен заменять метаданные.

Примечание - См. также В.4.3.2 для получения дополнительной информации о том, как сообщать о качестве данных и о взаимодополняющей роли метаданных и отчета об оценке качества.

Рисунок 13 — Отчет о качестве данных

11.2 Частные случаи

11.2.1 Отчетность по обобщению (обобщенные результаты)

Отчет об оценке качества может включать информацию об обобщенных результатах.

Если результат был получен методом обобщения, необходимо предоставить отчет об оценке качества для дополнения информации, представленной в метаданных. При обобщении результатов должен предоставляться самостоятельный отчет о качестве (standalone quality report) для дополнения информации, представленной в метаданных. В рамках этого самостоятельного отчета о качестве должна быть представлена детальная информация по исходному результату с мерой(ами) и процедурой(ами) оценки, обобщенному результату и методу обобщения.

Метаданные формируются с учетом следующего:

• когда несколько показателей качества одного элемента качества объединяются в один показатель этого элемента, то этот показатель должен быть представлен в метаданных в виде результата этого элемента качества данных. См. примеры в Г.4.1.2 и Г.4.1.3;
• когда несколько показателей качества различных элементов объединяются в один показатель, то это должно быть отражено в метаданных как результат оценки соответствия набора данных спецификации продукта данных или требованиям пользователя. См. пример в Г.4.1.4.

При представлении агрегированного результата в метаданных необходимо предоставить ссылку на исходные результаты оценки качества по отдельным элементам.

11.2.2 Отчетность по преобразованию (производные результаты)

Когда в метаданных сообщаются только производные результаты, отчет об оценке качества также должен быть сформирован для предоставления исходных результатов качества данных, из которых был определен производный результат. Затем метаданные должны предоставить ссылку на отчет об оценке качества и исходный результат качества данных.

Пример - Результат соответствия часто является производным из количественного результата. Если в метаданных указывается только результат соответствия, то тогда количественные результаты должны быть представлены в самостоятельном отчете по оценке качества.

11.2.3 Ссылка на исходный результат качества данных

Когда в метаданных приводятся производные или агрегированные результаты, ссылка на качество исходных данных может быть предоставлена с использованием двух атрибутов:

• атрибута derivedElement ссылается на элемент качества [и его результат(ы)], описанный в метаданных;
• атрибута qualityEvaluationReportDetails ссылается на часть отчета об оценке качества, где описан(ы) исходный(е) результат(ы).

11.2.4 Принцип иерархии

В настоящем стандарте применяется принцип иерархии уровней.

Качество данных, указанное на верхнем уровне (например, ряд), применимо на нижнем уровне (например, набор данных); см. таблицу 3.

Таблица 3

Уровни иерархии

Примечание - Качество экземпляра объекта, атрибута объекта или связей между объектами может быть указано в качестве атрибута для этого экземпляра (см. [2]).

Если качество данных на верхнем и нижнем уровнях различается, то на нижнем уровне следует предоставить дополнительную информацию.

12 Требования к кодировке XML

Для обмена спецификацией качества данных в формате XML требуются правила кодировки. В настоящем разделе указаны такие правила и схема XML.

Схема XML следует правилам (см. [10]) для перевода моделей UML в схему XML.

Схема XML также использует шаблоны для разделения пространств имен XML (см. [13], раздел 8).

Определения схемы XML относятся к пространству имен [14], которое сокращенно обозначается как dqc.

Эта схема XML реализует все классы UML, определенные в настоящем стандарте, и импортирует все соответствующие классы из других стандартов.

Более подробно кодировка XML рассмотрена в приложении И.

Приложение А (обязательное)

АБСТРАКТНЫЙ ТЕСТ

Таблица А.1

Содержание спецификации продукта данных

Таблица А.2

XML-кодирование

Приложение Б (обязательное)

СЛОВАРЬ ДАННЫХ ДЛЯ КАЧЕСТВА ДАННЫХ

Б.1 Обзор словаря данных

Б.1.1 Введение

Словарь данных описывает характеристики модели качества данных, определенной в разделах 8 — 11. Словарь состоит из таблиц со столбцами и строками в иерархии для установления отношений и организации информации.

Затемненные строки таблицы представляют классы. Незатемненные строки таблицы представляют атрибуты класса и ассоциации. Классы и атрибуты классов в таблицах словаря данных определяются шестью столбцами таблицы, описанной в пунктах Б.1.2 — Б.1.7.

Б.1.2 Имя/ролевое имя

Имя/ролевое имя — это метка, относящаяся к классу или атрибуту класса. Имена классов начинаются с заглавной буквы. Пробелы не используются в имени класса. Вместо этого несколько слов соединяются, и каждое новое подслово начинается с заглавной буквы (например: XnnnYmmm). Имена классов уникальны в пределах всего словаря данных настоящего стандарта. Имена атрибутов класса уникальны в пределах класса, а не всего словаря данных настоящего стандарта. Имена атрибутов класса устанавливаются уникальными в пределах приложения посредством сочетания имени класса и имени атрибута класса. Ролевые имена используются для идентификации абстрактных моделей ассоциаций и начинаются с префикса «Role name», чтобы отличить их от других атрибутов класса. Имена и имена ролей могут быть на любом другом языке, отличающемся от используемого в настоящем стандарте.

Б.1.3 Определение

Определение включает в себя описание класса или атрибута класса.

Б.1.4 Признак обязательности/условности

Признак обязательности/условности — это признак, указывающий должен ли класс или атрибут класса всегда указываться в наборе данных или только иногда [т.е. содержать значение(я)]. Он может иметь следующие значения: M (mandatory) — обязательный, C (conditional) — условный или O (optional) — необязательный:

а) обязательный (M) — класс или атрибут класса должны быть указаны;

б) условный (C) — определяет управляемое условие, при котором хотя бы один класс, атрибут класса или ассоциация являются обязательными. Признак «условный» используется в следующих ситуациях:

1. признак, представляющий собой выбор между двумя или более вариантами. По крайней мере один из вариантов является обязательным и должен быть документирован,

2. документирование класса, атрибута класса или ассоциации, если другой класс был задокументирован,

3. документирование атрибута класса или ассоциации, если конкретное значение другого атрибута класса уже задокументировано. Для облегчения чтения людьми конкретное значение используется в обычном тексте. Однако для проверки условия в электронном интерфейсе пользователя должен использоваться код.

Если ответ на условие положительный, то класс, атрибуты класса или ассоциация должны быть обязательными;

в) необязательный (O) — класс, атрибут класса или ассоциацию можно документировать или не документировать. Необязательный класс или необязательный атрибут класса были определены, чтобы обеспечить руководство для пользователей, которые предпочитают полностью документировать свои данные (использование этого общего набора определенных элементов будет способствовать развитию взаимодействия между пространственными данными пользователей и разработчиков во всем мире). Если необязательный класс не используется, атрибуты классов, содержащиеся в данном классе (в том числе обязательные атрибуты), также не будут использоваться. Необязательные классы могут иметь обязательные атрибуты класса; эти атрибуты класса становятся обязательными, только если используется их необязательный класс.

Б.1.5 Максимум вхождений (МВ)

Определяет максимально допустимое число экземпляров класса, атрибута класса или ассоциации. Единичное вхождение представляется числом 1; повторяющееся — буквой N. Допускается фиксированное число вхождений больше единицы, которое будет представляться соответствующим числом (например, 2, 3 и т.д.).

Б.1.6 Тип данных

Определяет набор различных значений для представления атрибутов класса (например, integer, real, string, DateTime и Boolean). Столбец типа данных также используется для определения классов, стереотипов и ассоциаций классов.

Примечание - Типы данных определены в [9].

Б.1.7 Область допустимых значений (домен)

Для класса (затемненные строки) домен указывает номера строк, относящихся к атрибутам классов и ассоциациям этого класса.

Для атрибута класса или ассоциации домен определяет допустимые значения или использование произвольного текста. Понятие «текст» (free text) означает, что никаких ограничений на содержание этого поля не накладывается. Целочисленные коды должны применяться для представления значений доменов, содержащих кодовые списки.

Примечание - Домены определены в ГОСТ Р 57668-2017 (пункт B.1.7).

Б.2 Словарь данных для пакетов качества данных

Б.2.1 Качество данных

Б.2.1.1 Общие положения

Глобальная модель UML для всего пакета качества данных представлена на рисунке 2. Таблица Б.1 описывает свойства модели UML, показанной на рисунке 3 и рисунке 13.

Таблица Б.1

Качество данных

Б.2.1.2 Элементы качества данных

Таблица Б.2 описывает модель UML, показанную на рисунках 2, 4, 5, 10 и 13.

Таблица Б.2

Элемент качества данных

Б.2.1.3 Указатель меры

В таблице Б.3 описана модель UML, показанная на рисунке 6.

Таблица Б.3

Указатель меры

Б.2.1.4 Оценка качества данных

В таблице Б.4 описана модель UML, показанная на рисунках 7, 11 и 12.

Таблица Б.4

Оценка качества данных

Б.2.1.5 Результат качества данных

Таблица Б.5 описывает модель UML, показанную на рисунке 8.

Таблица Б.5

Результат качества данных

Б.2.1.6 Информация об отчете по оценке качества

В таблице Б.6 описана модель UML, показанная на рисунке 13.

Таблица Б.6

Информация об отчете по оценке качества

Б.2.2 Мера качества данных

Б.2.2.1 Общие положения

Модель UML для информации о мерах показана на рисунке 10.

Б.2.2.2 Меры качества данных

В таблице Б.7 описана модель UML, показанная на рисунке 10.

Таблица Б.7

Меры качества данных

Б.2.2.3 Базовая мера качества данных

В таблице Б.8 описана модель UML, показанная на рисунке 10.

Таблица Б.8

Базовая мера качества данных

Б.2.2.4 Параметр качества данных (data quality parameter)

В таблице Б.9 описана модель UML, показанная на рисунке 10.

Таблица Б.9

Параметр качества данных

Б.2.2.5 Описание меры качества данных

В таблице Б.10 описана модель UML, показанная на рисунке 10.

Таблица Б.10

Дескриптор меры качества данных

Б.2.2.6 Указатель источника меры качества данных

В таблице Б.11 описана модель UML, показанная на рисунке 10.

Таблица Б.11

Указатель источника меры качества данных

Б.2.2.7 Тип формулы качества данных

В таблице Б.12 описана модель UML, показанная на рисунке 10.

Таблица Б.12

Тип формулы качества данных

Номер строки

Имя/ролевое имя

Б.3.1 Введение

Классы со стереотипом <> представлены ниже. Они не содержат столбцы «признак обязательности», «множественность», «тип данных» и «множество значений». В связи с тем, что <> является расширяемым, то ни один класс со стереотипом не содержит значения «другой».

В таблице Б.13 описана модель UML, показанная на рисунке 12.

Таблица Б.13

Тип метода оценки

Б.3.2 Структура значений

В таблице Б.14 описана модель UML, показанная на рисунке 10.

Таблица Б.14

Структура значений

Б.3.3 Язык формулы

В таблице Б.15 описана модель UML, показанная на рисунке 10.

Таблица Б.15

Язык формулы

Приложение В (справочное)

КОНЦЕПЦИИ КАЧЕСТВА ДАННЫХ И ИХ ИСПОЛЬЗОВАНИЕ

В.1 Концептуальные основы качества данных

Набор данных может быть создан для конкретного приложения или для нескольких возможных приложений. Качество набора данных может быть определено только при наличии информации об оценке элементов качества данных и в некоторых случаях косвенно — на основе неколичественной качественной информации по использованию, происхождению и назначению (см. ГОСТ Р 57668). Элементы качества данных оценивают расхождение между набором данных и предметной областью (т.е. правильным набором данных, который соответствует спецификации продукта). Неколичественная информация о качестве представляет общую информацию, из которой можно получить связанные с качеством знания.

Концепции оценки качества данных предоставляют важную основу для разработчиков, а также пользователей данных. Разработчик данных получает средства для проверки того, насколько набор данных отражает его предметную область согласно спецификации продукта. Пользователи данных могут оценить качество набора данных, чтобы удостовериться в том, что набор данных удовлетворяет требованиям пользовательского применения (см. рисунок В.1).

Рисунок В.1 — Концептуальные основы оценки качества данных

Заявленные результаты качества являются действительными в отношении спецификации информационного продукта или требований пользователей. Если они изменились, то оценка качества должна быть повторена в отношении измененной спецификации или требований. Следует проявлять осторожность при сравнении результатов качества там, где предметная область отличается.

Пример - Преобразование модели в инфраструктурах пространственных данных или при генерализации. При изменении геометрии типа объекта также изменяются результаты позиционной точности.

В.2 Структура наборов данных и компонентов для описания качества

Набор данных может принадлежать комплекту наборов данных, что означает, что все наборы данных комплекта основаны на одной и той же спецификации информационного продукта. Качество всех наборов данных, принадлежащих одному комплекту набора данных, может быть одинаковым.

Набор данных может рассматриваться как содержащий большое, хотя и конечное, число поднаборов данных. Поднаборы данных, объединенные принадлежностью к одному и тому же типу объекта, атрибуту объекта или отношению, критерию сбора или к одной и той же географической и временной протяженности, часто имеют одинаковое качество. Поднабор данных минимально может состоять из экземпляра объекта, значения атрибута или вида отношения. Концепция оценки качества данных позволяет каждому экземпляру объекта, значению атрибута и виду отношения объекта иметь собственное качество. Качество поднабора данных в наборе данных может не совпадать с качеством остальной части набора данных, к которому они принадлежат. Концепции оценки качества данных допускают выдачу информации о качестве набора данных и, кроме того, другой информации о качестве поднабора данных, идентифицируя эти группы как данные, которые определяются спецификой области определения качества данных. Информация о качестве, представленная для нескольких областей определения качества данных, меньше, чем та, что выводится для набора данных, но представляет более полную и подробную картину качества, чем общее качество полного набора данных.

Примечание - Для разработчика данных спецификация информационного продукта описывает предметную область и содержит правила для построения набора данных. Для пользователя данных требования описывают предметную область, которая может совпадать или не совпадать с предметной областью набора данных. Качество набора данных определяется тем, насколько хорошо он представляет предметную область. Качество одного и того же набора данных может отличаться в зависимости от предметной области, относительно которой он оценивается.

Качество набора данных описывается элементами качества данных и их дескрипторами. Некоторая информация, относящаяся к качеству, также может быть получена с помощью неколичественных элементов использования, происхождения и назначения.

Метакачество обеспечивает информацию по качеству в отношении оценки качества.

Элементы качества данных позволяют оценить, насколько набор данных соответствует критериям, изложенным в спецификации информационного продукта, или требованиям пользователя. Элементы качества данных оценивают различными способами и на различных этапах жизненного цикла набора данных. Концепция оценки качества данных подразумевает, что не все элементы качества данных применимы ко всем типам наборов данных. Помимо этого некоторые элементы качества данных являются применимыми к большим наборам данных, в то время как другие более применимы к подмножеству данных в более крупном наборе данных. Некоторые элементы качества данных применимы как для единичных экземпляров данных, так и для большего количества, а некоторые применимы только для множества экземпляров.

Настоящий стандарт определяет элементы качества данных в первую очередь как средства идентификации и выдачи различных видов информации о качестве, также подразумевается, что элементы качества данных часто взаимосвязаны.

Пример - Ошибка в координатах может повлечь за собой по меньшей мере два типа ошибок — позиционную и топологическую.

Значение элементов качества данных с точки зрения продукта и способа, которым обрабатываются элементы качества данных, находится в компетенции оценщика качества.

В.3 Применение процедур оценки качества

Процедуры оценки качества могут применяться на различных этапах жизненного цикла продукта. Оценка качества может быть применена на следующих стадиях жизненного цикла продукта:

• разработка спецификации информационного продукта или требований пользователя: при разработке спецификации или определении требований пользователя процедуры оценки качества могут быть использованы для установления уровней соответствия качества, которым должен отвечать конечный продукт. Спецификация информационного продукта или требования пользователя могут включать уровни соответствия качества для данных и процедуры оценки качества, которые должны применяться в процессе производства и обновления;
• контроль качества при создании набора данных: на стадии производства разработчик может применять процедуры оценки качества, которые явно установлены или же не включены в спецификацию информационного продукта, как часть процесса по контролю качества. Описание процедур оценки качества, применяемых для контроля качества продукции, рекомендуется представлять как метаданные происхождения, включая, в частности, оценку качества применяемых процедур, установленные уровни качества соответствия и результаты;
• проверка на соответствие спецификации информационного продукта: по завершении производства продукта рекомендуется использовать процесс оценки качества для формирования и представления результатов качества данных. По этим результатам можно определить, насколько набор данных соответствует или не соответствует спецификации информационного продукта. Если набор данных проходит проверку (состоящую из серии процедур оценки качества), то его считают готовым к использованию. Результаты по операции проверки следует выдавать в соответствии с разделом 10. Пример описания оценки и выдачи информации о качестве данных см. в приложении Д. Итогом проверки будет принятие либо непринятие набора данных. Если набор данных будет отклонен, то после исправления данных необходимо будет провести новую проверку, пока продукт не будет соответствовать спецификации информационного продукта;
• оценка соответствия набора данных требованиям пользователя: процедуры оценки качества могут быть использованы для удостоверения в том, что набор данных отвечает уровням соответствия качества, установленным требованиями пользователя. При анализе соответствия набора данных требованиям пользователя могут применяться как косвенные, так и прямые методы;
• контроль качества при обновлении набора данных: процедуры оценки качества применяются к операциям обновления набора данных как для используемых элементов обновления, так и для сравнения качества набора данных до и после обновления.

В.4 Выдача информации о качестве

В.4.1 Обусловленность выдачи информации о качестве

Необходимость выдавать информацию о качестве данных существует по ряду причин, включая следующие:

• содействие обнаружению и использованию набора данных;
• представление соответствия спецификации информационного продукта или требованиям пользователя;
• необходимость выдавать информацию о качестве данных как часть инициатив менеджмента поставщика;
• заключение о качестве информации, производной от набора данных;
• обеспечение рационального (оптимального) принятия решения, когда известно, что все данные содержат дефекты.

В.4.2 Условия выдачи информации о качестве

Наборы данных постоянно создают, обновляют и объединяют, в результате чего качество или компонент качества набора данных может изменяться. На информацию о качестве набора данных могут повлиять три условия:

• когда некоторый объем данных удаляется из набора данных, изменяется или добавляется к набору данных;
• когда изменяется спецификация набора данных или устанавливаются требования нового пользователя к качеству данных;
• когда изменяется реальный мир.

Первое условие — изменение набора данных — может происходить довольно часто. Многие наборы данных не являются статическими: увеличивается обмен информацией, наборы данных используются в различных целях и происходят обусловленные этим обновление и уточнение наборов данных для удовлетворения различных целей. Если информация о качестве некоторого набора данных изменяется в результате его модификации, то качество этого набора данных должно быть заново оценено и уточнено.

При создании набора данных необходимо обеспечить полное представление обо всех применяемых элементах качества данных. Первоначально могут сообщаться сведения об использовании набора данных его разработчиком (предполагая, что разработчик данных действительно использует такой набор данных). В дальнейшем пользователи данных должны предоставлять информацию об использовании набора данных, если оно отличается от его прямого предназначения. Благодаря таким сообщениям появится возможность постоянного обновления этого описательного элемента качества данных для отражения в нем непредвиденных вариантов использования.

Второе условие — изменение спецификации набора данных — чаще всего происходит перед созданием исходного набора данных и выпуском информации о качестве. Вполне вероятно, что по мере использования некоторого набора данных его спецификация будет обновляться для того, чтобы будущие изменения этого набора данных лучше отвечали фактическим потребностям. При изменении спецификации информационного продукта изменяется также и качество текущего набора данных. Информация о качестве набора данных всегда должна отражать текущий набор данных с учетом текущей спецификации информационного продукта.

Третье условие — изменение реального мира — происходит постоянно. Изменения могут быть вызваны природными явлениями, такими как движения земной коры или эрозия почвы, но чаще всего они являются результатом деятельности человека. Изменения, как правило, наступают очень быстро и внезапно. По этой причине время сбора данных, так же как и время оценки качества, играют важную роль при оценке качества набора данных. В некоторых случаях даже скорость изменения данных представляет интерес. А в некоторых случаях интерес может также представлять и частота изменений набора данных. Тем не менее в настоящем стандарте подтверждается, что выпуск новой информации о качестве данных при каждых изменениях реального мира не представляется возможным.

В.4.3 Как сообщать информацию о качестве с помощью метаданных и в виде отчета об оценке качества

В.4.3.1 Общие положения

Информация о качестве может сообщаться в виде метаданных и отчета об оценке качества. Эти два механизма дополняют друг друга, позволяя сообщать об оценке качества данных с различными уровнями детализации:

• метаданные предназначены для предоставления краткой, сводной и структурированной информации, обеспечивающей обмен данными и использование Web-сервисов;
• отчет об оценке качества может использоваться для предоставления более полной и подробной информации об оценке качества данных. На отчет об оценке качества должна быть приведена ссылка из метаданных, как поясняется в разделе 11.

В случае обобщения различных результатов качества в отчете об оценке качества будет предоставлена полная информация об исходных результатах (с примененными процедурами оценки и мерами), обобщенном результате и методе обобщения, тогда как метаданные потенциально могут описывать только обобщенный результат со ссылкой на исходные результаты, описанные в отчете об оценке качества.

В.4.3.2 Выдача информации о качестве в виде метаданных

Класс MD_Metadata, определенный в ГОСТ Р 57668, объединяет от нуля до множества единиц качества данных (экземпляров класса DataQuality); см. рисунок В.2.

Рисунок В.2 — Информация о качестве данных

В.4.3.3 Выдача информации о качестве в самостоятельном отчете об оценке качества

Стандартизация терминологии элементов качества данных и структуры представления основной информации о качестве данных обеспечивают лучшее понимание и сравнение результатов оценки качества.

Отчет по оценке качества должен содержать описание предметной области, чтобы определить границы его применимости к оцениваемому набору данных.

Каждый отчет должен содержать достаточный объем информации для полного описания соответствующих аспектов качества данных и их результатов. Описание может быть представлено в форме ссылки на документы, такие как спецификация информационного продукта или каталог мер.

Полная структура отчета по оценке качества умышленно не была стандартизирована, чтобы каждая конкретная организация смогла адаптировать его для своих собственных нужд, методик и процедур оценки. Он может представлять собой свободный текст. Однако информация о качестве должна быть представлена в краткой, понятной и легкодоступной форме. Пример отчета по оценке качества приведен в приложении Г.

Приложение Г (обязательное)

ОЦЕНКА И ОТЧЕТ ПО КАЧЕСТВУ ДАННЫХ

Г.1 Введение

В этом приложении представлен один основной пример, описывающий оценку и отчетность по качеству данных.

Несколько дополнительных примеров, указывающих на отчетность по метаданным в конкретных случаях, таких как описательный результат, метакачество и оценка выборки, приведены в Д.5.

Г.2 Описание набора данных

Г.2.1 Спецификация информационного продукта

Г.2.1.1 Общие положения

Спецификация информационного продукта, определенная в следующих подпунктах, описывает предметную область. Спецификация определяет те функции, атрибуты и отношения, которые считаются важными и должны присутствовать в наборе данных.

Примечание - Это неполный пример спецификации информационного продукта (см. [1]).

Продукт будет включать транспортную сеть (пути и дороги), здания (дома и промышленные здания) и деревья.

Г.2.1.2 Типы объектов

Каждый тип объекта с нулем или более атрибутов указан в таблице Г.1. За каждым именем атрибута следует тип значения (например, список кодов, тип данных, строка символов или целое число) и необязательный домен значения.

Таблица Г.1

Типы объектов

Г.2.1.3 Правила

Типы объектов в таблице Г.1 должны соответствовать следующим правилам:

• деревья высотой менее 1 м не должны регистрироваться;
• атрибут «состояние» дороги может не иметь значения («неопределенное значение»);
• атрибуты «фамилия» и «количество жильцов» дома могут не иметь значения («неопределенное значение»).

Г.2.1.4 Уровни соответствия качества

Общее требование к качеству данных: набор данных может считаться прошедшим проверку, только если он соответствует следующим требованиям к качеству:

а) в наборе данных могут присутствовать только типы объектов и атрибуты, определенные в данной спецификации продукта данных;

б) для каждого типа объекта может отсутствовать максимум два элемента (транспортная сеть);

в) для каждого типа объекта может быть избыточно максимум два элемента (транспортная сеть);

г) для других типов объектов может быть ошибочно классифицировано максимум два экземпляра объекта как другой тип объекта транспортной сети и ноль как другие типы объектов (транспортная сеть);

д) для каждого типа объекта может отсутствовать максимум два элемента (здания);

е) для каждого типа объекта может быть избыточно максимум два элемента (здания);

ж) два экземпляра объекта могут быть ошибочно классифицированы как другой тип объекта здания, а ноль — как другие типы объектов (здания);

и) максимум 10% отсутствующих деревьев (деревья);

к) максимум 10% избыточных деревьев (деревья);

л) максимум 20% деревьев могут иметь неправильную высоту (деревья);

м) ни один экземпляр объекта не может быть ошибочно классифицирован как другие типы объектов.

Г.2.2 Представление реального мира, предметной области и набора данных

Связь между рисунками Г.1 — Г.3 в настоящем подпункте следующая:

а) рисунок Г.1 представляет «реальный мир», который обычно содержит больше признаков, чем будет содержаться в наборе данных;

б) рисунок Г.2 представляет «предметную область», заданную спецификацией продукта данных; это та часть реального мира, которая должна быть включена в набор данных, если набор данных полностью и точно создан;

в) рисунок Г.3 представляет набор данных в том виде, в котором он создан.

На всех рисунках:

• цифра или буква, представляющая область цифр под символом дерева, — это высота дерева в метрах;
• цифра в символе дома — это количество жильцов дома;
• имя жильцов дома указано рядом с символом дома.

Рисунок Г.1 — Графическое представление «реального мира»

Рисунок Г.2 — Графическое представление предметной области

Рисунок Г.3 — Графическое представление набора данных

Г.3 Процесс оценки качества

Г.3.1 Установление единиц(ы) качества данных

Единица качества данных включает область определения и элемент(ы) качества. В этом примере полнота и тематическая точность оцениваются на соответствие спецификации информационного продукта:

• первая единица качества включает концептуальную согласованность, полноту (присутствие и отсутствие) и точность тематической классификации, оценка которых проводится во всем наборе данных;
• две другие единицы качества включают обобщенную концептуальную согласованность, полноту (присутствие или отсутствие) и точность тематической классификации по транспортным сетям и зданиям;
• одна единица качества включает точность количественного атрибута, оцениваемую по типу объекта (дерево);
• последняя единица качества включает элементы применимости (общее соответствие требованиям спецификации информационного продукта), оцениваемые по всему набору данных.

Рекомендации по выбору подходящих элементов качества данных приведены в приложении К.

Г.3.2 Установление мер качества данных

Для описания логической согласованности используют меру 9, «соответствие концептуальной схемы».

Для описания полноты используют следующие меры:

• меру 1 «избыточный элемент»;
• меру 2 «число избыточных элементов»;
• меру 3 «показатель избыточных элементов»;
• меру 5 «отсутствующий элемент»;
• меру 6 «число отсутствующих элементов»;
• меру 7 «показатель отсутствующих элементов».

Для описания тематической точности используют меру 62 «матрица ошибок классификации».

Для описания соответствия спецификации используют меру 101 «соответствие спецификации информационного продукта».

Г.3.3 Установление процедур оценки качества данных

В данном примере используется процедура прямой внешней оценки и осуществляется полная проверка.

Примечание - Пример процедуры выборочного контроля приведен в Г.5.5.

Г.3.4 Установление уровней качества соответствия

Ожидается, что набор данных будет соответствовать уровням качества данных, указанным в Г.2.1.4.

Г.3.5 Определение оценки качества данных на выходе (результат)

Г.3.5.1 Идентификация ошибок

Сравнивая набор данных (см. рисунок Г.3) с предметной областью (см. рисунок Г.2), можно получить перечень ошибок в данном примере набора данных (см. рисунок Г.4).

Рисунок Г.4 — Графическое представление местоположения ошибок в наборе данных

Перечень обнаруженных ошибок с цифрами ошибок, указанных для сравнения, включает:

• ошибки присутствия или отсутствия при регистрации деревьев. Три дерева (N 6, № 8, № 27) — в избытке, и два дерева отсутствуют (N 9, № 25);
• ошибки присутствия или отсутствия при регистрации троп. Одна тропа отсутствует (N 18) и одна находится в избытке (N 19);
• дом заменяет промышленное здание (N 23);
• две тропы ошибочно обозначены в виде дороги (N 17, № 26);
• отсутствует дом (N 21);
• ошибка атрибута дорог. Две дороги имеют неправильное «условие» (N 29, № 28);
• два дерева высотой менее 1 м представлены в наборе данных (N 6, № 8);
• отсутствует код класса атрибута высоты дерева. У дерева отсутствует код класса, в то время как в предметной области стоит B (N 22);
• атрибут высоты дерева неправильно классифицирован. У шести деревьев указан неправильный класс высоты;
• ошибка атрибута наименования дома «family name» («фамилия»). Дома «van Hamme» (N 7) и (N 1) в предметной области не имеют имени в наборе данных. Дом под названием «Goscinny» в наборе данных (N 12) не имеет наименования в предметной области;
• ошибка атрибута наименования дома «family name» («фамилия»). Дома «Franquin» (N 5) и «Pratt» (N 15) в предметной области в наборе данных идут под именами «Franklin» и «Prat» соответственно;
• ошибка атрибута числа жильцов. В одном доме отсутствует атрибут количества жильцов (N 31), а в трех домах оно указано неверно (N 4, № 14, № 30);
• ошибка типа «пропуск» промышленного здания. Одно промышленное здание отсутствует (N 10).

Примечание - Классификация ошибок по отсутствию/присутствию, полноте и тематической точности выполнена субъективно. Например, неправильная классификация дома в качестве промышленного здания также может рассматриваться как ошибка отсутствия одного элемента и присутствие другого.

Г.3.5.2 Логическая согласованность

В наборе данных присутствуют только те типы объектов и атрибуты, которые определены в спецификации к информационному продукту.

Результат соответствия концептуальной согласованности см. в таблице Г.2.

Таблица Г.2

Результат соответствия логической согласованности

Г.3.5.3 Полнота

а) Общие положения

В данном примере полнота классифицируется в соответствии с классом объекта. Типы мер проверены на присутствие и отсутствие. Результаты представлены в таблицах Г.3 — Г.5.

б) Количественный результат

Таблица Г.3 иллюстрирует способ классификации полноты посредством количественных значений.

Таблица Г.3

Полнота в соответствии с классом объекта

в) Производный результат соответствия

В таблице Г.4 представлены результаты соответствия, выведенные из количественных результатов.

Таблица Г.4

Соответствие полноты

г) Обобщенный результат соответствия

Результаты соответствия в отношении транспортных сетей (троп и дорог) и зданий (промышленных и жилых) объединены в таблице Г.5 с использованием следующего правила: если один из исходных результатов «непригоден», то обобщенный результат будет «непригоден» (100%-ная оценка пригодности/непригодности представлена в приложении К).

Таблица Г.5

Обобщенное соответствие полноты

Г.3.5.4 Тематическое качество — правильность классификации

а) Общие положения

Информация о тематической точности может внести дальнейшую ясность в информацию о полноте. Например, две из трех пропущенных троп на самом деле классифицируются как дороги (см. таблицу Г.6). Результаты представлены в таблицах Г.6 — Г.8.

б) Количественный результат

Одним из способов отображения ошибок, связанных с тематической точностью, является использование меры «матрица неправильной классификации».

В таблице Г.6 представлена матрица неправильной классификации, иллюстрирующая ошибки по классам объектов. Она показывает, насколько верно классифицируются экземпляры в наборе данных. Различные проценты должны всегда относиться к генеральной совокупности в наборе данных.

Примечание - Матрица неправильной классификации представляет собой квадратную матрицу, в которой элемент соответствует количеству экземпляров, отнесенных к классу j, когда на самом деле они принадлежат классу i.

Таблица Г.6

Матрица неправильной классификации объектов

Расхождение между суммой и числом элементов в предметной области и наборе данных связано с отсутствием и избытком элементов.

в) Производный результат соответствия

В таблице Г.7 представлены результаты соответствия, полученные из количественных результатов.

Таблица Г.7

Соответствие тематической точности

г) Агрегированный результат соответствия

Результаты соответствия в отношении транспортных сетей (троп и дорог) и зданий (промышленных и жилых) объединены в таблице Г.8 на основе следующего метода: если один из исходных результатов имеет значение соответствия «непригоден», то обобщенный результат будет «непригоден» (100%-ная оценка пригодности/непригодности представлена в приложении Л).

Таблица Г.8

Обобщенное соответствие правильности классификации

Г.3.5.5 Тематическая точность — точность количественных атрибутов

а) Общие положения

В этом примере проверяется точность количественных атрибутов. В таблице Г.9 учитываются только те объекты, которые имеют общего предка в том же типе объекта («класс»). Результаты представлены в таблицах Г.9 и Г.10.

б) Количественный результат

Атрибут «высота деревьев» представлен в таблице Г.9.

Таблица Г.9

Матрица неверной классификации атрибута высоты объектов — Высота деревьев

У одного дерева отсутствует код класса и, следовательно, оно не учитывается в матрице ошибок классификации. Данная ошибка может происходить из-за ошибки доменной согласованности.

в) Производный результат соответствия

В таблице Г.10 представлен результат соответствия, выведенный из количественных результатов.

Таблица Г.10

Соответствие тематической точности

Г.3.5.6 Обобщенное соответствие спецификации информационного продукта

В таблице Г.11 все результаты соответствия зданий, транспортных сетей и деревьев объединены вместе в соответствии с концептуальной схемой, чтобы обеспечить соответствие спецификации информационного продукта, следуя зарегистрированной мере «соответствие спецификации информационного продукта».

Таблица Г.11

Применимость — соответствие спецификации продукта

Г.4 Выдача информации о качестве данных

Г.4.1 Выдача информации в виде метаданных

Г.4.1.1 Общие положения

В пунктах Г.4.1.2 — Г.4.1.4 приведены примеры того, как выдавать информацию о качестве в виде метаданных согласно настоящему стандарту (раздел 11 и приложение С), см. также [15]. Один экземпляр MD_Metadata включает один или более экземпляров DataQuality.

В данных примерах некоторые экземпляры классов (DataQuality и QualityElement) получили идентификатор (ID) в соответствии с принципами XML. Эти идентификаторы применяются при ссылке к таким экземплярам в других классах.

Г.4.1.2 Создание отчета о присутствии

В таблице Г.12 показан пример выдачи информации о количественных результатах, производном результате соответствия и агрегированном результате соответствия для типов объектов транспортной сети.

Механизм вывода этих результатов похож на тот, что применяется для других типов объектов из набора данных.

Таблица Г.12

Создание отчета о присутствии в виде метаданных

Г.4.1.3 Создание отчета о правильности классификации

В таблице Г.13 приведен пример выдачи информации о производных результатах соответствия и обобщенных результатах соответствия для типа объекта «здания».

Механизм вывода этих результатов схож с тем, что применяется для других типов объектов набора данных.

Таблица Г.13

Создание отчета о правильности классификации в виде метаданных

Г.4.1.4 Создание отчета о соответствии спецификации информационного продукта

В таблице Г.14 приведен пример вывода информации о соответствии спецификации информационного продукта путем обобщения результатов для различных потребностей.

Таблица Г.14

Создание отчета о соответствии в виде метаданных

Структура отчета об оценке качества имеет свободную форму.

Г.5 Дополнительные примеры

Г.5.1 Общие положения

Некоторые понятия не были описаны в предыдущем примере. В Г.5.2 — Г.5.4 даны дополнительные примеры вывода информации об описательном результате, метакачестве и процедурам выборочной оценки.

Некоторые понятия не были описаны в примерах Г.4.

Г.5.2 Выдача информации об описательных результатах в виде метаданных

Иногда невозможно представить оценку элемента качества данных в количественном виде. В таких случаях используется описательный результат. Пример описательных результатов в виде метаданных приведен в таблице Г.15.

Таблица Г.15

Создание отчета об описательных результатах в виде метаданных

Г.5.3 Создание отчета о метакачестве в виде метаданных

При оценке абсолютной позиционной точности в топологическом исследовании на месте археологических раскопок результат точности составляет 5 м.

Оценивание качества оценки затем проводится с помощью элемента доверительного метакачества, для которого применяется мера «Фактор безопасности».

В таблице Г.16 представлена выдача информации о метакачестве в виде метаданных.

Таблица Г.16

Создание отчета о метакачестве в виде метаданных

Г.5.4 Альтернативы отчетности

Г.5.4.1 Пример отчета о качестве с использованием результата покрытия

Актуальность набора данных можно описать последней контрольной датой. В этом примере дата выражается как год, когда область была обновлена (например, с помощью аэрофотосъемки или для темы, обновленной из другого набора данных). На рисунке Г.5 показан пример использования результата покрытия для отчета об оценке актуальности набора данных. В примере на рисунке Г.5 а обновленная часть базы данных сообщается как покрытие, а значения пикселей представляют год обновления. Пример на рисунке Г.5 б показывает дату, когда данные были проконтролированы с точки зрения полноты и позиционной точности для области (например, зданий и дорог).

Рисунок Г.5 — Результат покрытия для отчета об оценке актуальности набора данных

Г.5.4.2 Пример отчета о качестве для модели высоты лидарных данных с использованием свободного текста

а) Основная информация о качестве

Измеренное или оцененное качество относится ко всей сканируемой поверхности. Поэтому для конкретной местности важно обратиться к метаданным для получения информации о методах съемки, времени сканирования и плотности точек. Хорошее знание условий местности также является ценным при интерпретации данных.

б) Полнота

Плотность точек на поверхности зависит от типа местности, типа растительности, времени года, в которое проводилось лазерное сканирование, и ряда других факторов. Эти различия означают, что в некоторых районах плотность точек недостаточна, в то время как в других местах плотность точек высока.

Г.5.4.3 Пример отчета о качестве для INSPIRE (точности определения местоположения гидрографии)

Геометрические требования к точности определения местоположения зависят от четкости объекта в пределах географически ограниченной области. К объектам с четкими границами предъявляются более высокие требования, чем к объектам с размытыми границами.

Объекты, находящиеся в воде, имеют очень высокую точность определения местоположения.

Береговая линия измеряется при нормальном уровне воды, за исключением регулируемых озер и рек, где она измеряется при максимальном пределе запруды. Положение береговой линии может изменяться в зависимости от уровня воды. Обновление производится только тогда, когда становится ясно, что произошли серьезные долговременные изменения.

Точность определения местоположения ручьев высока на открытых поверхностях, но различна в лесных районах, где наблюдение бывает затруднительным из-за покрова. Ошибки в определении местоположения ручьев постепенно исправляются с помощью лазерных данных/данных о высоте в лесных районах. Другие гидрографические объекты имеют очень высокую точность определения местоположения.

Г.5.5 Порядок составления отчета о процедуре отбора проб

Этот пример основан на топографической базе данных, созданной Европейской национальной службой землеустройства. Уровни соответствия качества определены в спецификации продукта для сбора данных.

В данном примере тип дорожного объекта определяется с помощью выборочной оценки.

Процедура выборки применяется с использованием принципов ГОСТ Р ИСО 2859-1, как описано в таблице Г.17.

Таблица Г.17

Процедура отбора проб

Если требование к качеству для объекта составляет одно несоответствие на 100 единиц (AQL = 1), то все собранные объекты проверяются из источника данных. Проверка путем выборки выполняется при AQL = 4 или AQL = 15.

Партия, используемая для тестирования, должна состоять из наборов данных, созданных по возможности в одно и то же время и с использованием одних и тех же методов. Из партии выбираются единицы выборки в количестве № квадратов 1 x 1 км, чтобы количество признаков в образце было достаточным для AQL = 4.

Пример сообщения информации о процедуре выборки в виде метаданных приведен в таблице Г.18.

Таблица Г.18

Отчет о результатах оценки выборки в виде метаданных

Приложение Д (справочное)

МЕТОДЫ ВЫБОРОЧНОЙ ОЦЕНКИ КАЧЕСТВА ДАННЫХ

Д.1 Общие положения

Настоящее приложение содержит рекомендации по определению выборки и разработке методов выборочного контроля. Рекомендации по формированию выборки при оценке соответствия спецификации информационного продукта изложены в ГОСТ Р ИСО 2859-1. В настоящем приложении описывается, как применять методы выборочного контроля по ГОСТ Р ИСО 2859-1 (см. также [19]), а также другие методы пространственной выборки к пространственным данным.

Д.2 Партия и элемент

Партия и элемент являются важными понятиями в методе выборочного контроля согласно ГОСТ Р ИСО 2859-1 (см. также [19]). Партия — это минимальная единица продукции, для которой может быть оценено качество. Элемент — это минимальная единица, которая должна быть определена разработчиком данных в соответствии со спецификацией информационного продукта.

Д.3 Объем выборки

Объем совокупности, а следовательно, и объем выборки, может быть определен в зависимости от выбора базисных элементов. Определение объема выборки требует точного выявления элементов. Примеры различных базисов представлены в таблице Д.1.

Таблица Д.1

Различные базисные элементы для определения выборки

Рисунок Д.1 иллюстрирует различие в подходах. На рисунке Д.1 в целом отображены данные во всей области определения качества данных и выделена область возможной выборки, охватывающей примерно 15% от всей площади, но лишь 10% общей длины всех кривых и 0% от общего числа вершин.

Примечания

1 Областью качества данных является область во внешнем блоке. Областью выборки является затененный блок.

2 Чтобы преодолеть трудности с выборкой, такие как на рисунке Д.1, размер и местоположение выборки можно определить с помощью комбинации различных критериев, тем самым обеспечив репрезентативность выборки.

Примечание - Область определения качества данных — это область внутри большого прямоугольника. Область выборки отмечена темным прямоугольником.

Рисунок Д.1 — Влияние местоположения области выборки на репрезентативность элементов в выборке

Пример - Рекомендуется, чтобы выборка включала 10% области, охватываемой набором данных, и содержала не менее 5% общей длины кривой, описывающей объекты в наборе данных.

Д.4 Стратегии создания выборки

Д.4.1 Общие положения

В настоящем пункте приводятся рекомендации для определения выборок и выборочных методов с учетом конкретных аспектов пространственных данных. Стратегии выборочного построения, описанные в настоящем приложении, представлены в графической форме на рисунке Д.2. Различают два аспекта стратегии создания выборки: определение элементов для выборки (область или объект) и способ, с помощью которого происходит отбор элементов (случайный или преднамеренный).

Рисунок Д.2 — Отношения стратегий создания выборки

Д.4.2 Вероятностная и детерминированная выборка

Д.4.2.1 Основные различия

Вероятностная выборка применяет теорию выборочного метода и включает случайный выбор элементов выборки. Существенной характеристикой вероятностной выборки является то, что каждый компонент совокупности, из которой формируется выборка, имеет известную вероятность выбора. При случайной выборке можно делать статистические выводы о выборочной совокупности. Составление детерминированной выборки сопряжено с отбором выборок на основе экспертных знаний или профессиональной оценки.

Д.4.2.2 Простая случайная выборка

Простая случайная выборка основана на вероятности и включает в себя составление выборки в случайном порядке. Конкретная выборка (например, объекты, положение, время) осуществляется с помощью случайных чисел для отбора элементов, при этом любой выбор равновероятен. Простая случайная выборка применяется, когда генеральная совокупность является довольно однородной относительно характеристик отбираемых образцов, то есть не содержит больших пропусков и скоплений. Данный метод не может привести к репрезентативному охвату области, то есть существует вероятность, что полученная выборка будет содержать только часть области.

Д.4.2.3 Стратифицированная случайная выборка

Стратифицированная выборка требует, чтобы генеральная совокупность была разделена на непересекающиеся слои или подсовокупности, которые являются более однородными по элементам выборки в одном слое, чем в разных слоях. Данная стратегия выборки перспективна для получения большей точности в определении средней и дисперсии, чем не стратифицированная для той же совокупности.

Д.4.2.4 Полуслучайная выборка

Полуслучайная или систематическая выборка подразумевает случайный отбор исходных элементов выборки (например, положение, время, объект) и правила для отбора всех остальных элементов. Примером полуслучайной или систематической выборки служит решетчатая выборка, где начальное положение сетки определяется случайным образом, а образцы берутся через равные промежутки (ячейки сетки) пространственной области. Систематическая решетчатая выборка используется для поиска кластеров и вывода средних значений, процентов или других параметров и подходит для оценки пространственных тенденций или закономерностей. Данный метод предоставляет практичный и легкий способ обеспечения покрытия области.

Д.4.3 Выборка на основе объектов и выборка на основе пространственного расположения

Д.4.3.1 Формирование выборки на основе объектов (непространственная выборка)

Особенностью данной выборки является отбор элементов выборки на основе непространственных атрибутов объектов, а не на их пространственном расположении. Выбор объектов в пределах области определения качества данных может производиться в случайном порядке при одинаковых условиях создания данных для всей области определения качества данных. В некоторых случаях в результате простой случайной выборки можно не получить удовлетворительной выборки в силу того, что однородность может быть выявлена только для поднаборов, и тогда потребуется равномерное распределение выборок; то есть пропуски и скопления встречаются в выбираемых характеристиках. В этом случае стратифицированная или полуслучайная выборка может дать лучшие результаты.

Примечание - Если формирование выборки осуществляется путем случайного выбора объектов, то существует риск получения выборки, сосредоточенной на малой площади (которая может быть неприемлема).

Полуслучайная выборка может использоваться, чтобы гарантировать контроль различных критериев по объему выборки и/или расположению, ограниченных необходимостью сократить затраты на проведение контроля.

Пример - Энергетической компании необходимо оценить правильность атрибутов, определяемых для объектов различных типов. Были рассмотрены два метода: случайный и полуслучайный отборы (произвольный выбор объектов одного типа, а затем сбор объектов различных типов в соседстве с первым до заполнения выборки каждого типа), которые способствовали снижению затрат на контроль в процессе эксплуатации.

Д.4.3.2 Формирование выборки на основе пространственного распределения (пространственная выборка)

В рамках данной выборки отбор единиц выборки основан на пространственном распределении. Элементами выборки могут выступать существующие географические единицы (например, политические или статистические) или другие объекты или компоненты объектов предметной области, для которых проводится контроль. Данный тип формирования выборки может использоваться в качестве первого этапа выборки с последующим использованием метода формирования выборки на основе объектов в пределах каждой подобласти.

Пример - Случайный выбор UTM области координатной решетки 1 x 1 км для того, чтобы оценить атрибуты объектов, содержащихся в этой области.

Рисунок Д.3 иллюстрирует результат определения областей, которые будут представлены для проверки полученных путем случайной генерации координат центральной точки квадратов равной площади (ограничение — квадраты не должны перекрываться).

Рисунок Д.3 — Пример выборки на основе пространственного распределения

Когда особое значение имеет покрытие всей площади, то местоположение выборки следует определять в соответствии с регулярной или полурегулярной сеткой. Рисунок Д.4 иллюстрирует пример полуслучайной (систематической) выборки с выборочными объектами, распределенными вдоль регулярной сетки для оценки позиционной точности набора данных.

X — ячейки сетки, выбранные в соответствии с правилом для включения в выборку

Рисунок Д.4 — Пример регулярной или случайной выборки на основе пространственного распределения

Пространственное позиционирование с различным объемом в различных областях набора данных может быть необходимо в полуслучайной выборке, если распределение объектов неоднородно. При использовании сетки с постоянным размером ячейки устанавливают правило для включения или исключения клеток, которые не представляют интереса.

Д.5 Вероятностная выборка

Д.5.1 Общее представление

При применении выборки необходимо учитывать следующее:

а) области, охватываемые географическим набором данных, могут образовывать непрерывное пространство. При разделении набора данных на партии особое внимание должно быть уделено присутствию или отсутствию элементов, проходящих через границы партии;

б) ряд факторов, включая качество исходных данных и мастерство операторов, может повлиять на качество пространственных данных. Разработчикам данных необходимо проявлять осторожность при определении партии для получения однородности в контексте обеспечения качества.

В зависимости от дизайна выборки для определения элементов в партии выборки могут использоваться проектные веса (которые в вероятностной выборке соответствуют обратному значению вероятности включения в выборку).

Д.5.2 Существующие стандарты выборочного контроля

Д.5.2.1 Общие положения

Исходя из особенностей разработки и в соответствии со спецификацией информационного продукта, подходящие стандарты для выборочного контроля могут быть выбраны из числа существующих, например ГОСТ Р ИСО 2859-1, ГОСТ Р ИСО 2859-2, ГОСТ Р ИСО 2859-3.

Уровень соответствия качества набора данных указывается как AQL — предел приемлемого качества (см. [20]).

Примечание - Прежнее название AQL — приемлемый уровень качества (см. ГОСТ Р ИСО 2859-1, ГОСТ Р ИСО 2859-2, [19]).

Необходимо указывать ограничения, установленные в спецификации для определения соответствия каждого элемента, в соответствии с ГОСТ Р ИСО 2859-1.

Д.5.2.2 Объем выборки и пределы отбраковки

а) Общие положения

При выборочном контроле оцениваемый отсутствующий показатель не допускается непосредственно сравнить с AQL. Таблицы Д.2 и Д.4 определяют основные указания по объему выборки в зависимости от объема набора данных, а также связанного предела отбраковки.

Таблица Д.2

Статистические показатели соответствия/несоответствия элементов при 95%-ном уровне значимости

б) Оценка соответствующих/несоответствующих элементов с учетом выборки

В таблице Д.2 представлен рекомендуемый объем выборки в соответствии с генеральной совокупностью и связанный предел отбраковки для оценки соответствующих/несоответствующих элементов, например для оценки полноты. Выборка основана на гипергеометрическом распределении. Предполагается, что отклонения соответствуют этому распределению.

Правила пользования таблицей:

а) выбирают объем совокупности элементов для проверки;

б) выбирают объем выборки n из таблицы;

в) производят оценку и рассчитывают количество «ошибочных элементов»;

г) вся совокупность бракуется, если количество ошибок равно или превышает предел отбраковки для фактического n и p0 (AQL).

Если объем выборки выше, чем минимальный объем, приведенный в таблице, то предел отбраковки следует рассчитывать индивидуально. Данная проверка справедлива для ситуаций, когда оценка качества основана на оценке пригодности/непригодности элементов.

Примечание - Существуют другие диапазоны статистических значений, помимо представленных в таблице Д.2.

Пример - Проверка отсутствующих домов (полнота/отсутствие) в определенной области.

Первая область выборки определена, и в этой области проверен каждый дом на предмет его присутствия или отсутствия в наборе данных. Далее оценивается (подсчитывается) число отсутствующих домов и их общее количество. Необходимо определить, существенно ли полученный результат отличается от предела приемлемого качества (AQL)? Если да, то набор данных бракуется. Если нет, то набор данных принимается.

Набор данных для проверки состоит из 2440 зданий.

Объем выборки (из таблицы Д.2) — n = 125. Контроль по полю показывает, что пропущены два здания, выдавая примерный процент отсутствия: 2/(125 + 2)·100% = 1,6%.

AQL (из спецификации информационного продукта для набора данных): p0 = 0,5%.

1,6% больше, чем 0,5%, но есть ли вероятность отбраковки набора данных? В случае применения выборки, полученный показатель отсутствия нельзя непосредственно сравнивать с AQL. Для этого необходима односторонняя проверка гипотез и в этом помогает таблица Д.2.

Предел отбраковки (N = 125, p0 = 0,5%) равен 3. В результате полевого контроля обнаружены два пропущенных элемента.

Заключение: Так как два меньше трех (предел отбраковки) набор данных не может быть отклонен и принимается.

в) Стандартное отклонение

В таблице Д.4 представлен рекомендуемый объем выборки в соответствии с объемом совокупности, а также связанный предел отбраковки при измерении стандартного отклонения.

Данный статистический метод применяется для определения того, превышено ли стандартное отклонение для выборки AQL. Таблица Д.4 основана на нормальном распределении и предполагает нормальное распределение отклонений.

Обозначения и формулы к таблице Д.4 представлены в таблице Д.3.

Таблица Д.3

Обозначения и формулы

Таблица Д.4

Статистические показатели проверки стандартного отклонения. Уровень значимости — 95%

Набор данных не отвечает требованиям (т.е. может быть отклонен при значимости в 95%), если стандартное отклонение, разделенное на F-значение (см. таблицу Д.4), выше, чем AQL.

Пример - Оценка позиционной/абсолютной точности крышек люков.

В наборе данных из 450 крышек люков измеряются 25 (объем выборки n = 25). Приблизительное стандартное отклонение — 21 см, приемлемый уровень качества (AQL) — 19 см.

Нижний предел доверительного интервала вычисляют следующим образом:

21 см/1,23 (см. таблицу Д.4) = 17,1 см.

AQL (19 см) находится в пределах доверительного интервала стандартного отклонения.

Следовательно, стандартное отклонение по контролю не является значительно выше, чем AQL, и набор данных не может быть отбракован.

Д.5.3 Процесс составления выборки

Д.5.3.1 Определение элементов

Элементы необходимо определять в соответствии со спецификацией информационного продукта или установленными требованиями. Если несоответствующие элементы статистически согласованы, то они обрабатываются как один элемент.

Д.5.3.2 Определение областей определения качества контролируемого набора данных

Если область определения качества данных не является однородной, то ее следует разделить на однородные поднаборы. Эти однородные поднаборы следует рассматривать как отдельные области определения качества данных.

Однородность может быть получена там, где выполняются следующие условия:

• исходные данные продукции имеют почти одинаковое качество;
• системы производства данных (оборудование, программное обеспечение, квалификация оператора) практически не отличаются;
• другие факторы, которые могут повлиять на вероятность появления несоответствий, такие как сложность и плотность объектов, практически не отличаются.

Д.5.3.3 Разделение области определения качества данных на партии

Генерирование партий осуществляется путем деления областей определения качества данных. При сильной положительной пространственной автокорреляции возникновения несоответствий предпочтительней использовать меньший объем партии.

Д.5.3.4 Разделение партий на единицы выборки

Единицей выборки может быть существующий географический район или другое разделение предметной области, для которой проводится проверка. Когда единицей выборки служит географическая область, то необходимо применять правила для частичного включения единиц продукции в единицу выборки.

Д.5.3.5 Отбор единиц выборки с помощью простой случайной выборки для проверки

Общее число элементов, которые относятся к выбранным единицам выборки, следует устанавливать в соответствии с установленными требованиями.

Примечание - Если партия является статистически гетерогенной, то применение простой случайной выборки с тем же уровнем выборки недопустимо. Дополнительно может быть предусмотрено использование стратифицированной выборки в соответствии с ГОСТ Р ИСО 2859-1.

Д.5.3.6 Проверка выбранных единиц выборки

Все элементы, которые принадлежат отобранным единицам выборки, подвергаются проверке. Элементы в наборе данных сравниваются с предметной областью в соответствии с выбранной мерой качества.

Приложение Е (справочное)

ПЕРЕЧЕНЬ СТАНДАРТИЗИРОВАННЫХ МЕР КАЧЕСТВА ДАННЫХ

Е.1 Введение

В настоящем приложении устанавливается и определяется перечень стандартизированных мер качества данных. Кроме того, приложение определяет меры качества данных. С целью получения четко определенной и сравнимой информации о качестве настоятельно рекомендуется проводить оценку и отчетность по качеству данных с использованием таких мер качества.

Е.2 Полнота

Е.2.1 Присутствие

Меры качества данных для присутствия элементов качества данных представлены в таблицах Е.1 — Е.4.

Таблица Е.1

Избыточный элемент

Таблица Е.2

Количество избыточных элементов

Таблица Е.3

Коэффициент избыточных элементов

Таблица Е.4

Количество повторяющихся экземпляров объекта

Е.2.2 Отсутствие

Меры качества данных для элемента качества данных «отсутствие» представлены в таблицах Е.5 — Е.7.

Таблица Е.5

Отсутствующий элемент

Таблица Е.6

Число отсутствующих элементов