ПНСТ 919-2024/ISO/IEC TR 20547-5:2018. Предварительный национальный стандарт Российской Федерации. Информационные технологии. Эталонная архитектура больших данных. Часть 5. Направления стандартизации

(утв. и введен в действие Приказом Росстандарта от 17.04.2024 № 13-пнст)

Утвержден и введен в действие

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

Предисловие

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 17 апреля 2024 г. № 13-пнст

4 Настоящий стандарт идентичен международному документу ISO/IEC TR 20547-5:2018 «Информационные технологии. Эталонная архитектура больших данных. Часть 5. Дорожная карта стандартов» (ISO/IEC TR 20547-5:2018 «Information technology — Big data reference architecture — Part 5: Standards roadmap», IDT).

Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).

Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: 119991, Москва, Ленинские горы, д. 1 и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112, Москва, Пресненская набережная, д. 10, стр. 2.

В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе «Национальные стандарты» и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Международная организация по стандартизации (ИСО) (International Organization for Standardization, ISO) и Международная электротехническая комиссия (МЭК) (International Electrotechnical Commission, IEC) совместно образуют специализированную систему всемирной стандартизации. Национальные органы по стандартизации, являющиеся членами ИСО или МЭК, принимают участие в разработке международных стандартов через технические комитеты, созданные соответствующей организацией для рассмотрения вопросов, касающихся конкретных областей технической деятельности. Технические комитеты ИСО и МЭК сотрудничают в областях, представляющих взаимный интерес. Другие международные правительственные и неправительственные организации в сотрудничестве с ИСО и МЭК также принимают участие в этой работе. В области информационных технологий ИСО и МЭК создали Совместный технический комитет ISO/IEC JTC1.

Процедуры, использованные для разработки настоящего стандарта и предназначенные для его дальнейшей актуализации, описаны в Директивах ИСО/МЭК, часть 1. В частности, следует отметить, что для различных типов документов требуются различные критерии утверждения. Настоящий стандарт учитывает редакционные правила Директив ИСО/МЭК, часть 2 (см. www.iso.org/directives).

Следует иметь в виду, что некоторые элементы настоящего стандарта могут подпадать под действие патентного права. ИСО и МЭК не несут ответственности за идентификацию соответствующих патентных прав.

Подробная информация о любых патентных правах, выявленных в ходе разработки настоящего стандарта, будет представлена во введении и/или в списке полученных патентных деклараций ИСО (см. www.iso.org/patents).

Любые товарные знаки использованы в настоящем стандарте исключительно в качестве информации для удобства пользователей и не требуют разрешения на их применение.

Данные о добровольном характере стандартов, значениях конкретных терминов и выражений ИСО, относящихся к оценке соответствия, а также к информации о приверженности ИСО принципам Всемирной торговой организации (ВТО) в Технических барьерах в торговле (TBT) приведены на www.iso.org/iso/foreword.html.

Настоящий стандарт подготовлен Совместным техническим комитетом СТК 1 «Информационные технологии» ИСО и МЭК.

Полный список частей серии стандартов ИСО/МЭК 20547 можно найти на веб-сайте ИСО.

Ведущие организации и специалисты в сферах науки, бизнеса и государственного управления отмечают значительный потенциал больших данных в плане стимулирования инноваций, развития коммерции и в качестве движущей силы прогресса. Большие данные — это общеупотребительный термин, используемый для описания лавины данных в современном сетевом мире, перешедшем на цифровые технологии, переполненном датчиками и движимом информацией. Доступность обширных ресурсов данных позволяет ответить на следующие вопросы:

• каким образом обнаружить потенциальную пандемию на стадии, достаточной для принятия упреждающих мер предотвращения;
• можно ли спрогнозировать появление новых материалов с улучшенными свойствами до момента их создания;
• как можно изменить существующую ситуацию в области кибербезопасности, когда атакующая сторона имеет преимущество перед защищающейся.

Существует также широко распространенное представление о связанных с технологией больших данных новых возможностях, расширяющих традиционные подходы. Темпы роста объемов, скорости производства и увеличения сложности данных опережают темпы научно-технического прогресса в областях аналитики, управления и передачи данных, а также использования данных пользователями.

Несмотря на общее понимание определенных возможностей и ограничений работы с большими данными, отсутствие консенсуса по некоторым важным фундаментальным вопросам затрудняет восприятие потенциальных пользователей и негативно влияет на дальнейший прогресс.

• какие свойства являются характерными для решений на основе технологий больших данных;
• чем большие данные отличаются от традиционных массивов (сред) данных и связанных с ними приложений;
• какие основные характеристики сред больших данных;
• как эти среды объединяются с распространенными в настоящее время архитектурами;
• какие ограничения сопутствуют использованию больших данных;
• какие существуют стандарты для поддержки больших данных и как большие данные влияют на существующие стандарты;
• какие основные задачи с точки зрения науки, технологий и стандартизации необходимо решить для стимулирования внедрения надежных решений в области больших данных.

Настоящий стандарт ориентирован на предоставление нескольких ответов на два последних вопроса. Он содержит возможные направления стандартизации и описание стандартов, разработанных ИСО/МЭК и другими организациями, а также установление целесообразности их применения в области эталонной архитектуры больших данных. Наименование «Направления стандартизации» 5-й части серии стандартов «Эталонная архитектура больших данных» отражает именно эти задачи.

1 Область применения

Настоящий стандарт содержит описание стандартов, относящихся к большим данным (существующих и разрабатываемых), а также приоритетных направлений разработки стандартов больших данных в будущем на основе анализа пробелов и несоответствий.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующий стандарт [для датированных ссылок применяют только указанное издание ссылочного стандарта, для недатированных — последнее издание (включая все изменения)]:

ISO/IEC 20546, Information technology — Big data — Overview and vocabulary (Информационные технологии. Большие данные. Обзор и словарь)

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями.

Для целей настоящего стандарта использованы термины и определения, приведенные в ИСО/МЭК 20546.

ИСО и МЭК поддерживают терминологические базы данных для использования в стандартизации по следующим адресам:

• библиотека онлайн-просмотра ИСО, доступная по адресу: https://www.iso.org/obp;
• Электропедия МЭК, доступная по адресу: http://www.electropedia.org/.

3.1 Термины, определяемые в других документах

3.1.1 большие данные (big data): Большие массивы данных, отличающиеся главным образом такими характеристиками, как объем, разнообразие, скорость обработки и/или вариативность, которые требуют использования технологии масштабирования для эффективного хранения, обработки, управления и анализа.

Примечание — Термин «большие данные» широко применяют в различных значениях, например: в качестве наименования технологии масштабирования, используемой для обработки больших массивов данных.

[ИСО/МЭК 20549:2019, 3.1.2]

3.2 Термины, определяемые в настоящем стандарте

3.2.1 исполнитель стандарта (standard implementer): Компонент, который обеспечивает предоставление сервисов, основанных на внедрении стандарта.

Примечание - Например, разработчик, который должен следовать командам языка SQL, может считаться исполнителем этого стандарта.

3.2.2 пользователь стандарта (standard user): Лицо или компонент, взаимодействующие с сервисом на основе стандарта и/или принимающие/использующие/декодирующие данные, представленные в соответствии со стандартом.

3.3 Сокращения

ANSI — Американский национальный институт стандартов (American National Standards Institute);

AP — уровень сервис-провайдера приложений (Application Provider layer);

BDRA — Эталонная архитектура больших данных (Big Data Reference Architecture);

BSI — Британский институт стандартов (British Standards Institute);

DC — уровень потребителя данных (Data Consumer layer);

DIN — Немецкий институт по стандартизации [Deutsches Institut für Normung e.V. (German Institute for Standardization)];

DMTF — Целевая группа по распределенному управлению (Distributed Management Task Force, Inc.);

DP — уровень сервис-провайдера данных (Data Provider layer);

ISO — Международная организация по стандартизации (International Organization for Standardization);

IEC — Международная электротехническая комиссия (International Electrotechnical Commission);

IEEE — Институт инженеров электротехники и электроники (Institute of Electrical and Electronics Engineers);

IETF — Инженерный совет Интернета (Internet Engineering Task Force);

INF — инфраструктурный уровень (Infrastructure Layer);

INT — интеграционный уровень (Integration Layer);

ITU-T — Международный союз электросвязи (Сектор стандартизации телекоммуникаций) [International Telecommunication Union (Telecommunication standardization sector)];

JISC — Японский комитет промышленных стандартов (Japanese Industrial Standards Committee);

MGT — уровень управления данными (Management Layer);

OASIS — Организация по развитию стандартов структурированной информации (Organization for the Advancement of Structured Information Standards);

OGC — Открытый геопространственный консорциум (Open Geospatial Consortium);

OGF — Открытый ГРИД-форум (Open Grid Forum);

OSS-Association — Ассоциация открытых стандартов безопасности (Open Security Standards Association);

PL — платформенный уровень (Platform Layer);

PR — уровень обработки данных (Processing layer);

S&P — уровень обеспечения безопасности и конфиденциальности (Security and Privacy Layer);

SDO — Организация открытых стандартов (Standards Development Organization);

W3C — Консорциум Всемирной паутины (World Wide Web Consortium).

4 Обоснование

Выявление соответствующих стандартов, разработанных ИСО/МЭК и другими организациями, а также установление целесообразности их применения в области больших данных и эталонной архитектуры больших данных (BDRA) является непрерывным процессом. Настоящий стандарт предоставляет разработчикам и пользователям стандартов указатели и ссылки на другие стандарты, применяющиеся при реализации эталонной архитектуры больших данных или содержащие о ней информацию.

5 Взаимосвязь стандартов с эталонной архитектурой больших данных

В эталонной архитектуре больших данных, представленной в ISO/IEC 20547-3 [4], даны описания различных точек зрения на парадигму больших данных и их взаимосвязи. Поскольку парадигма больших данных объединяет множество существующих технологий, целесообразно определить стандарты, лежащие в их основе.

6 Организации, разрабатывающие стандарты

Большие данные вызвали интерес у действующих на коллективной основе и вовлекающих широкий круг заинтересованных сторон, в том числе у официальных организаций стандартизации, отраслевых консорциумов и организаций — разработчиков программного обеспечения с открытым исходным кодом.

Эти организации могут работать по-разному и фокусироваться на различных аспектах, но все они заинтересованы в использовании больших данных. Ключом к успеху является сочетание дополнительных инициатив по большим данным с непрерывной совместной работой. Определение того, какие совместные инициативы реализованы в целях удовлетворения архитектурных требований, а какие требования в настоящее время не рассмотрены, является отправной точкой для совместных работ в будущем многих заинтересованных сторон. Совместные инициативы включают в себя:

• международные организации по разработке стандартов, например ИМО, МЭК, ITU-T;
• национальные организации по разработке стандартов, например ANSI, BSI, DIN, JISC, SAC;
• индустриальные консорциумы, например W3C, OASIS, DMTF;
• прочие, например спецификация OSS-Association (Ассоциации открытых стандартов безопасности).

Ведущими организациями открытых стандартов и отраслевыми консорциумами, которые работают над стандартами в области больших данных, являются следующие организации:

• ИСО — процесс стандартизации де-юре;
• Институт инженеров по электротехнике и электронике (IEEE) — процесс стандартизации де-юре;
• МЭК;
• Инженерный совет Интернета (IETF);
• Консорциум Всемирной паутины (W3C) — индустриальный консорциум;
• Открытый геопространственный консорциум (OGC) — индустриальный консорциум;
• Организация по усовершенствованию стандартов структурированной информации (OASIS) — индустриальный консорциум;
• Открытый форум по грид-вычислениям (OGF) — индустриальный консорциум.

Примечание - Организации и инициативы, упомянутые в настоящем стандарте, не представляют собой исчерпывающий список. Ожидается, что по мере широкого распространения настоящего стандарта будут выявлены и другие инициативы по стандартизации, включающие дополнительные элементы многообразия больших данных.

Многие государственные организации публикуют стандарты, относящиеся к их специфической сфере деятельности.

Большинство этих стандартов основаны на других стандартах (например, ИСО, IEEE, ANSI) и могут быть применимы в работе с большими данными. Тем не менее объективный и исчерпывающий анализ этих стандартов может превысить сроки, отведенные на подготовку настоящего стандарта, и не будет востребован у большей части его аудитории. Пользователям, которым интересны области, представленные государственными организациями и стандартами, рекомендуется ознакомиться со стандартами на предмет их применимости к этим областям.

Решения с открытым исходным кодом предоставляют полезные новые технологии, которые используются напрямую или в качестве основы для коммерциализации продуктов, но не являются самостоятельными. Для достижения целей пользователей стандартов необходима интеграция технологий в экосистему продуктов. Из-за сложности экосистемы и трудности объективного и исчерпывающего анализа решений с открытым исходным кодом подобные проекты не включены в данный раздел. Однако следует отметить, что эти проекты зачастую развиваются, становясь фактически эталонными решениями для многих технологий.

7 Существующие стандарты

В этом разделе представлен список существующих стандартов вышеперечисленных организаций, которые имеют отношение к большим данным и эталонной архитектуре. Определение актуальности стандартов в области больших данных является сложной задачей, поскольку почти все стандарты в той или иной мере имеют дело с данными. Соответствие стандартов большим данным, как правило, определяется их характеристиками (например, объемом, разнообразием, скоростью обработки и/или вариативностью) или, в общем смысле, масштабируемостью для учета этих характеристик. Стандарты могут быть применяемы в области больших данных в зависимости от того, в какой степени в них учтены одна или несколько этих характеристик. Наконец, некоторые стандарты связаны с областью применения или возникшей задачей, поэтому, имея дело с большими данными, они поддерживают довольно специфическую предметную область, а создание даже минимально необходимого перечня таких стандартов потребует чрезмерных усилий с привлечением экспертов в каждой такой области, что выходит за рамки тематики настоящего стандарта.

Документы, включенные в таблицу 1, ориентированы на стандарты, назначение которых состоит в следующем:

• способствовать взаимодействию между компонентами эталонной архитектуры больших данных;
• упрощать обработку больших данных, имеющих одну или несколько характеристик;
• представляться в качестве базовой функции, которая должна быть реализована одной или несколькими эталонными архитектурами функциональных компонентов или деятельности;
• быть общедоступными стандартами, облегчающими работу с большими данными, независимо от области применения.

В таблице 1 частично представлены потенциально применимые стандарты, разработанные организациями, осуществляющими деятельность в области больших данных.

Так как большинство стандартов представляют некоторую форму взаимодействия между компонентами эталонной архитектуры больших данных, в таблице 1 отображено соответствие между этими компонентами, исполнителем или пользователем стандарта. Определения исполнителя и пользователя стандартов приведены в разделе 3.

Примечание — Хотя приведенные выше определения обеспечивают приемлемую основу для некоторых стандартов, различие между внедрением и использованием может быть незначительным или не существовать вовсе.

Наименования функциональных уровней эталонной архитектуры больших данных и многоуровневых функций в графах таблицы сокращены следующим образом:

• DP — уровень сервис-провайдера данных;
• DC — уровень потребителя данных;
• AP — уровень сервис-провайдера приложений;

- PR — уровень обработки данных;

- PL — платформенный уровень;

- INF — инфраструктурный уровень;

• INT — интеграционный уровень;
• S&P — уровень обеспечения безопасности и конфиденциальности;
• MGT — уровень управления данными.

Для получения полного описания уровней и названий типов функциональных компонентов внутри уровней следует обратиться к ISO/IEC TR 20547-3 [4].

В таблице для каждого из стандартов приведены сведения о том, в каком из функциональных уровней эталонной архитектуры он используется и в какой роли выступают те, кто его применяют, — исполнители или пользователи.

Определения исполнителя стандарта и пользователя стандарта приведены в разделе 3. Список стандартов сформирован ООС и отраслевыми консорциумами и структурирован в алфавитном/числовом порядке по наименованию и номеру стандарта.

Таблица 1

Актуальные стандарты больших данных

Наименование/обозначение стандарта	Описание	Функциональные уровни BDRA
		DP	DC	AP	PR	PL	INF	INT	S&P	MGT
ИСО 6709:2008	Стандартное представление местоположения географической точки в системе координат	И	П	ИП	ИП	И
ИСО/МЭК 9075- <1>	ISO/IEC 9075 дает определение SQL. Область применения SQL (языка структурированных запросов) — это определение структуры данных и операций с данными, хранящимися в этой структуре. В ISO/IEC 9075-1, ISO/IEC 9075-2 и ISO/IEC 9075-11 перечислены минимальные требования языка. В других частях приведены определения расширения	И	ИП	П	П	И			П	П
ISO/IEC TR 9789 (технический отчет)	Информационная технология. Руководство по организации и представлению элементов данных при обмене данными. Методы и принципы кодирования	ИП	ИП	ИП	ИП	ИП		ИП
ISO/IEC 9798-*	Информационные технологии. Методы обеспечения безопасности. Аутентификация объектов	ИП	П	П	П	П	ИП	П	ИП	П
ИСО/МЭК 10728-*	Интерфейс служб Системы словаря информационных ресурсов (IRDS)			П	И	И		И		И
ИСО/МЭК 11770-*	Информационная технология. Методы обеспечения безопасности. Управление ключами	ИП	П	П	П	П	И	П	ИП	П
ИСО/МЭК 11179-*	Этот стандарт является многокомпонентным стандартом для определения и реализации реестров метаданных. Серия включает в себя следующие части: часть 1. Структура; часть 2. Классификация; часть 3. Метамодель реестра и основные атрибуты; часть 4. Формулировка определений данных; часть 5. Принципы наименования; часть 6. Регистрация; часть 7. Метамодель для регистрации набора данных	И	ИП	ИП	П	ИП			П
ИСО/МЭК 13249-*	Языки баз данных — мультимедиа SQL и пакеты приложений: часть 1. Структура; часть 2. Полнотекстовый; часть 3. Пространственный; часть 5. Неподвижное изображение; часть 6. Извлечение данных	И	ИП	П	П	И		П
ISO/IEC TR 14516:2002	Информационная технология. Методы обеспечения безопасности. Руководство по использованию доверенных сторонних служб и управлению ими	И	П	ИП			И		П
ИСО/МЭК 15408-*	Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий						И		И
ISO/IEC TR 19075-*	Это серия технических отчетов по технологиям, связанным с SQL: часть 1. XQuery; часть 2. Поддержка SQL для информации, связанной со временем; часть 3. Программы, использующие язык программирования Java; часть 4. Подпрограммы и типы, использующие язык программирования Java; часть 5. Распознавание паттернов строк в SQL; часть 6. Поддержка SQL для JSON; часть 7. Полиморфные функции таблиц в SQL	И	ИП	П	П	И		П	П	П
ИСО 19110	Географическая информация. Методология каталогизации функций	И	П	ИП	П	И
ИСО 19114	Географическая информация. Процедуры оценки качества			И
ИСО 19115-*	Пространственные данные	И	П	ИП	П	И
ИСО 19119	Географическая информация. Услуги	И	П	ИП	И	И
ИСО 19139	Географическая информация. Метаданные. Реализация XML Schema	И	П	ИП	П	И
ИСО 19157	Пространственные данные. Качество данных	И	П	ИП	П	И
ИСО/МЭК 19503	Обмен метаданными (XMI) расширяемого языка разметки (XML)	И	ИП	П	ИП	И			П	П
ИСО/МЭК 19763-*	Информационная технология. Концепция интероперабельности на основе метамоделей. Многосекционный стандарт, включающий в себя следующие части: часть 1. Структура; часть 3. Метамодель для регистрации онтологий; часть 5. Метамодель для регистрации моделей процессов; часть 6. Сводка реестров; часть 7. Метамодель для регистрации моделей услуг; часть 8. Метамодель для регистрации моделей ролей и целей; часть 9. Выбор модели по требованию (технический отчет); часть 10. Базовая модель и базовый маппинг; часть 12. Метамодель для регистрации модели информации; часть 13. Метамодель для регистрации дизайна форм	И	ИП	П	П	И		ИП
ИСО/МЭК 19773	Модули реестров метаданных	И	ИП	П	П	И			ИП
ИСО/МЭК 19944	Информационная технология. Облачные вычисления. Облачные сервисы и устройства: поток, категории и использование данных						И			П
ИСО/МЭК 20933	Информационная технология. Распределенные платформы приложений и сервисов (DAPS). Системы доступа	И	П	ИП	И	И
ISO/IEC TR 20943	Согласованность содержимого реестра метаданных	И	ИП	П	П	И			П	П
ИСО/МЭК 27010:2015	Информационная технология. Методы и средства обеспечения безопасности. Менеджмент информационной безопасности при обмене информацией между отраслями и организациями	И	П	ИП			И		ИП
ИСО/МЭК 27017	Информационная технология. Методы и средства обеспечения безопасности. Правила применения мер обеспечения информационной безопасности на основе ИСО/МЭК 27002 при использовании облачных служб								И
ИСО/МЭК 27033-1:2015	Информационная технология. Методы обеспечения безопасности. Сетевая безопасность	ИП	ИП	ИП	ИП	ИП	И	ИП	ИП	ИП
ИСО/МЭК 27035-*	Информационные технологии. Методы обеспечения безопасности. Менеджмент инцидентов информационной безопасности						И		И	П
ИСО/МЭК 27037:2012	Информационная технология. Методы и средства обеспечения безопасности. Руководства по идентификации, сбору, получению и хранению свидетельств, представленных в цифровой форме						И		И
ИСО/МЭК 29100:2011	Информационная технология. Методы и средства обеспечения безопасности. Основы обеспечения приватности	ИП	ИП	П	П	П	И	П	И	П
ISO/IEC TR 30102	Информационная технология. Платформы и сервисы распределенных приложений (DAPS). Общие технические принципы сервис-ориентированной архитектуры	И		ИП	И	И	И			П
IEEE 2200-2012	Стандартный протокол для управления потоком данных в устройствах медиа клиентов	И	П	ИП
W3C Data Catalogue Vocabulary (DCAT) [Словарь каталогов данных (DCAT), W3C]	DCAT — это словарь RDF (среды описания ресурса), разработанный для облегчения взаимодействия между каталогами данных, опубликованными в Интернете. Этот документ устанавливает схему и предоставляет примеры ее использования	И	П	ИП
W3C Document Object Model (DOM) Level 1 Specification [Спецификация 1 уровня объектной модели документов (DOM), W3C]	Эта серия спецификаций описывает DOM — интерфейс, независимый от платформ и языков, который позволяет программам и сценариям динамически получать доступ и обновлять содержимое, структуру и стиль языка разметки гипертекста (HTML) и документов XML	И	П	ИП	ИП	И		П
W3C Efficient XML Interchange (EXI) Format 1.0 (Second Edition) [Эффективный формат обмена XML (EXI) 1.0, второе издание, W3C]	Данная спецификация охватывает формат EXI. EXI — это предельно компактное представление для набора информации XML, предназначенное для одновременной оптимизации производительности и использования вычислительных ресурсов	И	П	ИП	ИП	ИП		ИП
W3C HTML5 A vocabulary and associated APIs for HTML and XHTML (Словарь связанных API для HTML и XHTML, W3C HTML5)	Данная спецификация описывает пятую основную версию базового языка Всемирной паутины — HTML	И	П	ИП
W3C Internationalization Tag Set (ITS) 2.0 [Набор тегов интернационализации (ITS), версия 2.0, W3C]	Спецификация ITS 2.0 расширяет основу для интеграции автоматизированной обработки человеческого языка в основные веб-технологии и концепции, предназначенные для стимуляции автоматического создания и обработки многоязычного веб-контента	И	П	ИП	ИП
W3C JavaScript Object Notation (JSON)-LD 1.0 [Объектная нотация JavaScript для связанных данных (JSON-LD), версия 1.0, W3C]	JSON-LD 1.0 — это сериализация на основе JSON для связанных данных. Рекомендация W3C от 16 января 2014 г.	И	П	ИП	ИП	И		ИП
W3C OWL 2 Web Ontology Language [Язык веб-онтологий (OWL) 2, W3C]	Язык веб-онтологий OWL 2, неофициально OWL 2, является языком онтологии для семантической сети с формально определенным значением	И	П	ИП	ИП	ИП
W3C Platform for Privacy Preferences (P3P) 1.0 [Платформа для настройки конфиденциальности (P3P), версия 1.0, W3C]	Следуя стандарту P3P, веб-сайты могут устанавливать свои требования к конфиденциальности в стандартном формате, благодаря которому данные могут быть автоматически извлечены и интерпретированы пользовательскими агентами	И	П	ИП	П	П		П	ИП
W3C Protocol for Web Description Resources (POWDER) [Протокол для описания веб-ресурсов (POWDER), W3C]	POWDER — протокол для описания веб-ресурсов — предоставляет механизм для описания и обнаружения веб-ресурсов и помогает пользователям принимать решение о том, представляет ли для них интерес конкретный ресурс	И	П	ИП
W3C Provenance	Provenance (происхождение) — это спецификация, включающая сведения об объектах, мероприятиях и людях, участвующих в создании части данных или того, что может быть использовано для оценки качества, надежности и достоверности. Семейство документов Provenance (PROV) описывает модель, соответствующие сериализации и другие вспомогательные определения для обеспечения функционального обмена информацией о происхождении данных в разнородных средах, таких как Интернет	И	П	ИП	ИП	И		П	П
W3C Resource Description Framework (RDF) [Структура описания ресурсов (RDF), W3C]	RDF — это структура для представления информации в Интернете. Графы RDF представляют собой наборы троек типа «субъект — предикат — объект», в которых элементы используются для выражения описаний ресурсов	И	П	ИП	ИП	И		П
W3C RDF Data Cube Vocabulary (Словарь RDF Data Cube, W3C)	Словарь DataCube предоставляет средства для публикации многомерных данных, таких как статистика в Интернете, с использованием стандарта W3C по RDF	И	П	ИП
W3C Rule Interchange Format (RIF) [Формат обмена правилами (RIF), W3C]	RIF — это серия стандартов для обмена правилами между системами правил, в частности между механизмами веб-правил	И	П	ИП	ИП	И		П
W3C Service Modeling Language (SML) 1.1 [Язык моделирования сервисов (SML), версия 1.1, W3C]	Эта спецификация описывает SML версии 1.1, используемый для моделирования сложных сервисов и систем, включая их структуру, ограничения, политики и передовые практики	И	П	ИП	ИП	И				П
W3C Simple Knowledge Organization System Reference (SKOS) [Простая система организации знаний (SKOS), W3C]	Эта спецификация описывает SKOS, общую модель данных для совместного использования и связывания систем организации знаний через Интернет	И	П	ИП	П	И
W3C Simple Object Access Protocol (SOAP) 1.2 [Простой протокол доступа к объектам (SOAP), версия 1.2, W3C]	SOAP — спецификация протокола для обмена структурированной информацией при внедрении веб-сервисов в компьютерных сетях	И	П	ИП
W3C SPARQL 1.1	SPARQL — языковая спецификация для запросов и обработки связанных данных в формате RDF	И	П	ИП	П	И
W3C Web Service Description Language (WSDL) 2.0 [Язык описания веб-сервисов (WSDL), версия 2.0, W3C]	Эта спецификация описывает WSDL, версия 2.0 — язык XML для описания веб-сервисов	И	П	ИП	И
W3C XML	XML 1.0 (пятое издание), рекомендация W3C от 26 ноября 2008 г.	ИП	ИП	ИП	ИП	ИП		ИП	ИП	ИП
W3C XML Syntax Encryption and Processing Version 1.1 (Синтаксис и обработка XML-шифрования, версия 1.1, W3C)	Эта спецификация охватывает процесс для шифрования данных и представления результата в XML	И	П	ИП	П	И
W3C XML Key Management Specification (XKMS) 2.0 [Спецификация управления ключами XML (XKMS), версия 2.0, W3C]	Этот стандарт описывает протоколы для распространения и регистрации открытых ключей, подходящие для использования вместе с рекомендациями W3C для XMLSignature [XML-SIG] и XML Encryption [XML-Enc]. XKMS состоит из двух частей: Спецификации информационной службы ключей XML (X-KISS) и Спецификации службы регистрации ключей XML (X-KRSS)	И	П	ИП	П	П
W3C XML Signature Syntax and Processing Version 1.1 (Синтаксис и обработка XML-подписей, версия 1.1, W3C)	В эту спецификацию включены правила и синтаксис обработки электронной подписи XML. Подписи XML обеспечивают целостность, аутентификацию сообщений и/или аутентификацию подписанта для данных любого типа независимо от формата файла	И	П	ИП	ИП	ИП		ИП
W3C XPath 3.0	XPath 3.0 — язык выражений, который позволяет обрабатывать значения, соответствующие модели данных, определенной в [XQuery и XPath Data Model (XDM), версия 3.0]. Модель данных обеспечивает древовидное представление документов XML, а также атомарные значения и последовательности, которые могут содержать как ссылки на узлы в документе XML, так и атомарные значения	И	П	ИП	ИП	И
W3C XProc	Эта спецификация описывает синтаксис и семантику XProc: An XML Pipeline Language — языка для описания операций, выполняемых с документами XML	И	П	ИП	ИП	И		ИП
W3C XQuery 3.0	Спецификации XQuery описывают язык запросов, называемый XQuery, который предназначен для широкого применения во многих типах источников данных XML	И	П	ИП	П	И		ИП
W3C XSL Transformations (XSLT) Version 2.0 [XSL Transformations (XSLT), версия 2.0, W3C]	Эта спецификация описывает синтаксис и семантику XSLT 2.0 — языка для преобразования документов XML в другие документы XML	И	П	ИП	ИП	И
OGC® network Common Data Form (netCDF) [Общая форма данных сети (netCDF), OGC® ]	netCDF — это набор программных библиотек и самоописываемых машинно-независимых форматов данных, которые поддерживают создание, доступ и совместное использование научных данных, ориентированных на массивы	И	П	ИП	П	И
OGC® Open Modelling Interface Standard (Open-MI) [Стандарт открытого интерфейса моделирования (Open-MI), OGC® ]	Целью Open-MI является обеспечение обмена данными во время работы между моделями симуляции процессов, а также между моделями и другими инструментами моделирования, такими как базы данных и приложения для анализа и визуализации	И	П	ИП	ИП	ИП		ИП
OASIS Advanced Message Queuing Protocol (AMQP) Version 1.0 (Расширенный протокол очереди сообщений (AMQP), версия 1.0, OASIS)	AMQP — открытый интернет-протокол для обмена бизнес-сообщениями. Он описывает двоичный протокол проводного уровня, который обеспечивает надежный обмен деловыми сообщениями между двумя сторонами	И	П	П	П	П		ИП		П
OASIS Application Vulnerability Description Language (AVDL) v1.0 [Язык описания уязвимостей приложений (AVDL), версия 1.0, OASIS]	Спецификация описывает стандартный формат XML, который позволяет объектам (таким как приложения, организации или институты) передавать информацию об уязвимостях веб-приложений	И	П	И					П
OASIS AS4 Profile of ebMS 3.0 v1.0 [Профиль 4-го заявления о применимости (AS4) электронного бизнеса с использованием расширяемого языка разметки (ebMS) 3.0, версия 1.0, OASIS]	Стандарт для обмена сообщениями между предприятиями через платформу веб-сервисов	И	П	ИП				ИП
OASIS Biometric Identity Assurance Services (BIAS) Simple Object Access Protocol (SOAP) Profile v1.0 [Профиль сервисов по биометрическому подтверждению личности (BIAS) простого протокола доступа к объектам (SOAP), версия 1.0, OASIS]	Этот профиль OASIS BIAS определяет, как использовать XML (XML10), описанный в ANSI INCITS 442-2010-BIAS, для вызова сервисов на основе SOAP, реализующих операции BIAS	И	П	ИП					П
OASIS Content Management Interoperability Services (CMIS) [Сервисы взаимодействия управления контентом (CMIS), OASIS]	Стандарт CMIS описывает модель домена и набор привязок, включающий в себя веб-службы и ReSTful AtomPub, которые могут быть использованы приложениями для работы с одним или несколькими репозиториями/системами управления контентом	И	П	ИП	ИП	И
OASIS Digital Signature Service (DSS) [Служба цифровой подписи (DSS), OASIS]	В этой спецификации описываются два протокола запросов/ответов на основе XML: протокол подписи и протокол проверки. С помощью этих протоколов клиент может отправлять документы (или хеши документов) на сервер и получать обратно подпись на документах, либо отправлять документы (или хеши документов) вместе с подписью на сервер и получать ответ о том, подтверждаются ли документы подписью	И	П	ИП	П	И		ИП
OASIS Directory Services Markup Language (DSML) v2.0 [Язык разметки служб каталогов (DSML), версия 2.0, OASIS]	DSML предоставляет средства для представления структурной информации каталогов в виде методов XML-документа для выражения запросов и обновлений каталогов (и результатов этих операций) в виде XML-документов	И	П	ИП	П	И
OASIS ebXML Messaging Services (Службы обмена сообщениями ebXML, OASIS)	Эти спецификации определяют нейтральный для протокола обмена данными метод обмена электронными деловыми сообщениями в формате XML	И	П	ИП	П			И
OASIS ebXML RegRep	ebXML RegRep — стандарт, описывающий сервисные интерфейсы, протоколы и информационную модель для интегрированного реестра и репозитория. В репозитории хранится цифровой контент, в то время как в реестре хранятся метаданные, описывающие контент в репозитории	И	П	ИП	П	И		ИП
OASIS ebXML Registry Information Model (Информационная модель реестра ebXML, OASIS)	Информационная модель реестра предоставляет план или схему высокого уровня для реестра ebXML. Она дает разработчикам информацию о типе метаданных, хранящихся в реестре, а также об отношениях между классами метаданных	И	П	ИП	П	И		И
OASIS ebXML Registry Services Specification (Спецификация служб реестра ebXML, OASIS)	Реестр ebXML — информационная система, которая безопасно управляет любым типом контента и стандартизированными метаданными, которые его описывают. Реестр ebXML предоставляет набор служб, позволяющих обмениваться контентом и метаданными между объектами организации в объединенной среде	И	П	ИП	П	И		ИП
OASIS extensible Access Control Markup Language (XACML) [Расширяемый язык разметки контроля доступа (XACML), OASIS]	Стандарт описывает декларативный язык политики управления доступом, реализованный в XML, а также модель обработки, описывающую, как оценивать запросы на получение доступа в соответствии с правилами, указанными в политиках	И	П	ИП	ИП	И			ИП
OASIS Message Queuing Telemetry Transport (MQTT) [Передача телеметрии очереди сообщений (MQTT), OASIS]	MQTT — протокол обмена сообщениями в среде «клиент — сервер» по принципу «публикация/подписка» для ограниченных сред, например для связи типа «машина — машина» и в рамках Интернета вещей, где требуется небольшой размер кода и/или существует нехватка пропускной способности сети	И	П	ИП	П			ИП
OASIS Open Data (OData) Protocol [Протокол открытых данных (OData), OASIS]	Протокол OData — это протокол прикладного уровня для взаимодействия с данными через интерфейсы RESTful. Протокол поддерживает описание моделей данных, а также редактирование и запросы на получение данных в соответствии с этими моделями	И	П	ИП	П	И
OASIS Search Web Services (SWS) [Службы веб-поиска (SWS), OASIS]	Инициатива OASIS SWS описывает общий протокол взаимодействия между клиентом и сервером для выполнения поиска. SWS устанавливают абстрактное определение протокола (APD) для описания этого взаимодействия	И	П	ИП
OASIS Security Assertion Markup Language (SAML) v2.0 [Язык разметки утверждений безопасности (SAML), версия 2.0, OASIS]	SAML определяет синтаксис и семантику обработки утверждений, сделанных системным объектом в отношении субъекта. Эта спецификация описывает как структуру утверждений SAML, так и связанный с ней набор протоколов в дополнение к правилам обработки, задействованным в управлении системой SAML	И	П	ИП	ИП	И		ИП	ИП
OASIS SOAP-over-UDP (User Datagram Protocol) V1.1 [Протокол пользовательских датаграмм (SOAP-over-UDP), версия 1.1, OASIS]	Эта спецификация описывает привязку SOAP к пользовательским датаграммам, включая шаблоны сообщений, требования к адресации и соображения безопасности	И	П	ИП
OASIS Solution Deployment Descriptor Specification v1.0 (Спецификация дескриптора развертывания решений, версия 1.0 OASIS)	Эта спецификация описывает схему для двух типов документов XML: дескрипторов пакета и дескрипторов развертывания. Дескрипторы пакета определяют характеристики пакета, используемого для развертывания решения. Дескрипторы развертывания определяют характеристики содержимого пакета решения, включая требования, имеющие значение для создания, настройки и обслуживания содержимого решения						ИП			ИП
OASIS Symptoms Automation Framework (SAF) Version 1.0 [Структура автоматизации симптомов (SAF), версия 1.0, OASIS]	Этот стандарт описывает эталонную архитектуру для Symptoms Automation Framework — инструмента для автоматического обнаружения, оптимизации и исправления эксплуатационных аспектов сложных систем						И			ИП
OASIS Topology and Orchestration Specification for Cloud Applications Version 1.0 [Спецификация топологии и манипуляции для облачных приложений, версия 1.0, OASIS]	Для указания «топологии» (или структуры) и «манипуляции» (или инициирования управленческой деятельности) ИТ-служб использовано понятие «шаблон служб». Эта спецификация предоставляет формальное описание шаблонов служб, включая их структуру, свойства и поведение			П	ИП		И			ИП
OASIS Universal Business Language (UBL) v2.1 [Универсальный деловой язык (UBL), версия 2.1, OASIS]	OASIS UBL описывает общий формат обмена XML для деловых документов, который может быть ограничен или расширен для соответствия требованиям конкретных отраслей	И	П	ИП	П	И		П
OASIS Universal Description, Discovery and Integration (UDDI) v3.0.2 [Универсальное описание, обнаружение и интеграция (UDDI), версия 3.0.2, OASIS]	В центре внимания UDDI находится определение набора сервисов, поддерживающих описание и обнаружение (1) предприятий, организаций и других поставщиков веб-сервисов, (2) предоставляемых ими веб-сервисов и (3) технических интерфейсов, которые могут быть использованы для доступа к этим сервисам	И	П	ИП						П
OASIS Unstructured Information Management Architecture (UIMA) v1.0 [Неструктурированная архитектура управления информацией (UIMA), версия 1.0, OASIS]	Спецификация UIMA описывает независимые от платформы представления данных и интерфейсы для текстовой и мультимодальной аналитики			П	И
OASIS Unstructured Operation Markup Language (UOML) v1.0 [Неструктурированный язык разметки операций (UOML), версия 1.0, OASIS]	UOML является стандартом интерфейса для обработки неструктурированных документов; он имеет такое же значение, как и SQL для структурированных данных. UOML выражается стандартным XML	И	П	ИП	И
OASIS/W3C Web-CGM v2.1	Метафайл компьютерной графики (CGM) — это стандарт ИСО, установленный ИСО/МЭК 8632- *, для обмена двухмерной векторной и смешанной векторной/растровой графикой. WebCGM — это профиль CGM, который добавляет веб-ссылки и оптимизирован для веб-приложений в области технической иллюстрации, электронной документации, визуализации геофизических данных и аналогичных сферах	И	П	ИП	П	ИП	И
OASIS Web Services Business Process Execution Language (WS-BPEL) v2.0 [Язык выполнения бизнес-процессов веб-служб (WS-BPEL), версия 2.0, OASIS]	Этот стандарт описывает язык для определения поведения бизнес-процессов на основе веб-служб. WS-BPEL предоставляет язык для спецификации исполняемых и абстрактных бизнес-процессов	И	П	ИП	И
OASIS/W3C — Web Services Distributed Management (WSDM): Management Using Web Services (MUWS) v1.1 [Распределенное управление веб-службами (WSDM): управление с помощью веб-сервисов (MUWS), версия 1.1, OASIS/W3C]	MUWS определяет, каким образом ИТ-ресурс, подключенный к сети, предоставляет интерфейсы управления, позволяющие контролировать ИТ-ресурс локально и из удаленных мест с использованием технологий веб-служб			И	И	И			П	П
OASIS WSDM: Management of Web Services (MOWS) v1.1 [WSDM: Управление веб-сервисами (MOWS), версия 1.1, OASIS]	Эта часть спецификации WSDM описывает управление конечными точками веб-служб с использованием протоколов веб-сервисов			И	И	И			П	П
OASIS Web Services Dynamic Discovery (WS-Discovery) v1.1 [Динамическое обнаружение веб-служб (WS-Discovery), версия v1.1, OASIS]	Эта спецификация описывает протокол обнаружения для определения местоположения сервисов. Основной сценарий обнаружения — это клиент, который ищет одну или несколько целевых служб	И	П	ИП	И	И				П
OASIS Web Services Federation Language (WS-Federation) v1.2 [Язык объединения веб-служб (WS-Federation), версия 1.2, OASIS]	Эта спецификация описывает механизмы, позволяющие объединять различные области безопасности, так что авторизованный доступ к ресурсам, управляемым в одной области, может быть предоставлен администраторам по информационной безопасности, чьи идентификаторы и атрибуты контролируются в других областях	И	П	ИП					П
OASIS Web Services Notification (WSN) v1.3 [Уведомления веб-сервисов (WSN), версия 1.3, OASIS]	WSN — это семейство связанных спецификаций, описывающих стандартный подход веб-сервисов к уведомлению с использованием тематического паттерна «издатель/подписка»	И	П	ИП	И	И
IETF Extensible Provisioning Protocol (EPP) [Расширяемый протокол обеспечения (EPP), IETF]	Эта серия стандартов IETF описывает клиент-серверный протокол прикладного уровня для обеспечения и управления объектами, хранящимися в общем центральном хранилище. Указанный в XML протокол определяет общие операции управления объектами и расширяемую среду, которая сопоставляет операции протокола с объектами						ИП			ИП
IETF Simple Network Management Protocol (SNMP) v3 [Простой протокол сетевого управления (SNMP), версия 3, IETF]	SNMP — это серия поддерживаемых IETF стандартов для удаленного управления системными/сетевыми ресурсами и передачи их статуса. Стандарты включают в себя определения стандартных объектов управления наряду с мерами безопасности			ИП	ИП	И	И	ИП	ИП	П
Примечание — В таблице использованы следующие сокращения: DP — уровень сервис-провайдера данных; DC — уровень потребителя данных; AP — уровень сервис-провайдера приложений; PR — уровень обработки данных; PL — платформенный уровень; INF — инфраструктурный уровень; INT — интеграционный уровень; S&P — уровень обеспечения безопасности и конфиденциальности; MGT — уровень управления данными; И — исполнитель стандартов; П — пользователь стандартов.

---

<1> В Российской Федерации действует ГОСТ Р ИСО/МЭК 9075-93 «Информационная технология. Язык баз данных SQL с расширением целостности».

8 Перспективные направления стандартизации

В данном разделе представлены лакуны в стандартизации больших данных в тех областях, которые могут быть необходимы организациям по разработке стандартов, консорциумам и пользователям настоящего стандарта. Приведенный ниже список составлен в качестве рекомендаций для ИСО при разработке мероприятий по стандартизации больших данных. Выявленные направления стандартизации больших данных относятся к тем областям, которые могут быть полезны для данного сообщества.

Эти лакуны в работе по стандартизации, связанной с большими данными, находятся в следующих областях:

1. сценарии использования больших данных, определения, словари и эталонные архитектуры (например, система, данные, платформы, онлайн/офлайн);

6. семантика соответствия больших данных предметным областям;

7. расширенные сетевые протоколы для эффективной передачи данных;

8. общие и предметные онтологии и таксономии для описания семантики данных, включая взаимосвязь между онтологиями;

14. измерение потребления энергии при работе с большими данными;
15. интерфейс между реляционными SQL-хранилищами данных и нереляционными NoSQL-хранилищами данных;
16. описание и управление качеством и достоверностью больших данных.

9 Подходы к перспективной стандартизации

Стандарты обычно создают с учетом наиболее усовершенствованных практик и подходов, которые проверены на реальных приложениях, или теории, адаптированной для отражения дополнительных переменных и условий, выявленных в ходе реализации.

В случае больших данных многие стандарты развиваются на основе действующих стандартов, модифицированных для учета уникальных особенностей больших данных. Определения и эталонная архитектура формируют основу существующих стандартов для удовлетворения потребностей в больших данных, а также оценки существующих решений и практик в качестве прототипов новых стандартов. Инициативы по разработке требуемых стандартов на основе принятых стандартов могут устранить эти лакуны путем их расширения или дополнения с учетом особенностей больших данных, а также в рамках разработки на их основе уникальных профилей больших данных. Экспоненциальный рост объема данных уже приводит к разработке новых теорий в различных областях, например: синхронизации данных в больших распределенных вычислительных средах или обеспечения согласованности в средах с большим объемом и скоростью обработки данных.

Примечание - В ходе практической реализации технологий эталонные решения будут развиваться на основе общественного признания программных проектов с открытым кодом.

A.1 Основные источники

Институт инженеров электротехники и электроники (IEEE) https://www.ieee.org/index.html

Международный комитет по стандартам информационных технологий (INCITS) http://www.incits.org/

Международная электротехническая комиссия (МЭК) http://www.iec.ch/

Международная организация по стандартизации (ИСО) http://www.iso.org/iso/home.html

Открытый геопространственный консорциум (OGC) http://www.opengeospatial.org/

Открытый форум по грид-вычислениям (OGF). https://www.ogf.org/ogf/doku.php

Организация по усовершенствованию стандартов структурированной информации (OASIS) https://www.oasis-open.org/

Консорциум Всемирной паутины (W3C) http://www.w3.org/

СВЕДЕНИЯ О СООТВЕТСТВИИ ССЫЛОЧНЫХ МЕЖДУНАРОДНЫХ СТАНДАРТОВ НАЦИОНАЛЬНЫМ СТАНДАРТАМ

Таблица ДА.1

Обозначение ссылочного международного стандарта	Степень соответствия	Обозначение и наименование соответствующего национального стандарта
ISO/IEC 20546	IDT	ГОСТ Р ИСО/МЭК 20546-2021 «Информационные технологии. Большие данные. Обзор и словарь»
Примечание — В настоящей таблице использовано следующее условное обозначения степени соответствия стандарта: - IDT — идентичный стандарт.

БИБЛИОГРАФИЯ

[1]	The White House Office of Science and Technology Policy. «Big Data is a Big Deal» OSTP Blog, accessed February 21, 2014. http://www.whitehouse.gov/blog/2012/03/29/big-data-big-deal
[2]	Alliance C.S. Expanded Top en Big Data Security and Privacy Challenges, April 2013. https://downloads.cloudsecurityalliance.org/initiatives/bdwg/Expanded_Top_Ten_Big_Data_Security_and_Privacy_Challenges.pdf
[3]	Big Data, Preliminary Report 2014, ISO/IEC JTC 1: Information Technology, http://www.iso.org/iso/big_data_report-jtc1.pdf. (Accessed March 2, 2015). Pages 21 — 23
[4]	ISO/IEC TR 20547-3:2020, Information Technology — Big data reference architecture — Part 3: Reference architecture

УДК 004.01:006.354	ОКС 35.020
Ключевые слова: информационные технологии, большие данные, архитектура, эталонная архитектура, направления стандартизации

---