---
title: "\"ГОСТ Р 59900-2021. Национальный стандарт Российской Федерации. Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании\""
number: "ГОСТ Р 59900-2021"
issuer: "Федеральное агентство по техническому регулированию и метрологии"
status: действует
canonical: "https://bukva.ai/docs/standart-gost-r-59900-2021"
---

## "ГОСТ Р 59900-2021. Национальный стандарт Российской Федерации. Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании"

# "ГОСТ Р 59900-2021. Национальный стандарт Российской Федерации. Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании"

(утв. и введен в действие Приказом Росстандарта от 26.11.2021 N 1622-ст)

> [!IMPORTANT]
> Текст данного документа приведен с учетом [поправки](https://bukva.ai/docs/popravka-popravki-gost-r-59900-2021), введенной в действие с 30.03.2022, опубликованной в "ИУС", N 5, 2022.
> Документ [введен](#p100008) в действие с 01.03.2022.


<a id="p100001"></a>Утвержден и введен в действие
Приказом Федерального
агентства по техническому
регулированию и метрологии
от 26 ноября 2021 г. N 1622-ст

<div align="right">

<a id="p100002"></a>НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

<a id="p100003"></a>СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

<a id="p100004"></a>ТИПОВЫЕ ТРЕБОВАНИЯ<br>
К КОНТРОЛЬНЫМ ВЫБОРКАМ ИСХОДНЫХ ДАННЫХ ДЛЯ ИСПЫТАНИЯ<br>
СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ОБРАЗОВАНИИ

</div>


<div align="center">

<a id="p100005"></a>**Artificial intelligence systems. Typical requirements**<br>
**for check samples of initial data for testing artificial**<br>
**intelligence systems in education**

<a id="p100006"></a>**ГОСТ Р 59900-2021**

<a id="p100007"></a>**ОКС 35.240.90**

<a id="p100008"></a>**Дата введения**<br>
**1 марта 2022 года**

</div>



### <a id="p100009"></a>Предисловие


<div align="center">

<a id="p100010"></a>**1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)**<br>
<a id="p100011"></a>**2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"**<br>
<a id="p100012"></a>**3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. N 1622-ст**<br>
<a id="p100013"></a>**4 ВВЕДЕН ВПЕРВЫЕ**

</div>


<a id="p100014"></a>Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)


### <a id="p100015"></a>1 Область применения


<div align="right">

<a id="p100016"></a>Настоящий стандарт распространяется на технологии искусственного интеллекта в образовании и устанавливает типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании, построенных на основе алгоритмов машинного обучения и анализа данных.

</div>



### <a id="p100017"></a>2 Термины и определения


<a id="p100018"></a>В настоящем стандарте применены следующие термины с соответствующими определениями:
<a id="p100019"></a>2.1 образовательный продукт с алгоритмами искусственного интеллекта: Программно-техническая система, использующая алгоритмы искусственного интеллекта для решения различных задач в области образования.
<a id="p100020"></a>2.2 гиперпараметры (в машинном обучении): Параметры системы искусственного интеллекта, значения которых задаются до начала обучения и не изменяются в процессе обучения.

<div align="center">

<a id="p100021"></a>**Примечание - У системы искусственного интеллекта может не быть гиперпараметров.**

</div>


<a id="p100022"></a>2.3 обучающая выборка: Набор данных, на котором происходит обучение системы искусственного интеллекта.
<a id="p100023"></a>2.4 валидационная выборка: Набор данных, на котором происходит оптимизация гиперпараметров системы искусственного интеллекта и выбор наилучшего алгоритма.
<a id="p100024"></a>2.5 контрольная выборка: Набор данных, на котором происходит оценка качества работы системы искусственного интеллекта.
<a id="p100025"></a>2.6 метрика (в машинном обучении): Функция количественной оценки качества работы алгоритмов искусственного интеллекта на некоторой выборке.
<a id="p100026"></a>*Примечание* - При обучении систем искусственного интеллекта вычисляют значения метрик на обучающей, валидационной и тестовой выборках.


### <a id="p100027"></a>3 Общие требования к контрольным выборкам исходных данных



#### <a id="p100028"></a>3.1 Репрезентативность


<a id="p100029"></a>**Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.**
<a id="p100030"></a>**Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.**
<a id="p100031"></a>**Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки.**


#### <a id="p100032"></a>3.2 Ограничение в использовании контрольной выборки на этапе обучения системы


<a id="p100033"></a>**В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.**
<a id="p100034"></a>**Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.**
<a id="p100035"></a>**Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой.**


#### <a id="p100036"></a>3.3 Актуальность контрольной выборки


<a id="p100037"></a>Необходимо обеспечить соответствие данных, представленных в контрольной выборке, актуальному состоянию объектов, описываемых данными.
<a id="p100038"></a>Для контрольной выборки должен быть определен период обновления, соответствующий периодам изменения объектов, описываемых собранными данными.


#### <a id="p100039"></a>3.4 Повторное использование контрольной выборки


<a id="p100040"></a>Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки.


### <a id="p100041"></a>4 Объекты данных в образовании


<a id="p100042"></a>4.1 В зависимости от категории и назначения образовательного продукта с алгоритмами искусственного интеллекта наборы данных собираются в отношении следующих объектов и процессов:
- <a id="p100043"></a>описание и программы образовательных дисциплин, учебно-методические материалы;
- <a id="p100044"></a>характеристики участников образовательной деятельности;
- <a id="p100045"></a>учебные действия и коммуникация участников образовательной деятельности (обучающийся, педагогический работник);
- <a id="p100046"></a>операции взаимодействия с информационными системами участников образовательной деятельности, в том числе цифровая тень;
- <a id="p100047"></a>продуктивные результаты образовательной деятельности (созданные артефакты, в том числе в цифровой форме);
- <a id="p100048"></a>оценки действий и артефактов;
- <a id="p100049"></a>показатели и характеристики среды обучения.
<a id="p100050"></a>4.2 Для каждого типа объекта должен быть определен период изменений, необходимый для обеспечения актуальности данных в контрольных выборках.
<a id="p100051"></a>Например, для образовательных программ должен быть назначен период изменения, равный принятому сроку обновления образовательных программ.
<a id="p100052"></a>**4.3 Примеры видов наборов данных и требования к контрольным выборкам для каждой категории данных представлены в [приложении А](#p100071).**


### <a id="p100053"></a>5 Требования к описанию контрольных выборок данных в образовании


<a id="p100054"></a>5.1 Контрольные выборки данных должны иметь определенный набор метаданных. Данный набор можно определить в трех категориях:
- <a id="p100055"></a>описательные метаданные, описывают содержание и состояние данных;
- <a id="p100056"></a>технические метаданные, описывают технические особенности хранения и обработки данных;
- <a id="p100057"></a>операционные метаданные, описывают процессы обработки данных и доступа к ним.
<a id="p100058"></a>5.2 Технические и операционные метаданные контрольных выборок должны содержательно соответствовать метаданным обучающей и валидационной выборок, на которых производилось обучение системы искусственного интеллекта, а также метаданным данных, которые будут использоваться в процессе эксплуатации образовательного продукта с алгоритмами искусственного интеллекта. Примеры наборов соответствующих данных приведены в [разделах 4](#p100135) - [6 таблицы А.1](#p100157) приложения А.

#### <a id="p100059"></a>5.3 Описательные метаданные контрольных выборок данных в образовании должны содержать следующие характеристики:

- <a id="p100060"></a>контекст сбора данных (название образовательной программы, учебного курса, мероприятия и др.);
- <a id="p100061"></a>характер данных (описание и план деятельности, фактически осуществленная деятельность, оценка деятельности);
- <a id="p100062"></a>источник данных (обучающийся, педагог и др.);
- <a id="p100063"></a>вид данных (данные о характеристиках обучающегося и/или педагога, данные о деятельности);
- <a id="p100064"></a>уровень данных о деятельности (деятельность, действие, операция);
- <a id="p100065"></a>вид образования (общее образование, профессиональное образование, дополнительное образование и др.);
- <a id="p100066"></a>уровень образования (дошкольное образование; начальное общее образование; основное общее образование; среднее общее образование; среднее профессиональное образование; высшее образование - бакалавриат; высшее образование - специалитет, магистратура; высшее образование - подготовка кадров высшей квалификации);
- <a id="p100067"></a>возраст обучающихся;
- <a id="p100068"></a>уровень подготовки обучающихся;
- <a id="p100069"></a>особенности обучающихся.





<a id="p100070"></a>Приложение А
(обязательное)

<a id="p100071"></a>ПРИМЕРЫ НАБОРОВ ДАННЫХ В ОБРАЗОВАНИИ
И ТРЕБОВАНИЯ К КОНТРОЛЬНЫМ ВЫБОРКАМ

<a id="p100072"></a>Примеры наборов данных в образовании и требования к контрольным выборкам приведены в [таблице А.1](#p100074).

<a id="p100073"></a>Таблица А.1

<a id="p100074"></a>Примеры наборов данных в образовании и требования
к контрольным выборкам


<table>
<colgroup><col width="7%"><col width="44%"><col width="49%"></colgroup>
<tr><td><a id="p100075"></a>N</td><td><a id="p100076"></a>Наборы данных</td><td><a id="p100077"></a>Требования к контрольной выборке</td></tr>
<tr><td><a id="p100078"></a>1</td><td colspan="2"><a id="p100079"></a>Описание курса и учебно-методические материалы</td></tr>
<tr><td><a id="p100080"></a>1.1</td><td><a id="p100081"></a>Описание предмета/курса/тематического модуля в каталоге (содержит требования к участникам, количество контактных часов, зачетных единиц, тип и т.п.)</td><td><a id="p100082"></a>Выборка должна обеспечивать использование данных для предположения об образовательных результатах, если они не заданы явно</td></tr>
<tr><td><a id="p100083"></a>1.2</td><td><a id="p100084"></a>Структура активности</td><td><a id="p100085"></a>Выборка должна обеспечивать использование данных для привязки образовательных результатов к действиям пользователя</td></tr>
<tr><td><a id="p100086"></a>1.3</td><td><a id="p100087"></a>Образовательные результаты (разметка образовательных результатов)</td><td><a id="p100088"></a>Выборка должна содержать текстовые описания образовательных результатов. Выборка должна обеспечивать использование данных для соотнесения деятельности обучающегося с результатами обучения</td></tr>
<tr><td><a id="p100089"></a>1.4</td><td><a id="p100090"></a>Содержание образования</td><td><a id="p100091"></a>Выборка должна обеспечивать использование данных для предположения об образовательных результатах, если они не заданы явно</td></tr>
<tr><td><a id="p100092"></a>1.5</td><td><a id="p100093"></a>Правила оценивания</td><td><a id="p100094"></a>Выборка должна обеспечивать использование данных для контроля соответствия оценок образовательным результатам</td></tr>
<tr><td><a id="p100095"></a>1.6</td><td><a id="p100096"></a>Методика оценки/диагностики</td><td><a id="p100097"></a>Выборка должна обеспечивать использование данных для контроля выводов о достижении образовательных результатов или результатах диагностики</td></tr>
<tr><td><a id="p100098"></a>2</td><td colspan="2"><a id="p100099"></a>Данные о продуктивной деятельности обучающегося</td></tr>
<tr><td><a id="p100100"></a>2.1</td><td><a id="p100101"></a>Запись о деятельности и результате деятельности (в привязке к образовательному результату)</td><td><a id="p100102"></a>Основная единица учета деятельности обучающегося. Выборка должна обеспечивать использование данных для демонстрации компетенций обучающегося</td></tr>
<tr><td><a id="p100103"></a>2.2</td><td><a id="p100104"></a>Созданные обучающимся артефакты (в процессе учебной/проектной деятельности) в привязке к деятельности и образовательному результату (презентации, конспекты, схемы, чертежи, исходные тексты программ, в том числе в цифровой форме)</td><td><a id="p100105"></a>Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций</td></tr>
<tr><td><a id="p100106"></a>2.3</td><td><a id="p100107"></a>Личный дневник обучающегося, дневник его проектной команды</td><td><a id="p100108"></a>Выборка должна обеспечивать использование данных для отслеживания прогресса и качества деятельности</td></tr>
<tr><td><a id="p100109"></a>2.4</td><td><a id="p100110"></a>Записи о прохождении командой значимых вех в проектной деятельности</td><td><a id="p100111"></a>Выборка должна обеспечивать использование данных для отслеживания прогресса и качества проектной деятельности, проявления командой проекта определенных компетенций, достижения результатов обучения</td></tr>
<tr><td><a id="p100112"></a>3</td><td colspan="2"><a id="p100113"></a>След оценки деятельности</td></tr>
<tr><td><a id="p100114"></a>3.1</td><td><a id="p100115"></a>Набранные баллы (оценки за задание/урок/тематический раздел/курс)</td><td><a id="p100116"></a>Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций</td></tr>
<tr><td><a id="p100117"></a>3.2</td><td><a id="p100118"></a>Оценки обучающихся и отзывы</td><td><a id="p100119"></a>Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций</td></tr>
<tr><td><a id="p100120"></a>3.3</td><td><a id="p100121"></a>Обратная связь участников образовательного процесса (в том числе, рефлексия)</td><td><a id="p100122"></a>Выборка должна обеспечивать использование данных для формирования предположений об образовательных результатах, а также для оценки курсов/мероприятий/элементов курсов/личностного развития обученного</td></tr>
<tr><td><a id="p100123"></a>3.4</td><td><a id="p100124"></a>Экспертная оценка (свидетельства наблюдателей о проявлении навыков/компетенций)</td><td><a id="p100125"></a>Выборка должна обеспечивать использование данных для подтверждения и демонстрации результатов обучения, сформированных компетенций</td></tr>
<tr><td><a id="p100126"></a>3.5</td><td><a id="p100127"></a>Полученные сертификаты (в виде изображений/документов)</td><td><a id="p100128"></a>Выборка должна обеспечивать использование данных для подтверждения прохождения обучения и формирования определенных компетенций обучаемых</td></tr>
<tr><td><a id="p100129"></a>3.6</td><td><a id="p100130"></a>Оценка артефактов, проектов</td><td><a id="p100131"></a>Выборка должна обеспечивать использование данных для оценки результатов обучения и прогресса обучаемого</td></tr>
<tr><td><a id="p100132"></a>3.7</td><td><a id="p100133"></a>Достижение (получение статуса, бейджа и т.п.)</td><td><a id="p100134"></a>Выборка должна обеспечивать использование данных для оценки результатов обучения и прогресса обучаемого</td></tr>
<tr><td><a id="p100135"></a>4</td><td colspan="2"><a id="p100136"></a>След взаимодействия</td></tr>
<tr><td><a id="p100137"></a>4.1</td><td><a id="p100138"></a>Отдельные действия пользователя в системе, имеющие смысл с точки зрения обучения (просмотр видео, ответ на конкретный вопрос, запрос подсказки и т.п.)</td><td><a id="p100139"></a>Выборка должна обеспечивать использование данных для анализа поведения обучающегося, выявления слабых мест, а также - для оценки учебного курса/мероприятия</td></tr>
<tr><td><a id="p100140"></a>4.2</td><td><a id="p100141"></a>"Кликстрим" (нажатия кнопок, клики, переходы между страницами, скроллинг)</td><td><a id="p100142"></a>Выборка должна обеспечивать использование данных для анализа поведения обучающегося, выявления слабых мест, а также - для оценки учебного курса/мероприятия</td></tr>
<tr><td><a id="p100143"></a>4.3</td><td><a id="p100144"></a>Факты и содержание переписки в ИТ-системах (в т.ч. - активность пользователя в открытых системах, социальных сетях и т.п.)</td><td><a id="p100145"></a>Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения некоторых навыков и компетенций, соавторства при совместной работе</td></tr>
<tr><td><a id="p100146"></a>4.4</td><td><a id="p100147"></a>Факты общения участников образовательной деятельности в очном взаимодействии</td><td><a id="p100148"></a>Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения некоторых навыков и компетенций, соавторства при совместной работе</td></tr>
<tr><td><a id="p100149"></a>4.5</td><td><a id="p100150"></a>Отдельные события в системах проектной деятельности (создание задачи, изменение статуса задачи и т.п.)</td><td><a id="p100151"></a>Выборка должна обеспечивать использование данных для анализа поведения обучающегося или проектной команды</td></tr>
<tr><td><a id="p100152"></a>5</td><td colspan="2"><a id="p100153"></a>След состояния</td></tr>
<tr><td><a id="p100154"></a>5.1</td><td><a id="p100155"></a>Изменение настроек и профиля в ИТ-системах</td><td><a id="p100156"></a>Выборка должна обеспечивать использование данных для анализа изменения поведения обучающегося, для анализа целей</td></tr>
<tr><td><a id="p100157"></a>6</td><td colspan="2"><a id="p100158"></a>След участия/мероприятия</td></tr>
<tr><td><a id="p100159"></a>6.1</td><td><a id="p100160"></a>Фиксация присутствия в определенном месте</td><td><a id="p100161"></a>Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения компетенций; также - для оценки учебного курса/мероприятия</td></tr>
<tr><td><a id="p100162"></a>6.2</td><td><a id="p100163"></a>Фиксация факта использования содержания образования без подтверждающей продуктивной деятельности</td><td><a id="p100164"></a>Выборка должна обеспечивать использование данных для анализа поведения обучающегося, подтверждения компетенций; также - для оценки учебного курса/мероприятия</td></tr>
<tr><td><a id="p100165"></a>6.3</td><td><a id="p100166"></a>Состав и описание команд обучающихся при групповой/командной деятельности</td><td><a id="p100167"></a>Выборка должна обеспечивать использование данных для подтверждения участия в мероприятии</td></tr>
<tr><td><a id="p100168"></a>6.4</td><td><a id="p100169"></a>Проявленные роли обучающегося в командном взаимодействии</td><td><a id="p100170"></a>Выборка должна обеспечивать использование данных для подтверждения способности выполнения роли</td></tr>
<tr><td><a id="p100171"></a>6.5</td><td><a id="p100172"></a>Описание проекта</td><td><a id="p100173"></a>Выборка должна обеспечивать использование данных для выявления образовательных результатов, основанных на проектной деятельности</td></tr>
<tr><td><a id="p100174"></a>7</td><td colspan="2"><a id="p100175"></a>Целеполагание и продвижение по траектории</td></tr>
<tr><td><a id="p100176"></a>7.1</td><td><a id="p100177"></a>Цели пользователя (декларируемые им самим)</td><td><a id="p100178"></a>Выборка должна обеспечивать использование данных для построения персональной траектории обучения, работы педагогических работников</td></tr>
<tr><td><a id="p100179"></a>7.2</td><td><a id="p100180"></a>Рефлексия о достижении целей/продвижении</td><td><a id="p100181"></a>Выборка должна обеспечивать использование данных для построения персональной траектории обучения, работы педагогов</td></tr>
</table>







<table>
<colgroup><col width="62%"><col width="38%"></colgroup>
<tr><td><a id="p100182"></a>УДК 004.896:006.354</td><td><a id="p100183"></a>ОКС 35.240.90</td></tr>
<tr><td colspan="2"><a id="p100184"></a>Ключевые слова: технологии искусственного интеллекта, образование, требования, контрольные выборки, исходные данные, испытание систем искусственного интеллекта в образовании</td></tr>
</table>




<a id="p100185"></a>

---