ГОСТ Р 70948-2023. Национальный стандарт Российской Федерации. Технологии искусственного интеллекта в образовании. Функциональная подсистема формирования контингента абитуриентов по программам бакалавриата и специалитета. Общие положения и методика испытаний

(утв. и введен в действие Приказом Росстандарта от 18.10.2023 № 1176-ст)

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Дата введения

Предисловие

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. № 1176-ст

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Функциональная подсистема формирования контингента абитуриентов по программам бакалавриата и специалитета входит в систему образования как ее наиболее значимая составляющая, обеспечивающая приемную кампанию образовательных организаций по программам бакалавриата и специалитета.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта, используемых при формировании контингента абитуриентов по программам бакалавриата и специалитета в рамках соответствующей функциональной подсистемы высших учебных заведений.

Основной задачей применения технологий искусственного интеллекта в рамках названной подсистемы является прогнозирование результатов приемной кампании для повышения эффективности принимаемых руководством высшего учебного заведения решений. В связи с этим критически важным является обеспечение должного уровня доверия к используемым технологиям искусственного интеллекта. Для обеспечения единых подходов к испытаниям технологий искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов «Технологии искусственного интеллекта в образовании».

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), используемых в управлении формированием контингента абитуриентов по программам бакалавриата и специалитета.

Примечание - Такие испытания может проводить:

• внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);
• внешняя испытательная лаборатория, действующая по поручению организации — заказчика СИИ (оценка соответствия второй стороной);
• орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

Настоящий стандарт предназначен для применения организациями, осуществляющими подготовку бакалавров и специалистов по программам высшего образования (например, вузы, как государственные, так и негосударственные).

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 абитуриент: Лицо, поступающее в учреждение профессионального образования с целью освоения образовательной программы и получения квалификации.

3.2

аннотирование данных, разметка данных: Процесс маркирования данных, выполняемый для того, чтобы сделать данные пригодными для машинного обучения. [ГОСТ Р 59898-2021, пункт 3.1]

3.3

базовый демонстрационный набор данных: Образцовый аннотированный набор данных, сформированный в соответствии с нормативно-техническим документом, устанавливающим унифицированные требования к проведению тестирования (испытаний) системы искусственного интеллекта определенного типа. [ГОСТ Р 59898-2021, пункт 9.1]

3.4 бакалавриат: Высшее профессиональное образование, подтвержденное присвоением лицу, успешно прошедшему итоговую аттестацию, квалификации «бакалавр».

3.5

валидация: Подтверждение, посредством представления объективных свидетельств, того, что требования, предназначенные для конкретного использования или применения, выполнены. Примечания 1 Объективное свидетельство, необходимое для валидации, является результатом испытания или других форм определения, таких как осуществление альтернативных расчетов или анализ документов. 2 Слово «валидирован» используют для обозначения соответствующего статуса. 3 Условия, применяемые при валидации, могут быть реальными или смоделированными. [ГОСТ Р ИСО 9000-2015, статья 3.8.13]

3.6

деятельность по оценке соответствия первой стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, предоставляющее(ая) объект.

Примечание - Выражения «первая сторона», «вторая сторона» и «третья сторона», используемые для характеристики видов деятельности по оценке соответствия с учетом данного объекта, не следует путать с юридической идентификацией соответствующих сторон какого-либо контракта.

[ГОСТ ISO/IEC 17000-2012, пункт 2.2] 3.7 деятельность по оценке соответствия второй стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, заинтересованное(ая) в объекте как пользователь. Примечание — Лицами или организациями, осуществляющими деятельность по оценке соответствия второй стороной, являются, например, покупатели или пользователи продукции, или потенциальные потребители, желающие довериться системе менеджмента поставщика или организации, представляющей их интересы.

[Адаптировано из ГОСТ ISO/IEC 17000-2012, статья 2.3] 3.8 деятельность по оценке соответствия третьей стороной: Деятельность по оценке соответствия, которую осуществляет лицо или орган, независимое(ый) от лица или организации, предоставляющего(ей) объект, и от пользователя, заинтересованного в этом объекте. Примечание — Критерии независимости органов по оценке соответствия и органов по аккредитации представлены в международных стандартах и руководствах, применяемых с учетом характера их деятельности (см. библиографию).

[ГОСТ ISO/IEC 17000-2012, статья 2.4]

3.9

дополнительный демонстрационный набор данных: Дополнительный аннотированный набор данных, предоставляемый заказчиком работ, связанных с системой искусственного интеллекта при формировании уточненных требований к результатам работ с учетом конкретного функционала системы и условий ее эксплуатации. [Адаптировано из ГОСТ Р 59898-2021, пункт 9.1]

3.10

искусственный интеллект; ИИ: Способность технической системы имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. [ГОСТ Р 59276-2020, пункт 3.6]

3.11 кортеж: Конечная последовательность, допускающая повторения, элементов какого-нибудь множества.

3.12

лаборатория: Орган, который осуществляет один или несколько из следующих видов деятельности: - испытания; - калибровка; - отбор образцов, связанный с последующими испытаниями или калибровкой. ГОСТ ISO/IEC 17025-2019, [пункт 3.6]

3.13

образование: Единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства, а также совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции определенных объема и сложности в целях интеллектуального, духовно-нравственного, творческого, физического и (или) профессионального развития человека, удовлетворения его образовательных потребностей и интересов. [[1], статья 2, пункт 1]

Примечание - Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.14

полный демонстрационный набор данных: Совокупность базового и дополнительного наборов данных. [Адаптировано из ГОСТ Р 59898-2021, пункт 9.1]

3.15 приемная кампания: Система мероприятий образовательной организации, направленная на обеспечение контингентом реализуемых направлений подготовки.

3.16

профессиональное образование: Вид образования, который направлен на приобретение обучающимися в процессе освоения основных профессиональных образовательных программ знаний, умений, навыков и формирование компетенции определенных уровня и объема, позволяющих вести профессиональную деятельность в определенной сфере и (или) выполнять работу по конкретным профессии или специальности. [[1], статья 2, пункт 12]

Примечание - В Российской Федерации установлены следующие уровни профессионального образования:

а) среднее профессиональное образование;

б) высшее образование — бакалавриат;

в) высшее образование — специалитет, магистратура;

г) высшее образование — подготовка кадров высшей квалификации.

3.17

система искусственного интеллекта: Техническая система, в которой используются технологии искусственного интеллекта и обладающая искусственным интеллектом. [ГОСТ Р 59276-2020, пункт 3.16]

3.18 специалитет: Одноуровневая система получения пятилетнего высшего профессионального образования по специальности.

3.19 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.20

тестовый набор данных: Набор данных, формируемый в органах на основе полного демонстрационного набора данных и необходимый для проведения испытаний алгоритмов искусственного интеллекта. [Адаптировано из ГОСТ Р 59898-2021, пункт 9.1]

3.21

технологии искусственного интеллекта: Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека при решении задач компьютерного зрения, обработки естественного языка, распознавания и синтеза речи, поддержки принятия решений и других практически значимых задач обработки данных. [ГОСТ Р 59276-2020, пункт 3.20]

3.22 формирование контингента: Набор (прием) лиц в образовательное учреждение в рамках приемной кампании.

3.23 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема формирования контингента абитуриентов по программам бакалавриата и специалитета является системно связанной совокупностью программных решений, в том числе реализующих технологии ИИ, и направлена на достижение цели обеспечения результативной приемной кампании для названных уровней подготовки.

Ключевыми ее задачами могут являться:

• выполнение высшим учебным заведением контрольных цифр приема;
• обеспечение результативного и рационально распределенного по направлениям подготовки набора на платную форму обучения.

В рамках названной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения СИИ, в их числе:

• системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для прогнозирования результатов приемной кампании (количество абитуриентов, давших согласие на зачисление на то или иное направление подготовки <*>, или распределение приоритетов по направлениям подготовки абитуриентом) в зависимости от данных об абитуриентах (например, результаты единого государственного экзамена, совокупность направлений подготовки, на которые абитуриент претендует, и т.п.);

---

<*> Согласием на зачисление для лиц, поступающих в рамках контрольных цифр приема, является факт представления оригиналов документов об образовании, а для лиц, поступающих за счет средств физических или юридических лиц, является факт заключения договора об оказании платных образовательных услуг.

• СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для автоматизации консультирования абитуриентов;
• СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников для абитуриентов.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используются для того, чтобы по имеющейся информационной модели построить математическую модель и уже ее использовать для решения задачи.

Реализация функции прогнозирования результатов приемной кампании посредством применения СИИ может оказать существенное положительное влияние как на эффективное использование бюджетных средств, так и на увеличение объема внебюджетных поступлений.

Для обеспечения доверия к СИИ, применяемым для реализации функции прогнозирования результатов приемной кампании, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации остальных функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте также применима, при условии ее трансформации с учетом особенностей применяемых технологий ИИ.

5 Методика испытаний

5.1 Применяют положения ГОСТ Р 70946-2023 (5.1).

5.2 Применяют положения ГОСТ Р 70946-2023 (5.2).

5.3 Применяют положения ГОСТ Р 70946-2023 (5.3).

5.4 Применяют положения ГОСТ Р 70946-2023 (5.4).

5.5 Существенные условия эксплуатации

5.5.1 Применяют положения ГОСТ Р 70946-2023 (5.5.1).

5.5.2 Существенными условиями эксплуатации для формирования контингента абитуриентов по программам бакалавриата и специалитета могут являться данные:

• об образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, школа, колледж);
• участии в региональных программах развития обучающихся;
• о месте проживания/регистрации;
• выбранных профилях направлений подготовки бакалавриата и специалитета;
• приеме на направления подготовки бакалавриата и специалитета за прошлые годы;
• дополнительных вступительных испытаниях (структура, состав);
• пороговых значениях баллов единого государственного экзамена для возможности участия в конкурсе на поступление на направления подготовки бакалавриата и специалитета;
• соответствующем профильном среднем профессиональном образовании, позволяющим преодолеть ограничения поступления на отдельные направления подготовки (например, для поступления на направление подготовки бакалавриата 40.03.01 «Юриспруденция» заочной формы обучения необходимо наличие у абитуриента диплома среднего профессионального образования по специальности из укрупненной группы 40.00.00 или диплома о высшем образовании);

- наличии у направления/специальности профессионально-общественной аккредитации;

• наличии у направления/специальности международной аккредитации;
• месте вуза в международных и национальных рейтингах (например, Round University Rankings, RankPro, Webometrics Ranking of World Universities, Top Universities by Citations in Top Google Scholar profiles, UI GreenMetric, RAEX, Интерфакс, «Три миссии университета»);
• целевом наборе;
• предполагаемых заказчиках целевого обучения;
• стоимости, наличии и размере скидок на оплату обучения по договору;
• общежитии (его наличие, количество мест, стоимость и другие условия проживания);
• наличии поощрений для поступивших абитуриентов на направления подготовки бакалавриата и специалитета и имеющих дополнительные достижения, дающие особые права при зачислении;
• гражданстве абитуриентов;
• льготах (например, лица с ограниченными физическими возможностями, дети, оставшиеся без попечения родителей, сироты и т.д.).

5.5.3 Применяют положения ГОСТ Р 70946-2023 (5.5.3).

5.6 Формирование тестового набора данных

5.6.1 Применяют положения ГОСТ Р 70946-2023 (5.6.1).

5.6.2 Базовый демонстрационный набор данных изложен в 5.6.2.1, 5.6.2.2.

Примечание - Базовый демонстрационный набор данных прилагается на диске к настоящему стандарту.

5.6.2.1 Применяют положения ГОСТ Р 70946-2023 (5.6.2.1).

5.6.2.2 Базовый демонстрационный набор данных содержит данные об абитуриентах бакалавриата и специалитета и о направлениях обучения:

• идентификатор абитуриента (зашифрован);
• число баллов (в диапазоне 0 — 100) за первый предмет по результатам ЕГЭ или вступительных испытаний;
• число баллов (в диапазоне 0 — 100) за второй предмет по результатам ЕГЭ или вступительных испытаний;
• число баллов (в диапазоне 0 — 100) за третий предмет по результатам ЕГЭ или вступительных испытаний;
• номер приоритета (в диапазоне 1 — 10) направления подготовки, указанного в поле «направление/специальность»;
• число баллов за индивидуальные достижения (медали, олимпиады и т.п.);
• вид документа об образовании (целочисленный идентификатор вида документа об образовании);
• уровень подготовки (два значения: «бакалавриат» и «специалитет»);
• направление/специальность (код наименования направления подготовки, на которое подаются документы абитуриентом);
• вид образования [строковое представление уровня образования в соответствии с поданными документами (например, «среднее общее», «среднее профессиональное»)];
• набор вступительных испытаний (строковое представление наименований предметов, баллы по которым представлены в полях «Предмет1», «Предмет2», «Предмет3»);
• основание поступления [два значения: «1» — «бюджетная основа»; «0» — «договорная основа»];
• форма обучения [на какую форму обучения поданы документы для участия в конкурсе. Два значения: «1» — «Очное»; «0» — «Заочное»];
• план приема (количество мест на выбранное направление подготовки);
• текущее состояние участия в конкурсе: «зачислен», «отозвано», «подано»;
• согласие на зачисление <*> (отмечается подано ли согласие на зачисление. Значения «1» соответствует «Да», «0» — «Нет»).

5.6.3 Применяют положения ГОСТ Р 70946-2023 (5.6.3).

5.6.4 Применяют положения ГОСТ Р 70946-2023 (5.6.4).

5.6.5 Применяют положения ГОСТ Р 70946-2023 (5.6.5).

5.6.6 Испытательная лаборатория, с учетом положений 5.2 - 5.6 и раздела 6, должна, по согласованию с заказчиком, определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Применяют положения ГОСТ Р 70946-2023 (5.7).

5.8 Применяют положения ГОСТ Р 70946-2023 (5.8).

6 Примеры интеллектуальных систем и задач для формирования контингента обучающихся по направлениям бакалавриата и специалитета

6.1 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, перечислены в 6.1.1, 6.1.2.

6.1.1 Система прогнозирования решения абитуриента о согласии на зачисление (функционирующая в интересах образовательной организации) на основе его баллов единого государственного экзамена, вступительных испытаний, баллов за индивидуальные достижения и других данных, представленных в тестовом наборе

Значениями целевой функции в такой системе могут служить значения поля «СогласиеНаЗачисление» <*> базового демонстрационного набора данных.

6.1.2 Система предсказания зачисления абитуриента на программу бакалавриата или специалитета по результатам приемной кампании (функционирующая в интересах абитуриента) на основе его баллов единого государственного экзамена, количества мест на направление подготовки и других данных, представленных в тестовом наборе

Значением целевой функции в такой системе будет служить значение поля «Состояние» базового демонстрационного набора данных.

6.2 Система, с помощью которой может быть решена задача с использованием базового демонстрационного набора данных со значениями целевой функции, вычисляемых на основе полей базового демонстрационного набора данных.

Данная система является рекомендательной системой (функционирующей в интересах абитуриента) оптимальной расстановки приоритетов по направлениям подготовки на основе его баллов Единого государственного экзамена, вступительных испытаний, баллов за индивидуальные достижения, количества мест на направление подготовки. Значениями целевой функции в такой системе будет служить значение, вычисляемое на основе полей «Состояние», «Приоритет» базового демонстрационного набора данных.

6.3 Система, с помощью которой может быть решена задача с использованием базового демонстрационного набора данных и дополнительных данных.

К данной системе относится комплекс рекомендательных и обучающих систем по индивидуализированному подбору образовательного контента и адаптивного сопровождения самоподготовки абитуриентов к поступлению и дальнейшему обучению на выбранных образовательных программах с целью предварительной профориентации и создания предпосылок для успешного дальнейшего обучения.

7 Описание базового демонстрационного набора данных

Описание полей набора данных, сформированный на основе данных приемных кампаний по направлениям бакалавриата и специалитета представлено в таблице 1.

Таблица 1

Описание полей набора данных

Наименование поля	Тип данных	Описание
Id	Целочисленный	Идентификатор абитуриента (зашифрован)
Предмет1	Целочисленный	Число баллов (в диапазоне 0 — 100) за первый предмет по результатам ЕГЭ или вступительных испытаний
Предмет2	Целочисленный	Число баллов (в диапазоне 0 — 100) за второй предмет по результатам ЕГЭ или вступительных испытаний
Предмет3	Целочисленный	Число баллов (в диапазоне 0 — 100) за третий предмет по результатам ЕГЭ или вступительных испытаний
Приоритет	Целочисленный	Номер приоритета (в диапазоне 1 — 10) направления подготовки, указанного в поле «Направление/специальность»
СуммаБалловЗаИндивидуальныеДостижения (конкурсные)	Целочисленный	Число баллов за индивидуальные достижения (медали, олимпиады и т.п.)
ВидДокументаОбОбразовании	Целочисленный	Вид документа об образовании (целочисленный идентификатор вида документа об образовании)
УровеньПодготовки	Строковый	Уровень подготовки (два значения: «бакалавриат» и «специалитет»)
Направление/Специальность	Целочисленный	Код наименования направления подготовки, на которое подаются документы абитуриентом
ВидОбразования	Строковый	Строковое представление уровня образования в соответствии с поданными документами (например, «среднее общее», «среднее профессиональное»)
НаборВступительныхИспытаний	Строковый	Строковое представление наименований предметов, баллы по которым представлены в полях «Предмет1», «Предмет2», «Предмет3»
ОснованиеПоступления	Целочисленный	Основание поступления (два значения: «1» — «бюджетная основа»; «0» — «договорная основа»)
ФормаОбучения	Целочисленный	Форма обучения (на какую форму обучения поданы документы для участия в конкурсе. Два значения «1» — «очное»; «0» — «заочное»)
КоличествоМест	Целочисленный	План приема (количество мест на выбранное направление подготовки)
Состояние	Строковый	Текущее состояние участия в конкурсе: «зачислен», «отозвано», «подано»
СогласиеНаЗачисление <1>	Целочисленный	Согласие на зачисление (отмечается подано ли согласие на зачисление. Значения «1» соответствует «Да», «0» — «Нет»)
<1> Согласием на зачисление для лиц, поступающих в рамках контрольных цифр приема, является факт представления оригиналов документов об образовании, а для лиц, поступающих за счет средств физических или юридических лиц, является факт заключения договора об оказании платных образовательных услуг.

В базовом демонстрационном наборе данных каждый кортеж соответствует факту подачи абитуриентом заявления на поступление на одно направление подготовки. Если абитуриент подает заявления на несколько направлений подготовки, то каждому из таких заявлений соответствует свой кортеж в базовом демонстрационном наборе данных. Поэтому в базовом демонстрационном наборе данных одному абитуриенту может соответствовать несколько кортежей.

БИБЛИОГРАФИЯ

[1]	Федеральный закон от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации»

УДК 004.8:004.6:006.354	ОКС 35.240.90
Ключевые слова: искусственный интеллект, технологии искусственного интеллекта, функциональная подсистема, система искусственного интеллекта, абитуриенты бакалавриата, абитуриенты специалитета, методика испытаний, набор данных

---