ГОСТ Р 70951-2023. Национальный стандарт Российской Федерации. Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования. Общие положения и методика испытаний

(утв. и введен в действие Приказом Росстандарта от 18.10.2023 № 1179-ст)

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Дата введения

Предисловие

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. № 1179-ст

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся по программам дополнительного профессионального образования.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта, используемых при управлении успеваемостью обучающихся по программам дополнительного профессионального образования в рамках соответствующей функциональной подсистемы учебного заведения профессионального образования.

Основной задачей применения технологий искусственного интеллекта в рамках определенной подсистемы является прогнозирование результатов обучения и удовлетворенности обучающихся для повышения эффективности управления руководством учебного заведения профессионального образования. В связи с этим критически значимым является обеспечение должного уровня доверия к используемым технологиям искусственного интеллекта. С целью разработки единых подходов к испытанию системы искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов «Технологии искусственного интеллекта в образовании».

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам дополнительного профессионального образования в учебных заведениях профессионального образования.

Примечание - Такие испытания может проводить:

• внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);
• внешняя испытательная лаборатория, действующая по поручению организации — заказчика СИИ (оценка соответствия второй стороной);
• орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

Настоящий стандарт применим для организаций, осуществляющих подготовку по программам дополнительного профессионального образования, например: для колледжей, вузов, как государственных, так и негосударственных.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

аннотирование данных, разметка данных: Процесс маркирования данных, выполняемый для того, чтобы сделать данные пригодными для машинного обучения. [ГОСТ Р 59898-2021, пункт 3.1]

3.2

базовый демонстрационный набор данных: Образцовый аннотированный набор данных, сформированный в соответствии с нормативно-техническим документом, устанавливающим унифицированные требования к проведению тестирования (испытаний) системы искусственного интеллекта определенного типа. [ГОСТ Р 59898-2021, пункт 9.1]

3.3

валидация: Подтверждение посредством представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены. Примечания 1 Объективное свидетельство, необходимое для валидации, является результатом испытания или других форм определения, таких как осуществление альтернативных расчетов или анализ документов. 2 Слово «валидирован» используют для обозначения соответствующего статуса. 3 Условия, применяемые при валидации, могут быть реальными или смоделированными. [ГОСТ Р ИСО 9000-2015, статья 3.8.13]

3.4

деятельность по оценке соответствия первой стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, предоставляющее(ая) объект.

Примечание - Выражения «первая сторона», «вторая сторона» и «третья сторона», используемые для характеристики видов деятельности по оценке соответствия с учетом данного объекта, не следует путать с юридической идентификацией соответствующих сторон какого-либо контракта.

[ГОСТ ISO/IEC 17000-2012, статья 2.2] 3.5 деятельность по оценке соответствия второй стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, заинтересованное(ая) в объекте как пользователь. Примечание — Лицами или организациями, осуществляющими деятельность по оценке соответствия второй стороной, являются, например, покупатели или пользователи продукции, или потенциальные потребители, желающие довериться системе менеджмента поставщика или организации, представляющей их интересы.

[ГОСТ ISO/IEC 17000-2012, статья 2.3] 3.6 деятельность по оценке соответствия третьей стороной: Деятельность по оценке соответствия, которую осуществляет лицо или орган, независимое(ый) от лица или организации, предоставляющего(ей) объект, и от пользователя, заинтересованного в этом объекте. Примечание — Критерии независимости органов по оценке соответствия и органов по аккредитации представлены в международных стандартах и руководствах, применяемых с учетом характера их деятельности.

[ГОСТ ISO/IEC 17000-2012, статья 2.4]

3.7

дополнительное образование: Вид образования, который направлен на всестороннее удовлетворение образовательных потребностей человека в интеллектуальном, духовно-нравственном, физическом и (или) профессиональном совершенствовании и не сопровождается повышением уровня образования. [[1], статья 2, пункт 14]

Примечание - Дополнительное образование включает в себя такие подвиды, как дополнительное образование детей и взрослых и дополнительное профессиональное образование.

3.8

дополнительное профессиональное образование: Дополнительное профессиональное образование, направленное на удовлетворение образовательных и профессиональных потребностей, профессиональное развитие человека, обеспечение соответствия его квалификации меняющимся условиям профессиональной деятельности и социальной среды. [[1], статья 76]

3.9

дополнительный демонстрационный набор данных: Дополнительный аннотированный набор данных, предоставляемый заказчиком работ, связанных с системой искусственного интеллекта при формировании уточненных требований к результатам работ с учетом конкретного функционала системы и условий ее эксплуатации. [Адаптировано из ГОСТ Р 59898-2021, пункт 9.1]

3.10

искусственный интеллект; ИИ: Способность технической системы имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. [ГОСТ Р 59276-2020, пункт 3.6]

3.11 кортеж: Конечная последовательность, допускающая повторение элементов какого-нибудь множества X.

3.12

лаборатория: Орган, который осуществляет один или несколько из следующих видов деятельности: - испытания; - калибровка; - отбор образцов, связанный с последующими испытаниями или калибровкой. ГОСТ ISO/IEC 17025-2019, [пункт 3.6]

3.13

образование: Единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства, а также совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции определенных объема и сложности в целях интеллектуального, духовно-нравственного, творческого, физического и (или) профессионального развития человека, удовлетворения его образовательных потребностей и интересов. [[1], статья 2, пункт 1]

Примечание - Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.14

полный демонстрационный набор данных: Совокупность базового и дополнительного наборов данных. [ГОСТ Р 59898-2021, пункт 9.1]

3.15

система искусственного интеллекта: Техническая система, в которой используются технологии искусственного интеллекта и обладающая искусственным интеллектом. [ГОСТ Р 59276-2020, пункт 3.16]

3.16 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.17

тестовый набор данных: Набор данных, формируемый в органах на основе полного демонстрационного набора данных и необходимый для проведения испытаний алгоритмов искусственного интеллекта. [Адаптировано из ГОСТ Р 59898-2021, пункт 9.1]

3.18

технологии искусственного интеллекта: Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека при решении задач компьютерного зрения, обработки естественного языка, распознавания и синтеза речи, поддержки принятия решений и других практически значимых задач обработки данных. [ГОСТ Р 59276-2020, пункт 3.20]

3.19 успеваемость: Степень усвоения обучающимися знаний, умений и навыков, с точки зрения требований, установленных нормативными документами образовательной организации.

3.20 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема управления успеваемостью обучающихся по программам дополнительного профессионального образования является системно связанной совокупностью программных решений, в том числе реализующих технологии ИИ, и направлена на достижение цели обеспечения эффективного управления успеваемостью обучающихся для определенного уровня подготовки.

Ключевыми ее задачами могут являться:

• управление показателями контингента обучающихся по программам дополнительного профессионального образования руководством учебного заведения профессионального образования;
• управление результатами обучения обучающихся по программам дополнительного профессионального образования руководством учебного заведения профессионального образования;
• прогнозирование у обучающихся по программам дополнительного профессионального образования уровня удовлетворенности результатами обучения;
• прогнозирование у обучающихся по программам дополнительного профессионального образования перспектив успешного трудоустройства.

В рамках определенной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения СИИ, в их числе:

• системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для прогнозирования числа успешно завершивших обучение по программам дополнительного профессионального образования;

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для прогнозирования у обучающихся по программам дополнительного профессионального образования уровня удовлетворенности результатами обучения;

• СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для автоматизации консультирования обучающихся по программам дополнительного профессионального образования;
• СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников для обучающихся по программам дополнительного профессионального образования.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели построить математическую модель и использовать последнюю для решения задачи.

Успешная реализация функции управления успеваемостью обучающихся посредством применения СИИ может оказать существенное положительное влияние на показатели мониторинга учебного заведения профессионального образования.

Основными формами дополнительного профессионального образования являются повышение квалификации и профессиональная переподготовка.

Для обеспечения доверия к СИИ, применяемым для реализации управления успеваемостью обучающихся, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации других функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте, также применима при условии ее трансформации с учетом особенностей применяемых технологий ИИ.

5 Методика испытаний

5.1 Применяют положения ГОСТ Р 70946-2023 (5.1).

5.2 Применяют положения ГОСТ Р 70946-2023 (5.2).

5.3 Применяют положения ГОСТ Р 70946-2023 (5.3).

5.4 Применяют положения ГОСТ Р 70946-2023 (5.4).

5.5 Существенные условия эксплуатации

5.5.1 Применяют положения ГОСТ Р 70946-2023 (5.5.1).

5.5.2 Существенными условиями эксплуатации для управления успеваемостью обучающихся по программам дополнительного профессионального образования могут являться данные:

• о форме дополнительного профессионального образования (например, повышение квалификации, профессиональная переподготовка);

- об обучающихся (гражданство);

• образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, колледж, университет);
• о подразделении (институте, факультете, кафедре), реализующем программу дополнительного профессионального образования;
• об участии в региональных программах профессионального развития населения;
• об опыте профессиональной деятельности;
• о программе дополнительного профессионального образования (вид программы, наименование области профессиональной деятельности, группа специальностей, наименование квалификации/профессии, специальности, форма обучения);
• об источнике финансирования обучения и т.д.

5.5.3 Применяют положения ГОСТ Р 70946-2023 (5.5.3).

5.6 Формирование тестового набора данных

5.6.1 Применяют положения ГОСТ Р 70946-2023 (5.6.1).

5.6.2 Базовый демонстрационный набор данных изложен в 5.6.2.1, 5.6.2.2, 5.6.2.3.

Примечание - Базовые демонстрационные наборы данных прилагаются на диске к настоящему стандарту.

5.6.2.1 Этот набор данных получен из соответствующих естественных данных, которые подвергнуты предварительной обработке, включавшей в себя аугментацию, полную анонимизацию данных обучающихся, исключение из набора данных специфических данных (например, региональной информации), способных отрицательно повлиять на применение настоящего стандарта на национальном уровне. Исходя из специфики дополнительного профессионального образования в настоящем стандарте базовый демонстрационный набор разделен на две части: базовый демонстрационный набор данных о повышении квалификации и базовый демонстрационный набор о профессиональной переподготовке.

5.6.2.2 Базовый демонстрационный набор данных о повышении квалификации содержит данные как о самих обучающихся и о программах обучения, так и о результатах обучения:

• уникальный идентификатор обучающегося по направлению дополнительного профессионального образования (зашифрован);
• пол обучающегося;
• наименование программы дополнительного профессионального образования;
• дата рождения обучающегося;
• город его проживания;
• место работы обучающегося;
• занимаемая должность;
• подано ли заявление на программу дополнительного профессионального образования (значение «1» или «0» — подано или не подано заявление);
• зачислен ли для обучения по программе дополнительного профессионального образования;
• успешно ли закончил обучение по программе дополнительного профессионального образования;
• удовлетворенность обучающегося программой, по которой он обучался (значения в диапазоне от 0 до 5 включительно: «0» — «обучающийся не проходил опрос», «1» — «практически не удовлетворен», «2» — «удовлетворен в незначительной степени», «3» — «удовлетворен на достаточном уровне», «4» — «удовлетворен в значительной степени», «5» — «удовлетворен в полной мере»).

5.6.2.3 Базовый демонстрационный набор данных о профессиональной переподготовке содержит данные как о самих обучающихся и о программах обучения, так и о результатах обучения:

• наименование потока обучающихся в рамках одного курса;
• уникальный идентификатор обучающегося по направлению дополнительного профессионального образования (зашифрован);
• наименование программы профессиональной переподготовки;
• наименование предмета (для каждого реализованного в рамках курса предмета);
• тип аттестации по предмету (для каждого реализованного в рамках курса предмета);
• оценка слушателя по предмету (для каждого реализованного в рамках курса предмета).

5.6.3 Применяют положения ГОСТ Р 70946-2023 (5.6.3).

5.6.4 Применяют положения ГОСТ Р 70946-2023 (5.6.4).

5.6.5 Применяют положения ГОСТ Р 70946-2023 (5.6.5).

5.6.6 Испытательная лаборатория, основываясь на положениях 5.2 - 5.6 и раздела 6, должна по согласованию с заказчиком определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Применяют положения ГОСТ Р 70946-2023 (5.7).

5.8 Применяют положения ГОСТ Р 70946-2023 (5.8).

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам дополнительного профессионального образования

6.1 Примеры систем, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, представленного в 5.6.2.2, 5.6.2.3, перечислены в 6.1.1 - 6.1.3.

6.1.1 СИИ, построенная на методах интеллектуального анализа данных, для прогнозирования количества успешно завершивших обучение по программе дополнительного профессионального образования

Значениями целевой функции в такой системе могут служить значения поля базового демонстрационного набора данных, представленного в 5.6.2.2: «Выпустился», и в 5.6.2.3: «ОценкаПредмета».

6.1.2 СИИ, построенная на методах интеллектуального анализа данных, для выявления программ дополнительного профессионального образования, усвоение которых может вызывать трудности у следующих потоков

Значениями целевой функции в такой системе могут служить значения поля базового демонстрационного набора данных, представленного в 5.6.2.2: «Выпустился», и в 5.6.2.3: «ОценкаПредмета».

6.1.3 Рекомендательная система, построенная на методах интеллектуального анализа данных, определяющая пол, место работы, должность для рекомендации обучающемуся выбора программы дополнительного профессионального образования

Значением целевой функции в такой системе могут служить значение поля базового демонстрационного набора данных, представленного в 5.6.2.2, — «УдовлетворенностьПрограммой».

6.2 Система, с помощью которой может быть решена задача с использованием базового демонстрационного набора данных, представленного в 5.6.2.2, 5.6.2.3, и дополнительных данных

Система, построенная на методах интеллектуального анализа данных для рекомендации наиболее востребованных программ дополнительного профессионального образования.

7 Описание базового демонстрационного набора данных

Описание полей базового демонстрационного набора данных о повышении квалификации, сформированных на основе данных успеваемости обучающихся по программам курсов повышения квалификации представлено в таблице 1.

Таблица 1

Описание полей набора данных о повышении квалификации

Наименование поля	Тип данных	Описание
ИдентификаторОбучающегося	Целочисленный	Уникальный идентификатор обучающегося по направлению дополнительного профессионального образования зашифрован
Пол	Целочисленный	1 — мужской пол 2 — женский пол
НаименованиеПрограммы	Строковый	Наименование программы повышения квалификации
ДатаРождения	Строковый	Дата рождения
ГородПроживания	Строковый	Город проживания
МестоРаботы	Строковый	Место работы обучающегося
Должность	Строковый	Занимаемая должность
ЗаявкаПодана	Целочисленный	Подано ли заявление на программу дополнительного профессионального образования: «1» — подано заявление; «0» — не подано заявление
ПринятНаОбучение	Целочисленный	Слушатель зачислен для обучение по программе дополнительного образования
Выпустился	Целочисленный	Слушатель успешно закончил обучение по программе дополнительного образования
УдовлетворенностьПрограммой	Целочисленный	Удовлетворенность слушателя программой, по которой он обучался (диапазон значений от 0 — 5 включ.). Значения: «0» — «обучающийся не проходил опрос», «1» — «практически не удовлетворен», «2» — «удовлетворен в незначительной степени», «3» — «удовлетворен на достаточном уровне», «4» — «удовлетворен в значительной степени», «5» — «удовлетворен в полной мере»

В базовом демонстрационном наборе данных о профессиональной переподготовке каждый кортеж представляет данные о профессиональной переподготовке одного обучающегося и состоит из стартового фрагмента, содержащего данные о номере потока обучения, идентификатора обучающегося и наименования программы профессиональной переподготовки и нескольких последующих фрагментов, в каждом из которых представлены данные о наименовании пройденного предмета, типа аттестации и полученной оценке. Финальный фрагмент кортежа содержит информацию об итоговой аттестации обучающегося.

Наименование поля	Тип данных	Описание
НомерПотока	Целочисленный	Наименование потока обучающихся в рамках одного курса
Идентификатор	Целочисленный	Уникальный идентификатор обучающегося по направлению дополнительного профессионального образования (зашифрован)
НаименованиеПрограммы	Строковый	Наименование программы профессиональной переподготовки
НаименованиеПредмета	Строковый	Наименование предмета или формы итоговой аттестации для каждого реализованного в рамках курса предмета или формы итоговой аттестации (например, квалификационный экзамен)
ТипАттестацииПредмета	Строковый	Тип аттестации по предмету для каждого реализованного в рамках курса предмета (значения — «Зачет», «Экзамен»)
ОценкаПредмета	Целочисленный	Оценка слушателя по предмету в баллах, для каждого реализованного в рамках курса предмета

Библиография

[1]	Федеральный закон от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации»

УДК 004.8:004.6:006.354	ОКС 35.240.90
Ключевые слова: искусственный интеллект, технологии искусственного интеллекта, функциональная подсистема, система искусственного интеллекта, обучающиеся, программа дополнительного профессионального образования, методика испытаний, набор данных

---