ГОСТ Р 54837-2011 (ИСО/МЭК 19796-3:2009). Национальный стандарт Российской Федерации. Информационная технология. Обучение, образование и подготовка. Менеджмент качества, обеспечение качества и метрики. Часть 3. Эталонные методы и метрики

(утв. и введен в действие Приказом Росстандарта от 13.12.2011 № 1239-ст)

Утвержден и введен в действие

ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ

35.240.99

Дата введения

Предисловие

1 ПОДГОТОВЛЕН Федеральным государственным бюджетным образовательным учреждением высшего профессионального образования «Московский государственный технологический университет „СТАНКИН“ на основе собственного перевода на русский язык стандарта, указанного в пункте 4»

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 461 «Информационно-коммуникационные технологии в образовании (ИКТО)»

4 Настоящий стандарт является модифицированным по отношению к международному стандарту ИСО/МЭК 19796-3:2009 «Информационная технология. Обучение, образование и подготовка. Менеджмент качества, обеспечение качества и метрики. Часть 3. Эталонные методы и метрики» (ISO/IEC 19796-3:2009 «Information technology — Learning, education and training — Quality management, assurance and metrics — Part 3: Reference methods and metrics», MOD). При этом потребности национальной системы образования и особенности национальной стандартизации учтены путем изменения содержания отдельных структурных элементов, которые выделены курсивом или заключены в рамку из тонких линий, а информация с объяснением причин включения этих положений приведена в указанных структурных элементах в виде примечаний.

Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте, приведены в дополнительном приложении ДА.

Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта приведено в дополнительном приложении ДБ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

ИСО (Международная организация по стандартизации) и МЭК (Международная электротехническая комиссия) являются частью специализированной системы всемирной стандартизации. Национальные организации, которые являются участниками ИСО или МЭК, принимают участие в разработке международных стандартов посредством технических комитетов, основанных соответствующими организациями для работы в определенных областях технической деятельности. Сотрудничество технических комитетов лежит в сфере общих интересов. Другие международные организации, как государственные, так и коммерческие, поддерживают связь с ИСО и МЭК и также участвуют в их работе. В сфере информационных технологий ИСО и МЭК создали объединенный технический комитет — ИСО/МЭК СТК 1.

Международные стандарты разрабатываются в соответствии с правилами, описанными в директивах ИСО/МЭК, часть 2.

Главная задача объединенного технического комитета — подготовка международных стандартов. Предварительные проекты международных стандартов, утвержденные объединенным техническим комитетом, передаются в государственные организации для голосования. Для публикации международного стандарта требуется как минимум 75% голосов организаций, участвующих в голосовании.

Следует обратить внимание, что некоторые части международного стандарта могут быть объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию некоторых или всех патентных прав.

Разрабатываемый ПК 36 международный стандарт ИСО/МЭК 19796 состоит из пяти частей, объединенных общим названием «Информационная технология. Обучение, образование и подготовка. Менеджмент качества, обеспечение качества и метрики». В настоящее время разработаны две части указанного международного стандарта:

• часть 1. Общий подход (ИСО/МЭК 19796-1:2005);
• часть 3. Эталонные методы и метрики (ИСО/МЭК 19796-3:2009).

На стадии разработки следующие три части стандарта:

• часть 2. Гармонизированная модель качества;
• часть 4. Лучшие практики и руководство по реализации (Технический отчет);
• часть 5. Руководство по использованию ИСО/МЭК 19796-1 (Технический отчет).

Настоящий стандарт является модифицированной версией ИСО/МЭК 19796-3:2009, из которого исключен ряд информационных приложений и включены комментарии и дополнения, учитывающие специфику законодательной базы Российской Федерации и совместимость с комплексом национальных стандартов, подготовленных ТК 461 «Информационно-коммуникационные технологии в образовании (ИКТО)».

1 Область применения

В ГОСТ Р 53625 описаны процессы жизненного цикла электронного обучения и представлена эталонная модель, имеющая высокий уровень абстракции, которую нужно адаптировать к конкретной организации и к конкретной ситуации. Для упрощения процедуры адаптации в настоящем стандарте определены две эталонные модели менеджмента качества и обеспечения качества:

• эталонная модель для методов;
• эталонная модель для метрик.

Настоящий стандарт содержит эталонные методы и эталонные метрики, используемые в процессе жизненного цикла. В нем также приведены коллекции методов и метрик, которые описаны в общем виде и могут использоваться для конкретных контекстов. Для каждого жизненного цикла электронного обучения следует указать набор возможных методов и метрик. Этот набор методов и метрик может использоваться при разработке и определении индивидуального подхода к качеству, основанному на некоторых целях его обеспечения.

Обеспечение качества является частью его менеджмента, особенно при реализации управления качеством. Поэтому обеспечение качества представляет собой заметную и важную деятельность для выполнения и подтверждения менеджмента качества. Конечно, для реализации менеджмента качества важны и другие действия, связанные с качеством, — планирование, контроль и улучшение качества. В то время как эти три вида деятельности относятся к продуктам, процессам и их разработке, обеспечение качества базируется на подтверждении и показаниях для внутренних и внешних заинтересованных сторон.

Другими словами, с точки зрения обеспечения качества его менеджмент является незаменимым при приобретении учебных курсов, систем обучения или предоставлении услуг по обучению или обмену ими. Только после того, как разработчики, поставщики и преподаватели продемонстрируют и обеспечат доставку образовательной и технологической информации, пользователи и заинтересованные стороны будут уверены в необходимости приобретения продукта и взаимодействия с системами и людьми.

В настоящем стандарте для демонстрации конкретных методов обеспечения качества, а также информирования разработаны следующие компоненты:

• формат описания методов;
• формат описания метрик;
• коллекция эталонных методов, которые могут использоваться для менеджмента и обеспечения качества в различных контекстах;
• коллекция эталонных метрик и показателей, которые могут использоваться для измерения качества в процессах, компонентах и услугах.

ГОСТ Р 53625 содержит формат описания и структуру процессов (эталонная структура для описания подходов к качеству) в виде единой системы подходов к качеству (ЕСПК); эти процессы можно использовать для описания и разработки методов обеспечения качества. Структура ЕСПК является только основой разработки качества — она не предоставляет ни специальных методов и метрик для конкретных целей, ни инструментов и процедур.

Цель настоящего стандарта состоит в расширении ЕСПК для создания полной системы качества, поддерживающей реализацию систем менеджмента и обеспечения качества заинтересованными сторонами.

Для каждого процесса должен быть задан набор возможных методов и метрик, который может использоваться при разработке индивидуальных подходов к качеству. Для ясного понимания этих методов и метрик, их взаимосвязи и согласования необходимо гармонизированное описание. Коллекция методов и метрик, как и методы обеспечения качества, должны предусматривать возможность расширения.

2 Соответствие

Цель настоящего стандарта — дополнение ЕСПК и построение полной системы менеджмента качества для внедрения заинтересованными сторонами.

Для каждого процесса менеджмента качества и обеспечения качества существует набор методов и метрик, которые могут быть использованы для построения индивидуального подхода к качеству. Согласованное описание указанных методов и метрик необходимо для четкого понимания, коммуникации и соглашения. Коллекции методов и метрик, таких как подходы к качеству, должны быть расширяемыми.

Метод или метрика соответствует настоящему стандарту, если использует соответствующую эталонную модель (например, раздел 7 для методов и раздел 8 для метрик) или экземпляр формата описания (как указано в таблице 1 для методов и в таблице 2 - для метрик). Соответствующее описание может содержать описание процессов или подходов. Иными словами, оно должно быть дополняемым и может содержать дополнительные данные. Если метод или метрика относится к эталонной коллекции, необходимо приводить ссылку для облегчения проверки соответствия.

3 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 53625-2009 Информационная технология. Обучение, образование и подготовка. Менеджмент качества, обеспечение качества и метрики. Часть 1. Общий подход (ИСО/МЭК 19796-1:2005, MOD)

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

4 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

4.1 атрибут (attribute): Измеряемое физическое или абстрактное свойство сущности.

Примечание - Атрибут — это свойство или характеристика сущности, которая может быть количественно или качественно распознана человеком или автоматическими средствами. У сущности может быть много атрибутов, но интерес для измерения могут представлять только некоторые из них.

4.2 измерение (measurement): Последовательность действий для определения величины показателя.

Примечания

1 Измерение — это ключевое действие в менеджменте и обеспечении качества. Измерение в особенности необходимо для аудита и оценки качества.

2 Измерение — это процесс экспериментального получения данных о величине качества.

3 Измерение предполагает использование процедуры измерения, основанной на теоретической модели. На практике измерение предполагает наличие калиброванной системы измерений, которая затем должна быть проверена.

4.3 метод (в подходах к качеству) (method): Инструмент или средство обеспечения или менеджмента качества в процессах.

Примечание - Методы могут быть физическими, абстрактными или концептуальными. Существуют разные типы методов, определяемых предметами науки управления, педагогики, психологии, инженерии, статистики, биологии и т.д.

4.4 метрика (в подходах к качеству) (metric): Материальная мера некоторых аспектов характеристик качества.

Примечания

1 Другими словами, это способ назначения определенного значения с использованием методов измерения или тестирования для количественной оценки объекта качества с точки зрения таких характеристик качества, как шкала, критерий, степень, вес, магнитуда, отношение или утвержденная норма и т.д.

2 В Руководстве [1] «материальная мера» определяется как устройство, постоянно воспроизводящее или поставляющее во время своего использования количество заданных видов, каждое с назначенным значением.

4.5 шкала (scale): Упорядоченный набор значений, непрерывный или дискретный, или набор категорий, на которых отображается атрибут.

Примечание - Тип шкалы зависит от природы связей между значениями шкалы. Обычно определяют четыре типа шкал.

Номинальная — значения измерений структурируются по категориям, например классификация дефектов по их типам.

Порядковая — значения измерений являются упорядоченными, например назначение дефектам уровня серьезности.

Интервальная — значения измерений равноудалены в соответствии с равными количествами атрибута, например: цикломатическая сложность обладает минимальным значением «один», но каждое увеличение представляет дополнительный путь.

Пропорциональная — значения измерений равноудалены в соответствии с равными количествами атрибута, где значение «ноль» соответствует отсутствию атрибута, например размер программного компонента в терминах линии связи.

Метод измерения обычно влияет на тип шкалы, которая может надежно использоваться с данным атрибутом, например: субъективные методы измерения обычно поддерживают только порядковые или номинальные шкалы.

4.6

валидация (validation): Подтверждение посредством представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены. [ГОСТ Р ИСО 9000-2008, статья 3.8.5]

4.7

верификация (verification): Подтверждение посредством представления объективных свидетельств того, что установленные требования были выполнены. [ГОСТ Р ИСО 9000-2008, статья 3.8.4]

5 Соответствие подходов к качеству

5.1 Концептуальная модель серии ИСО/МЭК 19796

Методы, приведенные в ЕСПК, обеспечивают ориентированную на процессы структуру разработки системы обеспечения качества в организации. Главными проблемами являются поиск и реализация методов обеспечения качества и достижения целей организации в области качества. Необходимо определить адекватные метрики для измерения успеха подхода к качеству, то есть степени реализации этих целей в области качества.

Предполагается, что серия ИСО/МЭК 19796 состоит из четырех частей. Связь этих частей показана на рисунке 1. Понятие качества — это неоднозначное понятие, обладающее множеством аспектов. Часть 1 рассматривает понятие качества с точки зрения процесса жизненного цикла и находится в центре рисунка. Поток части 1 обозначен буквой «a» и пунктирными кривыми. Информация о качестве, использующая часть 1, полезна для пользователя, заинтересованных сторон, а также институту или самому разработчику.

Часть 2 обеспечивает гармонизацию между различными типами подходов к качеству и включает ракурс процесса жизненного цикла. Поток части 2 обозначен буквой «e» и полужирными линиями. Часть 3 содержит подробные сведения о методах и метриках, а также элементы, связанные с частью 1. Потоки части 3 обозначены буквами «b», «b1» и толстыми линиями. Эти сведения полезны для подтверждения способа обеспечения качества и предоставления доказательства менеджмента качества. Часть 4 содержит руководящие указания вместе с некоторым практическим опытом применения части 1. Поток части 4 обозначен буквой «c» и тонкими пунктирными линиями.

Поток «d» отражает предоставление образовательной услуги обучаемому образовательной организацией и обозначен пунктирной линией.

Рисунок 1 — Зависимость между всеми частями ИСО/МЭК 19796

5.2 Взаимосвязь с ГОСТ Р 53625

В ГОСТ Р 53625 процессная модель включает семь процессов. При измерении подходов к качеству важно определить, какие аспекты следует измерять и как следует оценивать значение. В ГОСТ Р 53625 определены процессы жизненного цикла подходов к качеству как непоследовательные этапы, а также 13 атрибутов в качестве дескриптивной модели (см. рисунок 1, часть 1), но не определены характеристики подходов к качеству.

Задача настоящего стандарта — определить методы и метрики для подходов к качеству, а также описать элементы и атрибуты подходов к качеству. Он содержит объяснение возможного применения указанной модели процессов качества при оценке, аудите, определении целей и улучшении подходов к качеству для электронного обучения.

Методы и метрики качества могут быть полезны и при определении требований к качеству на достаточном уровне. Если поставщик и заказчик взаимодействуют друг с другом и заключают соглашение о качестве на достаточном уровне, используя настоящий стандарт, субъективных жалоб после окончания обучения и оценки обучения можно избежать.

6 Модель действий при обеспечении качества

Качество будет создаваться в результате процесса. Под процессом подразумевается производство или разработка, поэтому в ГОСТ Р 53625 он показан для продуктов и услуг электронного обучения. Действия по менеджменту и обеспечению качества следует выполнять не только для одного конкретного процесса обеспечения и/или контроля качества, но и для каждого процесса и/или подпроцесса разработки. Разработчики выбирают и применяют методы для процессов и подпроцессов разработки, хотя с точки зрения менеджмента и обеспечения качества лицо, ответственное за проект разработки, обычно должно указать причину или обосновать использование этих методов.

Иногда эти методы обладают функциями разработки и функциями контроля и/или обеспечения качества. Например, и метод «анализа потребностей», и метод «причинно-следственных связей» важны не только для определения цели образования, но и для обеспечения процесса анализа структуры с помощью его схемы, построенной в результате определения цели.

Необходимо, чтобы методы определяли, какие действия менеджмента и обеспечения качества будут выполняться для процесса и подпроцесса разработки. На рисунке 2 показаны действия обеспечения качества для каждого процесса и подпроцесса разработки.

Рисунок 2 — Модель действий при обеспечении качества

7 Эталонная модель для методов

Важной проблемой является разработка и интеграция методов либо использование существующих методов для измерения успеха обеспечения и менеджмента качества с помощью адаптации ГОСТ Р 53625. Эти методы должны быть сравнимыми, а также поддерживать взаимодействие и возможность обмена между системами.

7.1 Категории

Для определения метода подходов к качеству выделяют категорию и подкатегорию. С их помощью все заинтересованные стороны [разработчик, поставщик, преподаватель, учащийся, персонал и эксперты в предметной области (SME)] могут легко понимать подходы к качеству и судить о том, какая информация о продукте и услуге является надежной.

В настоящем стандарте используются 17 категорий (идентификатор, имя, цель, тип использования, описание, источник, права, область применения/характеристики качества, контекст, тип метода, объект качества, процесс, действующее лицо/представитель, связь, ссылка на стандарт, аннотация и опыт) и несколько подкатегорий:

Идентификатор (ID) — уникальный идентификатор метода.

Имя (Name) — имя или заголовок метода для менеджмента и обеспечения качества.

Цель (Objective) — цель метода для менеджмента и обеспечения качества.

Тип использования (Usage Type) — тип использования метода.

Описание (Description) — краткое описание метода.

Источник (Source) — происхождение метода.

Права (Rights) — право или собственность, связанные с методом. Если значение равно «true» (истина), должны быть определены категории «RightID» (идентификатор права) и «RightDescription» (описание права).

Область применения/характеристики качества (Scope/Quality characteristics) — область применения показывает, какие важные характеристики качества обеспечиваются или улучшаются с помощью этого метода.

Контекст (Context) — контекст показывает (предварительные) условия, зависящие от конкретной ситуации использования метода для обеспечения и повышения качества.

Тип метода (Method type) — характеристика выполнения или работы метода.

Категории методов (Categories of Methods) — классификация метода в общей методологии, указанной в приложении.

Тип измерения; тип метода измерения (Measurement Type; Measurement Method Type) — общее описание логической последовательности операций, используемых в измерении. Методы измерений могут классифицироваться различным образом, например в рамках следующих классов:

• метод прямых измерений;
• метод непрямых измерений;
• метод измерения сравнением;
• метод измерения подстановкой;
• метод дополнительного измерения;
• метод дифференциального измерения;
• нулевой метод измерения;
• другие.

Ресурс метода (Resource of Method) — ресурсы и услуги для выполнения метода.

Объект качества (Object of Quality) — тип обеспечиваемого объекта качества будет зависеть от стадии процесса жизненного цикла и цели обеспечения и менеджмента качества. Например, в процессе анализа окончательный продукт LMS (Learning Management System — система управления обучением) и/или продукты образовательного содержания не должны быть объектами качества, и напротив, проект спецификации или действие анализа становятся объектами качества для качества процесса. При этом окончательная LMS и/или образовательное содержание станут объектами качества для качества продукта или качества удобства использования на стадии оценивания.

Существует много типов целей обеспечения и менеджмента. На стадии анализа один из участников имеет задачу обеспечения эффективности обучения, а второй — обеспечения надежности обучения. Первый сосредоточен на отчетах или действиях, связанных с анализом потребностей, а второй на той же стадии анализа — на системе организации как качестве организации.

Процесс (Process) — эта категория ссылается на процесс жизненного цикла по ГОСТ Р 53625. Она определяет, с какими категориями процесса или подпроцессами работает метод.

Категории процесса (Process Categories) — категории процесса, с которыми работает метод.

Подпроцессы (Sub-Processes) — подпроцессы, с которыми работает метод.

Действующее лицо/представитель (Actor/Responsible) — действующие лица и их представители, участвующие в выполнении метода.

Связь (Relation) — связь с другими методами, измеряющими этот же элемент.

Ссылка на стандарты (Standards reference) — ссылка на стандарты, использующие этот метод или поддерживаемые этим методом.

Аннотация (Annotation) — поясняющие комментарии.

Опыт (Experience) — опыт использования метода.

7.2 Элементы

Элементы метода показывают части сведений о сущности. Набор значений элементов образует модель данных категории и подкатегории благодаря четкому определению и возможностям взаимодействия.

В настоящем стандарте используется семь элементов:

• код идентификатора (ID-code);
• категория/подкатегория (Category/Sub-category);
• тип данных (Data Type);
• описание (Description);
• обязательный (Mandatory);
• мощность (Cardinality);
• пример (Example).

Приведенная в таблице 1 модель содержит формат описания для методов, используемых в рамках подходов качества.

Таблица 1

Спецификация эталонной модели для методов

Код идентификатора	Категория	Подкатегория	Тип данных	Описание	Обязательный/необязательный элемент	Мощность	Пример
D01.00	ID	-	Строковый	Уникальный идентификатор	Обязательный	1	LB0001
D02.00	Имя	-	Строковый	Имя или заголовок метода	Обязательный	1	Анализ показателей обучения
D03.00	Цель	-	Строковый	Цель метода	Рекомендуемый	N	Анализ показателей обучения должен показывать сильные и слабые стороны развития системы управления персоналом
D04.00	Описание	-	Строковый	Краткое описание метода/инструмента	Рекомендуемый	N	Анализ показателей обучения используется для непрерывной оценки и измерения успеха подготовки в организациях в течение определенного периода времени
D05.00	Тип использования	-	Строковый	Тип использования метода	Необязательный	N	Совершенствование и мотивация персонала
D06.00	Источник	-	Строковый	Происхождение метода	Необязательный	N	www.learningmethods.eu
D07.00	Правовая информация	-	Логический	Правовые аспекты метода. Если значение равно 1 (истина), должны быть определены категории D07.01 и D07.02	Рекомендуемый	1	«0» (ложь) или «1» (истина)
D07.01	-	Правовой идентификатор	Строковый	Уникальный идентификатор прав	Необязательный	1	Rigd00101
D07.02	-	Правовое описание	Строковый	Описание юридических аспектов метода	Необязательный	N	Использование анализа показателей обучения должно быть зарегистрировано в институте анализа показателей обучения
D08.00	Область применения/характеристики качества	-	Строковый	Область применения показывает, какие важные характеристики качества обеспечиваются или улучшаются с помощью этого метода. Она обеспечивает точку зрения или направление для определения смысла менеджмента и обеспечения. Эти сведения также включаются в общую информацию (связанную с окружающими условиями) и дидактическую информацию	Необязательный	-	Эффективность обучения, надежность системы управления обучением, функциональные возможности услуги
D09.00	Контекст	-	Строковый	Контекст, в котором применим метод	Необязательный	-	Развитие службы персонала малого и среднего бизнеса
D10.00	Тип метода	-		Характеристика выполнения или работы метода	-
D10.01	-	Категории методов	QName	Классификация, объясняющая общую методологию следующим образом; пространство значений — коллекция ссылок или {«дискуссии/обсуждения», «опрос», «анализ», «модели/руководства реализации», «измерение», «тестирование», «моделирование» и др.}	Рекомендуемый	1	Тестирование
D10.02	-	Тип измерений	QName	Общее описание логической последовательности операций, используемых в измерении	Необязательный	-	Метод непрямых измерений
D10.03	-	Ресурсы метода	Строковый	Ресурсы и услуги для выполнения метода	Необязательный	N	Анкета XYZ, средство отчетности
D11.00	Объект качества	-	Строковый	Объект — это вещь или сущность, для которой метод используется, чтобы реализовать подходы к менеджменту или обеспечению качества. Объект может быть описан как иерархическая структура с помощью символа «/». Иерархическая структура может быть определена с помощью диапазона или глубины детализации. Для верхнего уровня объекта рекомендуется несколько типов, например пространство значений объектов верхнего уровня: «Организация», «Проект», «Процесс», «Продукт», «Возможность использования», «Обучение»	Рекомендуемый	N	Организация/политика и стратегия организации/политики и стратегия/определение продукта/возможность использования функции эмоциональной обратной связи/установка системы
D12.00	Процесс	-		Фазы/стадии процесса жизненного цикла на основе ИСО/МЭК 19796-1	-
D12.01	-	Категории процесса	QName	Имя процесса для процесса жизненного цикла на основе ИСО/МЭК 19796-1. Используется следующее пространство значений: 1. «NA; анализ потребностей», 2. «FA; анализ структуры», 3. «CD; концепция/проект», 4. «DP; разработка/производство», 5. «IM; реализация», 6. «LP; процесс обучения», 7. «EO; оценка/оптимизация»	Рекомендуемый	N	CD; концепция/проект
D12.02	-	Подпроцесс	QName	Имя подпроцесса для процесса жизненного цикла на основе ИСО/МЭК 19796-1	Рекомендуемый	N	Цели обучения
D13.00	Действующее лицо/представитель	-	Строковый	Действующие лица и их представители, участвующие в выполнении метода	Рекомендуемый	N	Менеджер службы персонала, эксперт по оценке
D14.00	Связь	-	Строковый	Связь с другими методами, измеряющими этот же элемент	Необязательный	N	Включает LM0005
D15.00	Ссылки на стандарты	-	Строковый	Нормативная ссылка на стандарт, использующий или описывающий метод	-	-	ГОСТ Р ИСО 9000-2008
D16.00	Аннотации	-	Строковый	Поясняющие комментарии	Необязательный	N	Этот метод должен использоваться только в секторе связи
D17.00	Опыт	-	Строковый	Впечатления от метода	Необязательный	N	Метод был использован для измерения прибыли на собственный капитал

8 Эталонная модель для метрик

Важной проблемой является разработка и интеграция метрик и/или индикаторов для измерения успеха методов и инструментов качества с помощью адаптации ГОСТ Р 53625. Эти метрики должны быть сравнимыми, а также поддерживать взаимодействие и возможность обмена между системами.

8.1 Категории

Для определения метрики для подходов к качеству выделяют категорию и подкатегорию. С их помощью все заинтересованные стороны (разработчик, поставщик, преподаватель, учащийся, персонал и эксперты в предметной области) могут понимать подходы к качеству и судить о том, какая информация о продукте и услуге является надежной.

В данной модели существует 12 категорий (идентификатор, имя, цель, описание, источник, права, область применения, тип метрик, периоды, действующие лица, аннотация, опыт) и несколько подкатегорий:

Критерии (Criteria) — показывают целевой уровень значения. Целевое значение полезно для понимания смысла фактических данных или результата после расчета метода и метрики. Поэтому критерии включают уровни: «идеальный уровень», «средний уровень», «граница» и т.д.

8.2 Элементы

Код	Категория	Подкатегория	Тип данных	Описание	Обязательный /необязательный элемент	Мощность	Пример
C01.00	ID	-	Строковый	Уникальный идентификатор	Обязательный	1	LS0001
C02.00	Имя	-	Строковый	Имя метрики	Обязательный	1	Удовлетворенность обучением
C03.00	Цель	-	Строковый	Цель метрики	Рекомендуемый	N	Удовлетворенность обучением должна показывать итоговое удовлетворение учащегося различными стадиями курса
C04.00	Источник	-	Строковый	Происхождение метрики	Необязательный	N	www.learningmetrics.eu
C05.00	Права	-		Сведения о правах для метрики	-
C06.00	-	Права	Логический	Описание юридических аспектов метрики	Необязательный	1	Да/нет
C06.01	-	RightID	Строковый	Уникальный идентификатор прав	Необязательный	N	Rigc00101
C06.02	-	RightDescription	Строковый	Описание юридических аспектов метрики	Необязательный	N	Использование анализа показателей обучения должно быть зарегистрировано в институте анализа показателей обучения
C07.00	Область применения/характеристики качества	-	Строковый	Область применения показывает, какие важные характеристики качества обеспечиваются или улучшаются с помощью этой метрики. Она обеспечивает точку зрения или направление для определения смысла менеджмента и обеспечения. Эти сведения также включаются в общую информацию (связанную с окружающими условиями) и дидактическую информацию	Необязательный	-	Эффективность обучения, надежность системы управления обучением, функциональные возможности услуги
C08.00	Тип метрики	-		Характеристика выполнения или работы метрики	-
C08.01	-	Категории метрик	Строковый	Некоторые данные могут быть получены в результате выполнения метода. Эти данные могут использоваться для обеспечения или менеджмента качества. Поэтому эти данные могут быть названы «данные доказательства» для обеспечения и менеджмента качества. В этом пункте показан тип данных для данных доказательства	Рекомендуемый	1	Распределение по категориям, рейтинг, классификация, позиционирование, сопоставление, утверждение/неутверждение, описание поведения и др.
C08.02	-	Тип шкалы	QName	Шкала типа метрики (или ссылка) Пространство значений: «номинальная», «порядковая», «интервальная», «пропорциональная», «абсолютная» и «тарифная» См. раздел «Термины и определения» и [[2]](#p102357)	Обязательный	1	Номинальная
C08.03	-	Расчет	Строковый	Формула расчета метрики	Необязательный	N	KL=***
C08.04	-	Критерии	Строковый	Идеальный или средний уровень или сравнение с конкретным объектом	Необязательный	N	Идеальный (рекомендуемый уровень): 3, 4. Средний (уровень тарифов): 2, 5
C08.05	-	Ресурсы	Строковый	Ресурсы и услуги для выполнения метрики	Необязательный	N	Анкета XYZ, средство отчетности
C09.00	Период	-	Строковый	Период использования метрики	Необязательный	1	Один раз, непрерывно, n раз за курс
C10.00	Действующее лицо/представитель	-	Строковый	Действующие лица, участвующие в использовании метрики, и их компетенции	Необязательный	N	Менеджер службы персонала, эксперт по оценке
C11.00	Аннотации	-	Строковый	Поясняющие комментарии	Необязательный	N	-
C12.00	Опыт	-	Строковый	Опыт использования метрики	Необязательный	N	Метрика была использована для измерения удовлетворенности учащихся за три года и обеспечила показатели для улучшения возможностей. LS=xxx

9 Коллекция эталонных методов и метрик

9.1 Коллекция эталонных методов

В таблице 3 представлена базовая классификация категорий методов и подклассов, включая описания.

Коллекция эталонных методов

ID		Категория метода	Описание категории	Подкатегория	Наименование метода
Md	1000	Дискуссия/обсуждение	Личное общение, ориентированное на качество (менеджмент)	-	-
	1100	-	-	Дискуссия/обсуждение	-
Md	1101	-	-	-	Обсуждение экспертами
Md	1102	-	-	-	Дискуссия в группе
Md	1103	-	-	-	Беседа в рамках обратной связи
Md	1104	-	-	-	Семинар
Md	1105	-	-	-	«Круглый стол»
Md	2000	Опрос	Вопросы, касающиеся конкретной темы качества	-	-
Md	2100	-	-	Опрос	-
Md	2101	-	-	-	Интервью
Md	2102	-	-	-	Аудит
Md	2103	-	-	-	Опрос
Md	2104	-	-	-	Вопросник
Md	3000	Анализ	Анализ, касающийся одного аспекта	-	-
Md	3100	-	-	Анализ	-
Md	3101	-	-	-	Анализ документов
Md	3102	-	-	-	Анализ интервью
Md	3103	-	-	-	Исследование рынков
Md	3104	-	-	-	Анализ потребностей
Md	3105	-	-	-	Анализ и изучение рынка
Md	3106	-	-	-	Анализ организаций
Md	3107	-	-	-	Анализ тенденций
Md	3108	-	-	-	Анализ процессов
Md	3109	-	-	-	Анализ целевых групп
Md	3110	-	-	-	Анализ последствий
Md	3111	-	-	-	Анализ рабочих мест
Md	3112	-	-	-	Анализ рабочих мест
Md	3113	-	-	-	Анализ литературы
Md	3114	-	-	-	Анализ важности факторов частоты проблем (FRAP)
Md	3115	-	-	-	Методы исследования тенденций
Md	3116	-	-	-	Анализ недостатка навыков
Md	3117	-	-	-	Сравнение плановых и фактических показателей
Md	3118	-	-	-	Анализ «+/-»
Md	3119	-	-	-	Статистическая проверка
Md	3120	-	-	-	Проверка корреляции
Md	3121	-	-	-	Анализ вариантов
Md	3122	-	-	-	Регрессионный анализ
Md	3123	-	-	-	Анализ обратной связи
Md	3124	-	-	-	Анализ маршрутов
Md	3125	-	-	-	Анализ факторов
Md	3126	-	-	-	Кластерный анализ
Md	3127	-	-	-	S-P анализ
Md	4000	Модели реализации и руководящие указания	Модели и указания для менеджмента качества и обеспечения качества	-	-
Md	4100	-	-	Модели реализации и руководящие указания	-
Md	4101	-	-	-	Модели и схемы измерений
Md	4102	-	-	-	Сбалансированная карта показателей
Md	4103	-	-	-	Типовая реализация процессов обучения Baumgartner
Md	4104	-	-	-	Модель разработки программного обеспечения
Md	4405	-	-	-	Модель CIPP
Md	4106	-	-	-	Модель PEI
Md	4107	-	-	-	Модель SPE
Md	4108	-	-	-	Система учебного процесса для мультимедиа
Md	4109	-	-	-	Универсальная конструктивная теория образования
Md	4110	-	-	-	Пошаговая модель интеграции технологии в преподавание
Md	4111	-	-	-	Модель O-P-T
Md	4112	-	-	-	Трехуровневая модель (оценка)
Md	7104	-	-	-	Организационные модели
Md	7105	-	-	-	Событийно-управляемая цепочка процессов
Md	7106	-	-	-	Структурное моделирование
Md	8000	Контроль и инженерия качества	Поиск проблем, контроль и улучшение качества	-	-
Md	8100	-	-	Контроль и инженерия качества	-
Md	8101	-	-	-	Диаграмма Парето
Md	8102	-	-	-	Гистограмма
Md	8103	-	-	-	Диаграмма управления
Md	8104	-	-	-	Диаграмма Ишикавы
Md	8105	-	-	-	Контрольный лист
Md	8106	-	-	-	Диаграмма разброса
Md	8107	-	-	-	Стратификация
Md	8108	-	-	-	Диаграмма родства
Md	8109	-	-	-	Диаграмма ассоциаций
Md	8110	-	-	-	Древовидная диаграмма
Md	8111	-	-	-	Диаграмма метрик
Md	8112	-	-	-	Метод программной оценки и повторения
Md	8113	-	-	-	Диаграмма принятия решений
Md	8114	-	-	-	Диаграмма Ганта
Md	8115	-	-	-	Временная диаграмма
Md	8116	-	-	-	Диаграмма перемещений
Md	8117	-	-	-	Проектирование величин
Md	8118	-	-	-	Метод Тагучи
Md	8119	-	-	-	Нулевой дефект
Md	9000	Метод разрешения проблем	Для повышения эффективности решения проблем	-	-
Md	9100	-	-	Метод разрешения проблем	-
Md	9101	-	-	-	Мозговой штурм
Md	9102	-	-	-	Карточки
Md	9103	-	-	-	Письменный штурм
Md	9104	-	-	-	Техника ввода-вывода
Md	9105	-	-	-	Синтетический метод
Md	9106	-	-	-	Метод Делфи
Md	9107	-	-	-	Метод НМ (Накаямы-Масуказу)
Md	9108	-	-	-	Техника номинальных групп
Md	9109	-	-	-	Перекрестная техника

9.2 Коллекция эталонных метрик и показателей

В таблице 4 представлена базовая классификация категорий метрик и подклассов, включая описания.

Коллекция эталонных метрик и показателей

ID		Категория метрики	Описание категории	Подкатегория	Наименование метрики
Mc	1000	Метрики функций	Относятся к функциям, спроектированным и разработанным для улучшения обучения и связанных процессов	-	-
Mc	1100	-	-	Функции, стимулирующие обучение	-
Mc	1101	-	-	-	Фундаментальная навигация
Mc	1102	-	-	-	Обратная связь оценки на смысловом уровне
Mc	1103	-	-	-	Соответствующее последовательное выполнение
Mc	1104	-	-	-	Персонализированное обучение
Mc	1105	-	-	-	Стимуляция понимания
Mc	1106	-	-	-	Стимуляция устойчивости
Mc	1107	-	-	-	Стимуляция передачи/применения
Mc	1108	-	-	-	Осведомленность о состоянии понимания (метаподтверждение)
Mc	1200	-	-	Функция поддержки обучения	-
Mc	1201	-	-	-	Руководство по изучению
Mc	1202	-	-	-	Автоматическая система подведения итогов для содержания электронного обучения и функция запросов для проблем
Mc	1203	-	-	-	Функция ответа (наставничество) для запросов содержания
Mc	1204	-	-	-	Регистрация на своей странице
Mc	1205	-	-	-	Наставничество
Mc	1206	-	-	-	Руководство обучением
Mc	1207	-	-	-	Разработка сообщества
Mc	1208	-	-	-	Закладка
Mc	1209	-	-	-	Справочная ссылка
Mc	1210	-	-	-	Ссылка тематического поиска темы
Mc	1300	-	-	Функция устойчивости обучения	-
Mc	1301	-	-	-	Отношение объема использованных аудиозаписей к суммарному объему контента
Mc	1302	-	-	-	Улучшение обучения/отображения сведений о развитии процесса
Mc	1303	-	-	-	Улучшение обучения/уведомление и сведения о развитии процесса
Mc	1304	-	-	-	Информационная обратная связь для обучающих действий
Mc	1305	-	-	-	Эмоциональная/аффективная обратная связь (поощрение) для обучения
Mc	1306	-	-	-	Информационная обратная связь для тестов
Mc	1307	-	-	-	Эмоциональная/аффективная обратная связь (поощрение) для тестов
Mc	1308	-	-	-	Объем взаимодействия лицом к лицу с инструкторами/образовательными учреждениями
Mc	1309	-	-	-	Предварительное тестирование знаний и навыков
Mc	1310	-	-	-	Заключительное тестирование знаний и навыков
Mc	1311	-	-	-	Функция самостоятельной настройки типа/периода обучения
Mc	1312	-	-	-	Отношение объема использованных аудиозаписей к суммарному объему контента
Mc	1400	-	-	Функция поддержки преподавателей	-
Mc	1401	-	-	-	Информация обратной связи от учащихся для улучшения методов преподавания и соответствующих действий
Mc	1402	-	-	-	Информация обратной связи от учащихся для соответствующего изменения схем преподавания
Mc	1403	-	-	-	Оформление выгруженного содержания для создания обучающих материалов
Mc	1404	-	-	-	Функция разрешения повторного использования содержания электронного обучения
Mc	1405	-	-	-	Функция для управления содержанием электронного обучения
Mc	1500	-	-	Функция использования	-
Mc	1501	-	-	-	Отображение устройства фундаментальной навигации
Mc	1502	-	-	-	Отображение экрана
Mc	1503	-	-	-	Согласованность внешнего вида экрана и значков работы
Mc	1504	-	-	-	Запуск операции обучения
Mc	1505	-	-	-	Готовность каждой дополнительной функции
Mc	2000	Метрики элементов	Определение понятия и состояния качества с указанием компонентов, связанных образовательных объектов и действий	-	-
Mc	2100	-	-	Оценка обучения	-
Mc	2101	-	-	-	Диагностическая оценка
Mc	2102	-	-	-	Оценка на смысловом уровне
Mc	2103	-	-	-	Итоговая оценка
Mc	2104	-	-	-	Относительная оценка по сравнению с другими объектами
Mc	2105	-	-	-	Оценка стандарта содержания (с указанием области)
Mc	2106	-	-	-	Оценка стандарта эффективности (с указанием эффективности)
Mc	2107	-	-	-	Оценка рубрик
Mc	2108	-	-	-	Оценка достижений
Mc	2109	-	-	-	Внутренняя справочная оценка
Mc	2200	-	-	Оценка курса	-
Mc	2201	-	-	-	Цели обучения
Mc	2202	-	-	-	Содержание обучения
Mc	2203	-	-	-	Обучающие материалы
Mc	2204	-	-	-	План преподавания
Mc	2205	-	-	-	Стиль преподавания
Mc	2206	-	-	-	Процесс преподавания
Mc	2207	-	-	-	Последовательность преподавания
Mc	2300	-	-	Оценка учебного плана	-
Mc	2301	-	-	-	Политика учебного плана
Mc	2302	-	-	-	Состав курсов учебного плана
Mc	2303	-	-	-	Состав модулей курсов
Mc	2304	-	-	-	Принцип композиции
Mc	2305	-	-	-	Условия учебного плана
Mc	2306	-	-	-	Средства для учебного плана
Mc	2307	-	-	-	Персонал для администрирования учебного плана
Mc	2308	-	-	-	Характеристики и социальная среда учащихся
Mc	2400	-	-	Оценка преподавателя	-
Mc	2401	-	-	-	Эффективность преподавания
Mc	2402	-	-	-	Техника преподавания
Mc	2403	-	-	-	Методы преподавания
Mc	2404	-	-	-	Стиль преподавания
Mc	2405	-	-	-	Усилия для преподавания
Mc	2406	-	-	-	Навыки для разработки материалов и инструментария
Mc	2407	-	-	-	Обратная связь
Mc	2500	-	-	Оценка института/школы	-
Mc	2501	-	-	-	Политика института
Mc	2502	-	-	-	Стратегия института
Mc	2503	-	-	-	Действия администрации
Mc	2504	-	-	-	Общая ответственность за качество
Mc	2505	-	-	-	Эффективность администрирования
Mc	2506	-	-	-	Описания качества
Mc	2507	-	-	-	Подготовка и переподготовка персонала
Mc	2508	-	-	-	Управление общением с людьми в институте
Mc	2509	-	-	-	Связь с социальными и региональными особенностями
Mc	3000	Метрики атрибутов	Сопоставление понятия и состояния качества с указанием важных характеристик	-	-
Mc	3100	-	-	Функциональные возможности	-
Mc	3101	-	-	-	Пригодность
Mc	3102	-	-	-	Точность
Mc	3103	-	-	-	Возможность взаимодействия
Mc	3104	-	-	-	Соответствие
Mc	3105	-	-	-	Безопасность
Mc	3200	-	-	Надежность	-
Mc	3201	-	-	-	Законченность
Mc	3202	-	-	-	Отказоустойчивость
Mc	3203	-	-	-	Возможность восстановления
Mc	3300	-	-	Удобство использования	-
Mc	3301	-	-	-	Понятность
Mc	3302	-	-	-	Возможность обучения
Mc	3303	-	-	-	Возможность восстановления
Mc	3400	-	-	Эффективность	-
Mc	3401	-	-	-	Поведение во времени
Mc	3402	-	-	-	Поведение ресурсов
Mc	3500	-	-	Возможность обслуживания	-
Mc	3501	-	-	-	Анализируемость
Mc	3502	-	-	-	Изменяемость
Mc	3503	-	-	-	Устойчивость
Mc	3504	-	-	-	Тестируемость
Mc	3600	-	-	Переносимость	-
Mc	3601	-	-	-	Приспособляемость
Mc	3602	-	-	-	Возможность установки
Mc	3603	-	-	-	Совместимость
Mc	3604	-	-	-	Возможность замены
Mc	3700	-	-	Пригодность для образования	-
Mc	3701	-	-	-	Правомерность
Mc	3702	-	-	-	Ясность
Mc	3703	-	-	-	Удобство
Mc	3704	-	-	-	Многообразие
Mc	3705	-	-	-	Инициатива
Mc	3706	-	-	-	Специальность
Mc	3707	-	-	-	Современность
Mc	4000	Метрики шкалы	Характеристики измеренных данных качества	-	-
Mc	4100	-	-	Время	-
Mc	4101	-	-	-	Ограниченное время
Mc	4102	-	-	-	Способ предложения, доставка
Mc	4103	-	-	-	Кратчайшее возможное время
Mc	4104	-	-	-	Самое длинное возможное время
Mc	4200	-	-	Период	-
Mc	4201	-	-	-	Период обучения
Mc	4202	-	-	-	Период разработки
Mc	4203	-	-	-	Период пересмотра
Mc	4204	-	-	-	Период для понимания
Mc	4205	-	-	-	Период для освоения
Mc	4300	-	-	Реакция	-
Mc	4301	-	-	-	Время реакции системы
Mc	4302	-	-	-	Время подключения
Mc	4303	-	-	-	Время ответа на вопрос
Mc	4304	-	-	-	Время реакции учащегося
Mc	4305	-	-	-	Время запуска
Mc	4306	-	-	-	Время реакции для испытаний
Mc	4307	-	-	-	Время реакции для обратной связи результатов обучения
Mc	4400	-	-	Количество	-
Mc	4401	-	-	-	Суммарное количество
Mc	4402	-	-	-	Итоговая сумма для понимания
Mc	4403	-	-	-	Итоговая сумма для освоения
Mc	4404	-	-	-	Итоговая сумма для удовлетворения
Mc	4405	-	-	-	Общая стоимость
Mc	4406	-	-	-	Общий код
Mc	4407	-	-	-	Суммарное число баллов функций
Mc	4408	-	-	-	Суммарное число функций
Mc	4409	-	-	-	Суммарное число файлов
Mc	4410	-	-	-	Суммарное число переработок
Mc	4411	-	-	-	Итоговая эффективность
Mc	4500	-	-	Статистическая основа	-
Mc	4501	-	-	-	Среднее
Mc	4502	-	-	-	Мода
Mc	4503	-	-	-	Медианное
Mc	4504	-	-	-	Максимум
Mc	4505	-	-	-	Минимум
Mc	4506	-	-	-	Дисперсия
Mc	4507	-	-	-	Среднеквадратическое отклонение
Mc	4600	-	-	Скорость	-
Mc	4601	-	-	-	Количество/время
Mc	4602	-	-	-	Количество/стоимость
Mc	4603	-	-	-	Скорость обучения/стоимость
Mc	4604	-	-	-	Скорость обучения или преподавания/стоимость
Mc	4605	-	-	-	Скорость разработки/стоимость
Mc	4606	-	-	-	Скорость обучения/время
Mc	4607	-	-	-	Скорость обучения или преподавания/время
Mc	4608	-	-	-	Скорость разработки/время
Mc	4609	-	-	-	Увеличивающаяся скорость
Mc	4610	-	-	-	Уменьшающаяся скорость
Mc	4611	-	-	-	Средняя отдача
Mc	4612	-	-	-	Индекс рентабельности инвестиций
Mc	4613	-	-	-	BCR
Mc	4614	-	-	-	Средняя наработка на отказ
Mc	4615	-	-	-	Средняя наработка на отказ
Mc	4616	-	-	-	Скорость оборачиваемости
Mc	4617	-	-	-	Скорость улучшений
Mc	4700	-	-	Частота	-
Mc	4701	-	-	-	Частота ошибок
Mc	4702	-	-	-	Частота поведения
Mc	4703	-	-	-	Частота появления
Mc	4704	-	-	-	Частота использования
Mc	4800	-	-	Степень	-
Mc	4801	-	-	-	Порог
Mc	4802	-	-	-	Шкала Лайкерта
Mc	4803	-	-	-	Семантический дифференциал
Mc	4804	-	-	-	Процент
Mc	4805	-	-	-	Взаимосвязь

Приложение ДА (справочное)

Обозначение ссылочного национального стандарта	Степень соответствия	Обозначение и наименование ссылочного международного стандарта
ГОСТ Р 53625-2009	MOD	ИСО/МЭК 19796-1:2005 «Информационная технология. Обучение, образование и подготовка. Менеджмент качества, обеспечение качества и метрики. Часть 1. Общий подход»
Примечание — В настоящей таблице использовано следующее условное обозначение степени соответствия стандарта: - MOD — модифицированный стандарт.

СОПОСТАВЛЕНИЕ СТРУКТУРЫ НАСТОЯЩЕГО СТАНДАРТА

Структура настоящего стандарта	Структура международного стандарта ИСО/МЭК 19796-3:2009
1 Область применения	1 Область применения
2 Соответствие	2 Соответствие
3 Нормативные ссылки	3 Нормативные ссылки
4 Термины и определения	4 Термины и определения
5 Соответствие подходов к качеству	5 Соответствие подходов к качеству
5.1 Концептуальная модель серии ИСО/МЭК 19796	5.1 Концептуальная модель серии ИСО/МЭК 19796
5.2 Взаимосвязь с ГОСТ Р 53625 (ИСО/МЭК 19796-1)	5.2 Взаимосвязь с ИСО/МЭК 19796-1
6 Модель действий при обеспечении качества	6 Модель действий при обеспечении качества
7 Эталонная модель для методов	7 Эталонная модель для методов
7.1 Категории	7.1 Категории
7.2 Элементы	7.2 Элементы
8 Эталонная модель для метрик	8 Эталонная модель для метрик
8.1 Категории	8.1 Категории
8.2 Элементы	8.2 Элементы
9 Коллекция эталонных методов и метрик	9 Коллекция эталонных методов и метрик
9.1 Коллекция эталонных методов	9.1 Коллекция эталонных методов
9.2 Коллекция эталонных метрик и показателей	9.2 Коллекция эталонных метрик и показателей
-	Приложение A (справочное). Примеры форматов описаний эталонной модели методов
-	Приложение B (справочное). Примеры форматов описаний эталонной модели метрик
Приложение ДА. Сведения о соответствии ссылочного национального стандарта международному стандарту, использованному в качестве ссылочного в примененном международном стандарте	-
Приложение ДБ. Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта	-
Библиография	Библиография
Примечание — В настоящий стандарт не включены справочные приложения A и B, содержащие примеры зарубежных практик в области электронного обучения. Их применение в российской системе образования без значительной адаптации не представляется возможным.

БИБЛИОГРАФИЯ

[1]	Руководство ИСО/МЭК 99:2007 (ISO/IEC Guide 99:2007)	Международный словарь по метрологии. Основные и общие понятия и соответствующие термины (VIM) (International vocabulary of metrology — Basic and general concepts and associated terms (VIM))
[2]	ISO/IEC TR 9126-2:2003 (ISO/IEC TR 9126-2:2003)	Программирование. Качество продукта. Часть 2. Внешние показатели (Software engineering — Product quality — Part 2: External metrics)

УДК 658.562.014:006.354	ОКС 03.100.30 35.240.99	П80	ОКП 50 0000
Ключевые слова: качество, менеджмент качества, обеспечение качества, метод, метрика, образование, обучение и подготовка

---