ПНСТ 874-2023. Предварительный национальный стандарт Российской Федерации. Информационные технологии. Биометрия. Качество биометрического образца. Данные изображения лица

(утв. и введен в действие Приказом Росстандарта от 27.11.2023 № 68-пнст)

Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 27 ноября 2023 г. № 68-пнст

ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

БИОМЕТРИЯ

КАЧЕСТВО БИОМЕТРИЧЕСКОГО ОБРАЗЦА. ДАННЫЕ ИЗОБРАЖЕНИЯ ЛИЦА

Information technology. Biometrics. Biometric sample quality. Face image data

ПНСТ 874-2023

ОКС 35.240.15

Срок действия с 1 января 2024 года до 1 января 2027 года

Предисловие

1 РАЗРАБОТАН Федеральным государственным бюджетным образовательным учреждением высшего образования «МИРЭА — Российский технологический университет» (РТУ МИРЭА) и Некоммерческим партнерством «Русское общество содействия развитию биометрических технологий, систем и коммуникаций» (Некоммерческое партнерство «Русское биометрическое общество»)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 098 «Биометрия и биомониторинг»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 27 ноября 2023 г. № 68-пнст

Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).

Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: 107045 Москва, Сретенский тупик, д. 3, стр. 1, e-mail: standards@rusbiometrics.com и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112 Москва, Пресненская набережная, д. 10, стр. 2.

В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе «Национальные стандарты» и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

1 Область применения

Настоящий стандарт устанавливает требования к количественной оценке качества изображения лица и определяет методы количественной оценки качества изображения лица. Настоящий стандарт устанавливает требования к программному обеспечению, которое проверяет только одно изображение.

Настоящий документ не устанавливает требования:

• к оценке качества 3D-изображений;
• кодированию данных о качестве изображения лица;
• оценке эффективности алгоритмов оценки качества изображений лиц;
• количественной оценке качества пары или последовательности изображений.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ ISO/IEC 2382-37 Информационные технологии. Словарь. Часть 37. Биометрия

ГОСТ Р 58668.3 Информационные технологии. Биометрия. Расширяемые форматы обмена биометрическими данными. Часть 3. Данные изображения лица

ГОСТ Р ИСО/МЭК 19794-5-2013 Информационные технологии. Биометрия. Форматы обмена биометрическими данными. Часть 5. Данные изображения лица

ГОСТ Р ИСО/МЭК 29794-1 Информационные технологии. Биометрия. Качество биометрического образца. Часть 1. Структура

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ ISO/IEC 2382-37 и ГОСТ Р 58668.3, а также следующие термины с соответствующими определениями:

3.1 канонический тип изображения лица (canonical face image): Изображение лица, соответствующее требованиям ГОСТ Р ИСО/МЭК 19794-5 к условиям освещения, положению и выражению лица.

3.2 дефокусировка (de-focus): Аберрация, при которой изображение или часть изображения не в фокусе, что снижает резкость и контрастность изображения.

3.3 обнаружение лица (face detection): Процесс определения присутствия и расположения лица на изображении.

Примечание - Результатом процесса обнаружения лица является ограничивающий прямоугольник самого большого лица на изображении.

3.4 изображение лица (face image): Воспроизведение лица субъекта сбора персональных данных в электронном виде.

3.5 ограничивающий прямоугольник (bounding box): Прямоугольник, содержащий все обнаруженные антропометрические контрольные точки лица.

Примечания

1 Ограничивающий прямоугольник используется для определения контрольных точек лица, чтобы ограничить изображение лица интересующей областью.

2 Ограничивающий прямоугольник является результатом процесса обнаружения лица, как определено в 6.2.

3.6 выравнивание лица (face alignment): Процесс поворота, смещения и масштабирования изображения лица или контрольных точек лица так, чтобы преобразованное изображение имело определенные размеры, а углы глаз, носа и рта были приблизительно расположены в заранее определенных местах.

3.7 контрольные точки лица (face landmarks): Набор антропометрических точек на изображении, обозначающих контур и разные части лица.

3.8 область контрольных точек лица (landmarked region): Минимальная область изображения лица, содержащая все антропометрические контрольные точки лица.

3.9 сегментация лица (face segmentation): Процесс выбора области контрольных точек лица на изображении.

3.10 сегментация открытых частей лица (face occlusion segmentation): Процесс определения бинарной маски, отмечающей все пиксели изображения лица, где лицо не закрыто какими-либо артефактами.

3.11 анализ данных изображения лица (face parsing): Процесс определения массива целых чисел, в котором каждая запись указывает, к какой части объекта принадлежит соответствующий пиксель.

Примечание - Набор частей, которым присвоены пиксели, включает в себя различные части лица, шеи, волос, одежды и различных аксессуаров. Пикселям, не принадлежащим объекту (фону), присваивается значение 0.

3.12 показатель качества (quality measure value): Числовой результат в диапазоне от 0 до 100, полученный от алгоритма оценки качества.

3.13 оценка положения (pose estimation): Процесс определения углов вращения головы на изображении в трехосной системе координат.

3.14 фокусировка (sharpness): Степень различимости деталей на изображении.

3.15 ICC-профиль (ICC profile): Набор данных, характеризующий входные и выходные данные цвета путем установления соответствия между данными и цветовым пространством.

4 Сокращения

В настоящем стандарте применены следующие сокращения:

СНС — сверточная нейронная сеть (convolutional neural network);

IED — расстояние между центрами глаз (inter-eyes distance);

ICC — международный консорциум по цвету (The International Color Consortium).

5 Соответствие

Реализация соответствует настоящему стандарту, если она реализует требования к вычислениям характеристик, указанным в 7.2 - 7.4.

6 Общие вычисления

6.1 Общие положения

В настоящем разделе определены вычисления, общие для расчетов, приведенных в разделе 6.

6.2 Обнаружение лица

Результатом процесса обнаружения лица является количество найденных лиц и ограничивающий прямоугольник для каждого лица.

В качестве входных данных используется изображение лица I, представленное в цветовом пространстве BGR (8 бит/канал). Далее к изображению применяется СНС [https://github.com/sr6033/face-detection-with-OpenCV-and-DNN].

Порядок обнаружения лица

1. Определение высоты h и ширины w изображения I.

2. Изменение размера изображения I до (300; 300) с помощью OpenCV и билинейной интерполяции.

3. Нормализация значений I относительно среднего \mu = (104;117;123) и стандартного отклонения \sigma = (1;1;1) , получение массива A.

4. Кодирование A в качестве входного тензора T[0] с размерами (1; 3; 300; 300) для СНС.

5. Запуск прямого прохода T[0] по СНС, получение выходного тензора T[1] с размерами (1; 1; N; 7), где N — количество обнаруженных до фильтрации лиц.

6. Извлечение последних двух размеров T[1] в виде таблицы F размером (N; 7), каждая строка которой содержит данные обнаруженных ограничивающих прямоугольников для каждого лица:

а) в столбце 3 указывается степень схожести;

б) в столбцах 4 — 5 указываются относительные (т.е. масштабированные до интервала [0; 1]) координаты x и y верхнего левого угла;

в) в столбцах 6 — 7 указываются относительные (т.е. масштабированные до интервала [0; 1]) координаты x и y нижнего правого угла.

7. Удаление строк таблицы F, для которых выполняется одно из следующих условий:

а) степень схожести меньше 0,5, т.е. Fi,3 < 0,5;

б) ширина ограничивающего прямоугольника меньше 1/20 ширины изображения, т.е. Fi,6 — Fi,4 < 0,05;

в) ограничивающий прямоугольник выходит за левую или правую границу изображения более чем на 20% ширины изображения, т.е. Fi,4 < -0,2 или Fi,6 > 1,2;

г) ограничивающий прямоугольник выходит за верхнюю или нижнюю границу изображения более чем на 20% высоты изображения, т.е. Fi,5 < -0,2 или Fi,7 > 1,2.

8. Если строк не осталось, возвращается абстрактное значение failureToAssess.

9. Строка j определяется как наибольшая площадь ограничивающего прямоугольника:

j = argmax((Fi,5 — Fi,3)·(Fi,6 — Fi,4)).

10. Определение координат (a; b) и (c; d) верхнего левого и нижнего правого углов соответственно:

a = [w·Fi,4 + 0,5], b = [h·Fi,5 + 0,5],

c = [w·Fi,6 + 0,5], d = [h·Fi,7 + 0,5],

где [x] — функция округления в меньшую сторону, дающая наибольшее целое число, меньшее или равное x. 11) Установка b = b — 0,18(d — b) для удаления области лба из ограничивающего прямоугольника. 12) Возврат координат (a; b; c; d) ограничивающего прямоугольника.

На рисунке 1 представлен результат работы алгоритма обнаружения лица для изображения лица со значительным углом отклонения.

Рисунок 1 — Пример ограничивающего прямоугольника

6.3 Определение контрольных точек лица

Многие алгоритмы вычисления компонентов качества требуют либо контрольных точек лица, либо области контрольных точек лица (определяемой алгоритмами обнаружения контрольных точек лица), охватывающей область от макушки до подбородка и от левого до правого уха.

В качестве входных данных используется RGB изображение лица I (8 бит/канал) и координаты (a; b; c; d) ограничивающего прямоугольника, вычисленные с помощью алгоритма обнаружения лица согласно 6.2. Далее к изображению применяется СНС ADNet [https://github.com/huangyangyu/ADNet].

Порядок определения контрольных точек лица

1. Определение высоты h и ширины w изображения I.

2. Расширение ограничивающего прямоугольника до квадратной формы путем установки:

если c — a < d — b:

c = [\frac{a + c}{2} + \frac{d - b}{2}]; a = [\frac{a + c}{2} - \frac{d - b}{2}],

если c — a > d — b:

d = [\frac{b + d}{2} + \frac{c - a}{2}]. b = [\frac{b + d}{2} - \frac{c - a}{2}],

3. Если необходимо, дополнение изображения и корректировка координат:

если a < 0, дополнение изображения слева на -a пикселей и установка c = c — a и a = 0;

если b < 0, дополнение изображения сверху на -b пикселей и установка d = d — b и b = 0;

если c > w, дополнение изображения справа на c — w пикселей;

если d > h, дополнение изображения снизу на d — h пикселей.

4. Кадрирование изображения I до (a; b; c; d), т.е. I [a; b; c; d].

5. Масштабирование размера изображения I до (256; 256).

6. Нормализация значений I относительно среднего \mu = 127,5 и стандартного отклонения \sigma = 127,5 , получение массива L:

L_{i,j,k} = (I_{i,j,k} - \mu)/\sigma

для всех i, j, k.

7. Кодирование L в качестве входного тензора T[0] с размерами (₁; 256; 256).

8. Запуск прямого прохода T[0] по СНС, получение выходного тензора T[1] с размерами (1; 98; 2).

9. Преобразование тензора T[1] к массиву L размера (98; 2).

10. Вывод L в качестве массива 98 контрольных точек лица (см. рисунок 2).

Рисунок 2 — Пример контрольных точек лица

6.4 Сегментация лица

В качестве входных данных используются контрольные точки лица L0, ..., L97, определенные с помощью алгоритма, описанного в разделе 6.3.

Порядок сегментации лица

1. Определение области контрольных точек лица.

2. Создание маски сегментации S в виде изображения в оттенках серого (один канал), где всем пикселям внутри области контрольных точек лица присвоено значение 1, а всем пикселям снаружи — 0.

3. Вывод S.

Пример вывода отмеченной области контрольных точек лица показан на рисунке 3.

Рисунок 3 — Пример вывода отмеченной области контрольных точек лица

6.5 Выравнивание лица

Выравнивание лица проводится в случае, если допускается смещение, поворот и масштабирование изображения.

В качестве входных данных используются изображение лица и соответствующие контрольные точки лица.

Порядок выравнивания лица

1. Вычисление центров обоих глаз CR и CL как центра масс контрольных точек лица с обозначением углов глаз.

2. Определение расположения кончика носа N.

3. Определение расположения углов рта MR и ML.

4. С помощью функции OpenCV estimateAffinePartial2D (method = LmedS) вычисляется матрица преобразования T, которая оптимизирует сопоставление точек (CR; CL; N; MR; ML) с целевыми точками ((251; 272); (364; 272); (308; 336); (262; 402); (355; 402)).

5. Применение матрицы преобразования T к изображению, кадрирование или дополнение изображения до размера (616; 616). Для заполнения используется черный цвет (0; 0; 0).

6. Применение матрицы преобразования T к контрольным точкам лица.

7. Вывод преобразованного изображения, преобразованных контрольных точек лица и матрицы преобразования T.

Пример результата выравнивания лица приведен на рисунке 4.

Рисунок 4 — Пример результата выравнивания лица

6.6 Анализ данных изображения лица

В результате анализа данных изображения лица создается карта сегментации, различающая 19 классов, перечисленных в таблице 1.

Таблица 1

Значения классов карты сегментации

Метка	Область изображения лица
0	Фон
1	Кожа лица
2	Левая бровь
3	Правая бровь
4	Левый глаз
5	Правый глаз
6	Очки
7	Левое ухо
8	Правое ухо
9	Серьги
10	Нос
11	Рот
12	Верхняя губа
13	Нижняя губа
14	Шея
15	Украшения на шее
16	Одежда
17	Волосы
18	Головной убор

Некоторые из классов таблицы 1 показаны на рисунке 5.

Рисунок 5 — Пример карты сегментации лица

В качестве входных данных используется RGB изображение лица (8 бит/канал), полученное в результате процесса выравнивания согласно 6.5. Далее к изображению применяется СНС FaceParsing [https://github.com/zllrunning/face-parsing.PyTorch].

Порядок анализа данных изображения лица

1. Кадрирование изображения на 30 пикселей слева и справа и на 60 пикселей снизу.

2. Масштабирование изображения до размера (400; 400) с использованием билинейной интерполяции.

3. Нормализация цветовых каналов относительно среднего \mu = (0,485;0,456;0,406) и стандартного отклонения \sigma = (0,229;0,224;0,225) , получение массива A.

4. Кодирование A в качестве входного тензора T[0] с размерами (1; 3; 400; 400).

5. Запуск прямого прохода T[0] по СНС, получение выходного тензора T[1] с размерами (19; 400; 400).

6. Вычисление максимума по первой оси T[1], получение карты сегментации M размера (400; 400).

7. Вывод M.

Примечание - Изображения должны быть подвергнуты процессу выравнивания до использования СНС.

6.7 Сегментация открытых частей лица

В качестве входных данных используется RGB изображение лица (8 бит/канал), полученное в результате процесса выравнивания согласно 6.5. Далее к изображению применяется СНС [https://github.com/kennyvoo/face-occlusion-generation].

Порядок сегментации открытых частей лица

1. Кадрирование изображения на 96 пикселей со всех сторон.

2. Масштабирование изображения до размера (224; 224) пикселей с использованием билинейной интерполяции.

3. Кодирование изображения в качестве входного тензора T[0] размера (1; 3; 224; 224).

4. Деление T[0] на 225.

5. Запуск прямого прохода T[0] по СНС, получение выходного тензора T[1] размера (1; 224; 224).

6. Удаление первой оси тензора T[1], получение маски сегментации O размера (224; 224).

7. Установка значений для маски сегментации O: 1 для положительных значений и 0 для остальных значений маски сегментации.

8. Изменение размера маски сегментации O до (424; 424) с помощью интерполяции методом ближайшего соседа с округлением до целочисленных значений.

9. Расширение O на 96 пикселей со всех сторон.

10. Вывод O.

Результат сегментации открытых частей лица приведен на рисунке 6.

Рисунок 6 — Визуализация сегментации открытых частей лица

6.8 Оценка положения головы

В реализации должно быть предусмотрено вычисление трех углов поворота головы (наклон, поворот, отклонение) по изображению лица. Оценку положения головы рекомендуется производить по контрольным точкам лица.

В качестве входных данных используются BGR изображение лица (8 бит/канал) и координаты (a, b, c, d) ограничивающего прямоугольника. Далее к изображению применяется СНС [https://github.com/choyingw/SynergyNet],

Порядок оценки положения головы

1. Вычисление высоты I = d — b и центра (x,y) = (\frac{a + c}{2} , \frac{b + d}{2}) ограничивающего прямоугольника.

2. Установка b = [y - 0,46 \cdot I] и d = [y + 0,64 \cdot I] .

3. Расширение ограничивающего прямоугольника до квадрата путем установки

a = [x + 0,5 \cdot (d - b)] и c = a + d — b.

4. Если новые координаты (a, b, c, d) ограничивающего прямоугольника лежат за пределами изображения [0; w — 1]·[0; h — 1], где w и h — ширина и высота изображения I соответственно, расширение изображения представлено следующим образом:

если a < 0, расширение изображения слева на px = -a пикселей, установка c = c + a и a = 0;

если b < 0, расширение изображения сверху на py = -b пикселей, установка d = d + b и b = 0;

если c >= w, расширение изображения справа на c — w + 1 пикселей;

если d >= h, расширение изображения снизу на d — h + 1 пикселей.

5. Кадрирование изображения I до прямоугольника с вершинами в точках (a; b) и (c; d).

6. Изменение размера изображения I до (120; 120) с помощью функции OpenCV с билинейной интерполяцией.

7. Нормализация I относительно среднего \mu = 127,5 и стандартного отклонения \sigma = 128 , получение массива A:

A_{i,j,k} = (I_{i,j,k} - \mu)/\sigma

для всех i, j, k.

8. Кодирование A в качестве входного тензора T[0] размера (1; 3; 120; 120) для СНС.

9. Запуск прямого прохода T[0] по СНС, получение выходного тензора T[1] размера (1; 62).

10. Установка V = (T_{1}^{[1]},T_{2}^{[1]},T_{3}^{[1]},T_{5}^{[1]},T_{6}^{[1]},T_{7}^{[1]}) .

11. Установка W_{i} = V_{i} \cdot \sigma_{i} + \mu_{i} для всех i, где

\mu = (0,000316018; - 0,000001804; - 0,000001798;0,000002551;0,000434692; - 0,000033830),

\sigma = (0,000185973;0,000303770;0,000322442;0,000253192;0,000187914;0,000202994).

12. Установка R1 = (W1; W2; W3) и R2 = (W4; W5; W6).
13. Приведение R1 и R2 к одинаковому размеру.
14. Установка R3 = R1 x R2, где x обозначает векторное произведение.
15. Создание матрицы R из векторов R1, R2 и R3.
16. Вычисление углов поворота \varphi_{yaw} , наклона \varphi_{pitch} и отклонения \varphi_{roll} следующим образом:

если R31 < 0,9975 и R31 > -0,9975:

\varphi_{pitch} = arcsin(R_{31}), \varphi_{yaw} = atan2(\frac{R_{23}}{cos(\alpha_{1})} , \frac{R_{33}}{cos(\alpha_{1})}), \varphi_{roll} = atan2(\frac{R_{12}}{cos(\alpha_{1})} , \frac{R_{11}}{cos(\alpha_{1})});

если R31 < -0,9975:

\varphi_{roll} = 0; \varphi_{pitch} = - \pi/2, \varphi_{yaw} = atan2(R_{12},R_{13}),

если R31 > 0,9975:

\varphi_{roll} = 0. \varphi_{pitch} = \pi/2, \varphi_{yaw} = atan2( - R_{12}, - R_{13}),

17. Вывод \varphi_{yaw} , \varphi_{pitch} , \varphi_{roll} .

6.9 Вычисление центров глаз и расстояния между центрами глаз (IED)

Расстояние между центрами глаз используется для оценки разрешения изображения лица.

В качестве входных данных используются контрольные точки лица L0, ..., L97, вычисленные с помощью алгоритма, описанного в 6.3, и угол поворота головы \varphi_{YAW} , вычисленный согласно 6.8.

Порядок вычисления центров глаз и расстояния между центрами глаз IED

1. Координаты контрольной точки центра левого глаза (XL; YL) должны быть рассчитаны как среднее арифметическое значение координат внутреннего и внешнего углов левого глаза (контрольные точки L68 и L72):

(X_{L};Y_{L}) = \frac{L_{68} + L_{72}}{2} .

2. Координаты контрольной точки центра правого глаза (XR; YR) должны быть рассчитаны как среднее арифметическое значение координат внутреннего и внешнего углов правого глаза (контрольные точки L60 и L64):

(X_{R};Y_{R}) = \frac{L_{60} + L_{64}}{2} .

3. Расстояние между центрами глаз IED должно быть рассчитано как евклидово расстояние между контрольными точками центров левого и правого глаза с поправкой на угол поворота по формуле:

IED = \frac{1}{cos(\varphi_{YAW})} \sqrt{(X_{L} - X_{R})^{2} + (Y_{L} - Y_{R})^{2}} .

4. Вывод (XL; YL), (XR; YR), IED.

6.10 Преобразование 8-битных изображений

Некоторые вычисления требуют данных о яркости изображения. Преобразование яркости из компонентов RGB зависит от ICC-профиля изображения.

В качестве входных данных используется изображение, закодированное в ICC-профиле для sRGB.

Порядок определения яркости каждого пикселя RGB

1. Нормализация значений R, G, B в диапазоне [0; 1], где R, G и B — красный, зеленый и синий каналы пикселя соответственно:

b = \frac{B}{255} . g = \frac{G}{255} , r = \frac{R}{255} ,

2. Гамма-инверсия:

RL = ColorConvert(R), GL = ColorConvert(G), BL = ColorConvert(B),

где

3. Вычисление яркости с получением нормализованного значения в диапазоне [0; 1]:

Y = 0,212·RL + 0,7152·GL + 0,0722·BL.

4. Масштабирование нормализованного значения яркости до целого числа в интервале от 0 до M (M = 255):

Y = [255Y + 0,5].

Все изображения RGB должны быть преобразованы в цветовое пространство sRGB, независимое от устройства, на основе ICC-профиля RGB изображения. Изображения с другими ICC-профилями должны быть преобразованы в соответствии с профилем.

6.11 Преобразование 16-битных изображений в 8-битные изображения

Преобразование 16-битных изображений определено в [1] и [2].

6.12 Преобразование 8-битных цветных изображений в пространство CIELAB

Примечание - Цветовое пространство CIE 1978 Lab* (цветовое пространство CIELAB) представляет собой трехмерное цветовое пространство, полученное путем построения графиков в прямоугольных координатах L* (яркости), a* (цветовой составляющей от зеленого до красного), b* (цветовой составляющей от синего до желтого).

Порядок определения значений координат пикселей в пространстве CIELAB

1. Нормализация значений R, G, B в диапазоне [0; 1], где R, G и B — красный, зеленый и синий каналы пикселя соответственно:

b = \frac{B}{255} . g = \frac{G}{255} , r = \frac{R}{255} ,

2. Гамма-инверсия:

RL = ColorConvert(R), GL = ColorConvert(G), BL = ColorConvert(B),

где

3. Преобразование в пространство XYZ:

X = 0,43605·RL + 0,38508·GL + 0,14309·BL,

Y = 0,22249·RL + 0,71689·GL + 0,06062·BL,

Z = 0,01393·RL + 0,09710·GL + 0,71419·BL.

4. Преобразование XYZ в Lab путем нормализации с помощью стандартного источника света CIE D50, который имитирует теплый дневной свет на восходе или закате с коррелированной цветовой температурой 5003K (также известной как свет горизонта):

x_{r} = \frac{X}{0,964221} , yr = Y, z_{r} = \frac{Z}{0,825211} .

5. Сглаживание значений:

Fx = cubic(xr), Fy = cubic(yr), Fz = cubic(zr),

где

k = \frac{24389}{27} . \in = \frac{216}{24389} ,

6. Вычисление координат в пространстве CIELAB

L* = 116·Fy — 16, a* = 500·(Fx — Fy), b* = 200·(Fy — Fz).

6.13 Обработка изображений в градациях серого

Реализации, соответствующие настоящему стандарту, должны обрабатывать как цветные изображения, так и изображения в градациях серого.

Примечание - Изображения в градациях серого представляют собой ахроматические цветные изображения. Шкала RGB откалибрована таким образом, что при равных значениях R, G и B пиксель имеет оттенок серого без какого-либо смещения в сторону красного, зеленого или синего. Если в каком-либо профиле значения R, G и B равны 0, то в цветовом пространстве CIELAB соответствующие значения a* и b* равны 0.

6.14 Преобразование изображений с высокой плотностью градаций серого в 8-битные изображения в градациях серого или 24-битные цветные изображения

Согласно ГОСТ Р 58668.3 допускается сбор необработанных изображений с более чем 8 битами изменения интенсивности. Формат необработанного изображения может быть частным форматом с нестандартной спецификацией кодирования. Преобразование изображения должно выполняться в соответствии с рекомендациями производителя.

Преобразование изображений с высокой плотностью градаций серого в 8-битные изображения в градациях серого или 24-битные цветные изображения должно быть выполнено перед расчетом показателей качества.

6.15 Гистограмма яркости

В качестве входных данных используются канал яркости C изображения и карта сегментации S (при необходимости).

Порядок расчета гистограммы яркости изображения.

1. Если карта сегментации S отсутствует, она устанавливается равной массиву единиц того же размера, что и C.

2. Восстановление яркости изображения из данных RGB согласно 6.10.

3. Определение числа ni пикселей (a; b), для которых Sa,b = 1 и C_{a}\prime_{,b} = i(0 \leq i \leq M) .

4. Определение числа пикселей N = \sum_{i} n_{i} .

5. Определение h_{i} = \frac{n_{i}}{N} для всех 0 <= i <= M.

6. Вывод h0, ..., hM.

6.16 Среднее нормализованное значение серого

Среднее нормализованное значение серого \overline{h} определяется с использованием гистограммы яркости изображения h0, ..., hM по формуле

\overline{h} = \frac{1}{M} \sum_{i = 0}^{M} ih_{i}.

6.17 Энтропия

Энтропия H определяется с использованием гистограммы яркости изображения h0, ..., hM по формуле

H = - \sum_{i = 0}^{M} h_{i}log_{2}h_{i}.

6.18 Представление двоичных величин в виде непрерывных значений

Если требование ГОСТ Р 58668.3 содержит цифровые характеристики, то результат проверки изображения на соответствие требованиям уровню 3 является булевым. Соответствие таким требованиям можно сгладить с использованием непрерывного значения качества, например, сигмоидной функции:

SIGMOID(x; x0; w) = (1 + exp((x0 — x)/w))-1,

где x0 — параметр места, при котором функция имеет значение 0,5, а w — параметр масштаба, указывающий ширину области, в которой функция переходит от \epsilon к 1 - \epsilon .

Примечания

1 Нелинейное отображение позволяет избежать значительного расхождения значений качества между хорошими и очень хорошими изображениями, а также между плохими и очень плохими изображениями.

2 Приблизительное линейное преобразование к диапазону [0; 1] может быть выполнено путем выбора x0 и w, соответствующих центральной части сигмовидной функции.

6.19 Нормализация цветовых значений изображения

Для обработки с использованием СНС значения цвета входного изображения должны быть нормализованы относительно среднего значения M и стандартного отклонения S. Конкретные значения M и S зависят от используемой СНС. Поскольку входное изображение имеет три цветовых канала, M и S являются либо трехмерными векторами, либо скалярами, которые воспроизведены для получения трехмерных векторов.

В качестве входных данных используется изображение I с 3 цветовыми каналами и значениями M и S.

Порядок нормализации цветовых значений изображения

1. Если M — скаляр, то M1 = M2 = M3 = M.

2. Если S — скаляр, то S1 = S2 = S3 = S.

3. Ai,j,k = (Ii,j,k — Mk)/Sk для всех координат пикселей i, j и для всех цветовых каналов k.

4. Вывод A.

7 Элементы качества

7.1 Общие положения

Реализация алгоритма вычисления вектора качества изображения лица должна включать функции, определенные в 7.2 - 7.4.

Если показатель качества невозможно вычислить, например, из-за невозможности локализации обоих глаз, то значение должно быть установлено в соответствии с ГОСТ Р ИСО/МЭК 29794-1.

Если элемент вектора качества является необязательным (см. раздел 5), он может быть пропущен.

Значения показателей качества могут быть рассчитаны как действительные числовые значения, но значения элементов качества должны быть безразмерными целыми числами в диапазоне от 0 до 100 в соответствии с ГОСТ Р ИСО/МЭК 29794-1.

Примечания

1 Все результаты вычислений показателей качества составляют вектор качества. Как правило, между компонентами вектора присутствует корреляция.

2 Испытание алгоритма оценки качества изображения лица может продемонстрировать зависимость компонентов качества от демографических факторов, например, от тона кожи или возраста.

7.2 Комплексный показатель качества

7.2.1 Описание

Реализация должна включать функцию, входным аргументом которой является изображение, а выходным — показатель качества. Входным изображением может быть изображение в градациях серого или цветное изображение. Для изображения X реализация F должна определять скалярный показатель качества Q = F(X).

Примечания

1 Функция должна включать необходимые операции обнаружения, локализации и обработки изображений, которые предшествуют вычислению показателя качества или являются этапом такого вычисления.

2 В качестве указанной функции может использоваться функция комплекта разработки программного обеспечения для распознавания лиц, которая создает биометрический контрольный шаблон лица и определяет показатель качества.

На рисунке 7 представлены четыре изображения лица с различными показателями качества. Изображения с более высоким уровнем качества имеют более высокие значения показателя качества (Q).

Рисунок 7 — Изображения лица с различными показателями качества

7.2.2 Вычисление

Алгоритм машинного обучения, использующий показатели качества, должен быть обучен с целью прогнозирования полезности входного изображения для автоматического распознавания лиц (см. ГОСТ Р ИСО/МЭК 29794-1). Реализация может зависеть от варианта использования.

7.2.3 Преобразование характеристик изображения в показатель качества

Показатель качества должен иметь значение в диапазоне [0; 100]. Алгоритм оценки качества должен быть способен формировать значения во всем диапазоне значений.

Примечание - Формирование значений по всему диапазону может быть проверено путем работы алгоритма на большом и разнообразном наборе тестовых изображений.

Показатель качества должен быть откалиброван по показателям парного и непарного сравнения, рассчитываемым с использованием алгоритма сравнения лиц и набора калибровочных данных, таким образом, чтобы:

• значение показателя качества изображения, у которого средний показатель схожести при парном сравнении с удовлетворительными изображениями-шаблонами лица меньше или равен его среднему показателю схожести при непарном сравнении, было менее 25;
• значение показателя качества изображения, у которого средний показатель схожести при парном сравнении с удовлетворительными изображениями-шаблонами лица выше, чем любые из его показателей схожести при непарном значении (т.е. изображение имеет высокий уровень качества), было более 75.

7.3 Элементы качества, связанные с процессом получения биометрических данных

7.3.1 Общие положения

В настоящем подразделе определены элементы качества, связанные с системой формирования изображения и условиями получения биометрических данных.

Определяемые элементы качества могут быть использованы для мониторинга системы или для оценки требований к качеству в конкретных вариантах использования и изменены в результате воздействия.

Пример - Если система формирует изображения с низким средним значением показателя размытия, оператор должен проверить фокусировку системы. Если система формирует изображения с низким средним значением показателя равномерности освещенности, оператор должен улучшить условия освещения.

7.3.2 Однородность фона

7.3.2.1 Описание

Фон — это любая поверхность или сцена, которая находится позади субъекта персональных данных. Требования к однородности фона определены в ГОСТ Р ИСО/МЭК 19794-5. Определение качества изображения по однородности фона включает проверку однородности, текстуры и баланса белого.

7.3.2.2 Вычисление характеристики изображения

В качестве входных данных используются:

• изображение I размера (616; 616) и матрица преобразования T, полученные в результате процесса выравнивания (п. 6.5);
• карта сегментации M размера (400; 400), полученная согласно 6.6;
• размеры (w; h) исходного изображения (до выравнивания).

Порядок расчета характеристики.

1. Создание изображения в градациях серого A, полностью состоящего из черных пикселей (0), размера (w; h).

2. Применение T к A, кадрирование и/или дополнение изображения до размера (616; 616), получение маски P для дополненных областей. Для дополнения используется белый цвет (255).

3. Кадрирование I и P на 62 пикселя по бокам и на 210 пикселей снизу для приведения области изображения I и P к той, которая покрыта картой сегментации M.

4. Масштабирование I и P до размера (354; 295).

5. Кадрирование карты сегментации M на 23 пикселя по бокам и на 108 пикселей снизу.

6. Определение фоновой маски B:

7. Применение к B функции OpenCV erode с размером ядра 4.

8. Восстановление яркости L изображения I из данных RGB согласно 6.10.

9. Применение к L горизонтального и вертикального фильтров Собеля с размером ядра 3, S_{3}^{x} и S_{3}^{y} соответственно.

10. Вычисление массива G величин градиентов L:

G_{i,j} = \sqrt{S_{3}^{x}(L)_{i,j}^{2} + S_{3}^{y}(L)_{i,j}^{2}} .

11. Вычисление средней длины градиентов фона:

\mu_{I} = (_{(i,} \sum_{j:B_{i,j}} {}_{) = 1}G_{i,j})/ \sum_{i,j} {}_{()}B_{i,j}.

7.3.2.3 Вычисление показателя качества

По отношению к энтропии используется принцип «чем меньше, тем лучше». Показатель качества определяется с использованием сигмоидной функции по формуле

Q = [100(1 - SIGMOID(H;4;0,7) + 0,5].

7.3.3 Равномерность освещенности

7.3.3.1 Описание

Равномерность освещенности оценивается по разности освещенности на левой и правой стороне лица.

Яркость пикселей лица, измеренная по изображению, зависит от падающего света и свойств кожи, включая дерматологическое состояние и наличие татуировок. Измеренная разность между областями левой и правой сторон лица зависит от однородности падающего света и положения головы. Процедура, определенная в данном пункте, требует вычисления оценки поворота головы.

7.3.3.2 Вычисление характеристики изображения

В качестве входных данных используются изображение лица и преобразованные контрольные точки лица, полученные в результате процесса выравнивания согласно 6.5, угол поворота головы \varphi_{YAW} , вычисленный согласно 6.8.

Порядок расчета характеристики

1. Вычисление центров левого и правого глаз (XL; YL) и (XR; YR) соответственно и расстояния между центрами глаз IED согласно 6.9.

2. Квадратная область измерения L левой щеки задается вершинами (XL — 0,3·IED; YL + 0,5·IED) и (XL; YL + 0,8·IED).

3. Квадратная область измерения R правой щеки задается вершинами (XR; YR + 0,5·IED) и (XR + 0,3·IED; YR + 0,8·IED).

4. Определение яркости L и R из данных RGB согласно 6.10.

5. Вычисление гистограмм яркости левой и правой области лица согласно 6.15.

6. Вычисление пересечения гистограмм градаций серого p0, ..., pM и q0, ..., qM левой и правой области лица:

D = \sum_{i = 0}^{M} min(p_{i},q_{i}).

Примечание - Чем более симметрична область лица, тем выше значение D. Необходимо учесть, что большинство лиц являются асимметричными, поэтому вычисления являются приблизительными.

7.3.3.3 Вычисление показателя качества

По отношению к значению D используется принцип «чем меньше, тем хуже», идеальное значение равно 1. Показатель качества определяется по формуле

Q = [100 \cdot D + 0,5].

7.3.4 Элементы качества, связанные с распределением яркости

7.3.4.1 Общие положения

Яркость изображения может быть исследована с использованием гистограммы значений яркости, например яркости в цветовой системе YCBCR. Гистограмма hi значений яркости {}_{i \in}{_{0,...,M}} , где M — максимально возможное значение яркости (например, равное 255 в 8-битном представлении), может быть рассмотрена как функция плотности вероятности, характеризующаяся своими статистическими моментами (см. 6.15).

7.3.4.2 Яркость

Для оценки качества используется абсолютное значение отклонения средней яркости от медианы значений ввиду того, что непосредственно значение средней яркости (низкое или высокое) не отображают эффективность распознавания лица по данному изображению.

Для вычисления характеристики изображения в качестве входных данных используются изображение лица I и маска сегментации S, полученная согласно 6.4.

Порядок расчета характеристики

1. Определение яркости изображения I из данных RGB согласно 6.10.

2. Вычисление гистограммы яркости h0, ..., hM (M = 255) для области S согласно 6.15.

3. Вычисление характеристики изображения \overline{p} по формуле

\overline{p} = 2 \sum_{i = 0}^{M} | \frac{i}{M} - \frac{1}{2} |h_{i}.

Характеристика изображения \overline{p} имеет низкие значения, когда гистограмма яркости сосредоточена около центрального уровня градаций серого (M + 1)/2, и имеет высокие значения на светлых и темных изображениях. Показатель качества определяется по значению \overline{p} по формуле с использованием сигмоидной функции:

Q = 100 \cdot SIGMOID(\overline{p};0,2;0,05) \cdot (1 - SIGMOID(\overline{p};0,8;0,05)),

где [x] — функция округления в большую сторону, дающая наименьшее целое число, большее или равное x.

Функция присваивает низкие значения показателя качества очень темным и очень ярким изображениям и высокие значения для изображений с широким центральным диапазоном. Функция симметрична относительно \overline{p} = 0,5 .

7.3.4.3 Дисперсия яркости

В данном пункте рассмотрен элемент качества, связанный с контрастом изображения. Чрезмерно высокая или низкая дисперсия снизит эффективность распознавания.

Для вычисления характеристики изображения в качестве входных данных используются изображение лица I и маска сегментации S, полученная согласно 6.4.

Порядок расчета характеристики

1. Определение яркости изображения I из данных RGB согласно 6.10.

2. Вычисление гистограммы яркости h0, ..., hM (M = 255) для области S согласно 6.15.

3. Вычисление среднего нормализованного значения серого \overline{h} согласно 6.16.

4. Вычисление характеристики изображения VAR по формуле

VAR(h_{0},...,h_{M}) = \sum_{i = 0}^{M} h_{i}(\frac{i}{M} - \overline{h})^{2}.

Дисперсия имеет низкие значения, когда гистограмма яркости сконцентрирована на высоких или низких значениях. Показатель качества определяется по значению VAR следующим образом:

Q = 100 \cdot sin(\frac{60VAR}{60VAR + 1} \pi) + 0,5.

7.3.4.4 Асимметрия яркости

В данном пункте рассмотрен элемент качества, отражающий асимметрию распределения градаций серого.

Для вычисления характеристики изображения в качестве входных данных используются изображение лица I и маска сегментации S, полученная согласно 6.4.

Порядок расчета характеристики.

1. Определение яркости изображения I из данных RGB согласно 6.10.

2. Вычисление гистограммы яркости h0, ..., hM (M = 255) для области S согласно 6.15.

3. Вычисление среднего нормализованного значения серого \overline{h} согласно 6.16.

4. Вычисление стандартного отклонения для S: \sigma = \sqrt{VAR} , где VAR — дисперсия яркости.

5. Вычисление характеристики изображения \gamma по формуле:

\gamma(h_{0},...,h_{M}) = \sum_{i = 0}^{M} h_{i} \frac{(| \frac{i}{M} - \overline{h}|)^{3}}{\sigma^{3}} .

По отношению к асимметрии используется принцип «чем больше, тем хуже». Показатель качества определяется по формуле с использованием сигмоидной функции:

Q = [100 \cdot (1 - SIGMOID(\gamma;2;0,35) + 0,5].

Показатель качества имеет значения, меньшие 50, при значениях асимметрии, больших 2.

7.3.4.5 Эксцесс распределения яркости

Эксцесс распределения яркости отражает, насколько «тяжелый хвост» имеет распределение градаций серого. Эксцесс является характеристикой остроконечности функции распределения вероятности случайной величины. Как правило, наборы данных с высоким эксцессом имеют отчетливый пик около среднего значения, быстрое снижение и тяжелые хвосты. Наборы данных с низким эксцессом имеют около среднего значения плоскую вершину, а не острый пик. Равномерное распределение является крайним случаем.

Для вычисления характеристики изображения в качестве входных данных используются изображение лица I и маска сегментации S, полученная согласно 6.4.

Порядок расчета характеристики

1. Определение яркости изображения I из данных RGB согласно 6.10.

2. Вычисление гистограммы яркости h0, ..., hM (M = 255) для области S согласно 6.15.

3. Вычисление среднего нормализованного значения серого \overline{h} согласно 6.16.

4. Вычисление стандартного отклонения для S: \sigma = \sqrt{VAR} , где VAR — дисперсия яркости.

5. Вычисление характеристики изображения \kappa по формуле

\kappa(h_{0},...,h_{M}) = \sum_{i = 0}^{M} h_{i} \frac{(| \frac{i}{M} - \overline{h}|)^{4}}{\sigma^{4}} .

Отрицательное значение эксцесса распределения яркости указывает на «легкие хвосты», а положительное значение эксцесса — на «тяжелые хвосты». При увеличении модуля эксцесса показатель качества уменьшается. Показатель качества определяется по формуле с использованием сигмоидной функции:

Q = [100 \cdot SIGMOID(\kappa;2;0,5) \cdot (1 - SIGMOID(\kappa;10;2)) + 0,5].

Показатель качества имеет низкие значения при низком значении эксцесса (менее 1) и высоком значении эксцесса (более 3).

7.3.5 Недоэкспонирование

7.3.5.1 Описание

Изображение лица считается слишком темным, если оно имеет большую долю пикселей с низким значением яркости.

Примечание - При использовании инвариантной установки освещения субъекта персональных данных может возникнуть недоэкспонирование или переэкспонирование в зависимости от пигментации кожи субъекта.

7.3.5.2 Вычисление характеристики изображения

В качестве входных данных используются:

• изображение лица I;
• маска сегментации S, полученная согласно 6.4;
• маска сегментации открытых частей лица O, полученная согласно 6.7.

Порядок расчета характеристики

1. Определение верхней области контрольных точек лица S', ограниченной контрольными точками, находящимися от середины отрезка между центрами глаз не дальше, чем кончик носа.

2. Определение открытой верхней области контрольных точек лица S» как пересечения верхней области контрольных точек лица S' и областей, отмеченных открытыми в маске сегментации O.

3. Определение яркости изображения I из данных RGB согласно 6.10.

4. Вычисление гистограммы яркости h0, ..., hM (M = 255) для области S» согласно 6.15.

5. Вычисление характеристики v по формуле с использованием значений гистограммы яркости:

v = \sum_{i = 0}^{25} h_{i}.

Характеристика v является долей пикселей, яркость которых находится в диапазоне [0; 25].

7.3.5.3 Вычисление показателя качества

По отношению к характеристике v используется принцип «чем больше, тем хуже». Показатель качества определяется по формуле

Q = [100 \cdot (1 - v) + 0,5].

7.3.6 Переэкспонирование

7.3.6.1 Описание

Изображение лица считается светлым, если оно имеет большую долю пикселей с высоким значением яркости, то есть бликов.

Примечание - При использовании инвариантной установки освещения субъекта персональных данных может возникнуть недоэкспонирование или переэкспонирование в зависимости от пигментации кожи субъекта.

7.3.6.2 Вычисление характеристики изображения

В качестве входных данных используются:

• изображение лица I;
• маска сегментации S, полученная согласно 6.4;
• маска сегментации открытых частей лица O, полученная согласно 6.7.

Порядок расчета характеристики

1. Определение верхней области контрольных точек лица S', ограниченной контрольными точками, находящимися от середины отрезка между центрами глаз не дальше, чем кончик носа.

2. Определение открытой верхней области контрольных точек лица S» как пересечения верхней области контрольных точек лица S' и областей, отмеченных открытыми в маске сегментации O.

3. Определение яркости изображения I из данных RGB согласно 6.10.

4. Вычисление гистограммы яркости h0, ..., hM (M = 255) для области S» согласно 6.15.

5. Вычисление характеристики v по формуле с использованием значений гистограммы яркости

v = \sum_{i = 247}^{255} h_{i}.

Характеристика v является долей пикселей, яркость которых находится в диапазоне [247; 255].

7.3.6.3 Вычисление показателя качества

По отношению к характеристике v используется принцип «чем больше, тем хуже».

Показатель качества определяется по формуле

Q = [100·(1 — SIGMOID(v; 0,1; 0,01) + 0,5].

7.3.7 Динамический диапазон

7.3.7.1 Описание

Согласно ГОСТ Р ИСО/МЭК 19794-5 динамический диапазон изображения должен иметь не менее 7 бит изменения интенсивности (диапазон, состоящий минимум из 128 уникальных значений) в области лица на изображении. Область лица определяется как область от макушки до подбородка и от левого уха до правого уха.

7.3.7.2 Вычисление характеристики изображения

В качестве входных данных используются изображение лица I и маска сегментации S, полученная согласно 6.4.

Порядок расчета характеристики

1. Определение яркости изображения I из данных RGB согласно 6.10.

2. Вычисление гистограммы яркости h0, ..., hM (M = 255) для области S согласно 6.15.

3. Вычисление энтропии H согласно 6.17.

Согласно ГОСТ Р ИСО/МЭК 19794-5 значение H должно быть больше или равно 7, иначе изображение экспонировано некорректно.

Примечание - Для данного требования может потребоваться индивидуальная настройка установок камеры, устройства оцифровки видеоизображения или сканера, если тон кожи слишком светлый или темный по сравнению со средним значением по популяции.

7.3.7.3 Вычисление показателя качества

По отношению к значению H используется принцип «чем больше, тем лучше». Показатель качества определяется по значению H по формуле

Q = 12,5·H.

7.3.8 Фокусировка и глубина резкости

7.3.8.1 Описание

Фокусировка может быть количественно измерена по разнице между изображением и изображением с фильтрацией среднего значения с сеткой 3 x 3.

Данный элемент качества может быть использован для выбора изображения лица с максимальной фокусировкой среди нескольких изображений лица одного и того же субъекта персональных данных.

7.3.8.2 Вычисление характеристики изображения

В качестве входных данных используются:

• изображение лица I;
• маска сегментации S, полученная согласно 6.4;
• маска сегментации открытых частей лица O, полученная согласно 6.7.

Порядок расчета характеристики

1. Определение верхней области контрольных точек лица S', ограниченной контрольными точками, находящимися от середины отрезка между центрами глаз не дальше, чем кончик носа.

2. Определение открытой верхней области контрольных точек лица S» как пересечения верхней области контрольных точек лица S' и областей, отмеченных открытыми в маске сегментации O.

3. Определение яркости изображения I из данных RGB согласно 6.10.

4. Вычисление гистограммы яркости h0, ..., hM (M = 255) для области S» согласно 6.15.

5. Вычисление изображения B(I), которое является результатом свертки входного изображения I с фильтром среднего значения размером 3 x 3.

6. Вычисление разностного изображения D = |B(I) — I|.

7. Вычисление среднего значения по формуле

SHARPNESS = \frac{1}{WH} \sum_{i = 1}^{H} \sum_{j = 1}^{W} D_{ij},

где W и H — ширина и высота входного изображения соответственно.

Низкие значения SHARPNESS указывают на то, что изображение является размытым.

7.3.8.3 Вычисление показателя качества

По отношению к характеристике SHARPNESS используется принцип «чем меньше, тем хуже». Показатель качества определяется по формуле

Q = [100 \cdot \frac{SHARPNESS}{255} + 0,5].

7.3.9 Размытие вследствие движения (линейный смаз)

7.3.9.1 Описание

Согласно ГОСТ Р ИСО/МЭК 19794-5 на изображении должны отображаться все мелкие детали лица диаметром до одного миллиметра, такие как морщины и родинки.

7.3.9.2 Вычисление характеристики изображения

В качестве входных данных используются изображение лица I и маска сегментации S, полученная согласно 6.4.

Порядок расчета характеристики

1. Поиск на изображении I с помощью маски сегментации S минимальной квадратной области R размера N, которая может быть полностью размещена вокруг области лица.

2. Определение яркости L изображения из данных RGB для области лица R согласно 6.10.

3. Применение окна Ханна к L.

4. Вычисление дискретного преобразования Фурье (ДПФ) для L.

5. Вычисление логарифма модуля ДПФ.

6. Вычисление кепстра — обратного ДПФ логарифмического спектра.

7. Анализ кепстра в полярных координатах: нахождение первого от начала координат отрицательного пика.

8. Вычисление количества T пикселей от подбородка до середины отрезка между центрами глаз.

9. F = r/T.

Примечание - Использование T для нормализации обеспечит инвариантность угла поворота головы, но введет зависимость от угла наклона головы, который, предположительно, будет меньше угла поворота.

7.3.9.3 Вычисление показателя качества

По отношению к значению r используется принцип «чем меньше, тем хуже». Показатель качества определяется по формуле

Q = [100 \cdot (1 - SIGMOID(F;0;0,0825)) + 0,5].

Примечание - Показатель качества существенно уменьшается даже при небольшом размытии изображения. Например, если F = 0,04 (т.е. 4% от IED), то Q = 38.

7.3.10 Коэффициент сжатия

7.3.10.1 Описание

В данном элементе качества измеряется коэффициент сжатия изображения в области лица.

7.3.10.2 Вычисление характеристики изображения

Порядок расчета характеристики

1. Определение размера сжатых данных Tc путем анализа записи или файла.

2. Определение размера несжатых данных Tu как произведения ширины, высоты, числа цветовых каналов и числа битов на канал.

3. Приведение обеих величин к одним единицам измерения (например, байтам) и определение коэффициента сжатия:

CR = min(1; \frac{T_{c}}{T_{u}}).

Примечание - В некоторых случаях размер выходных данных алгоритма сжатия может быть больше, чем размер входных данных, если в качестве входных данных используются уже сжатые данные.

7.3.10.3 Вычисление показателя качества

По отношению к значению CR используется принцип «чем меньше, тем хуже». Показатель качества определяется по формуле с использованием сигмоидной функции:

Q = [100 \cdot SIGMOID(CR;0,08;0,02) + 0,5].

7.3.11 Неестественные цвета и цветовой баланс

7.3.11.1 Описание

Естественность тона кожи проверяется путем рассмотрения значений каналов a* b* цветового пространства CIELAB Lab* (см. ГОСТ Р 58668.3). Согласно ГОСТ Р 58668.3, D.2, значения a* и b* должны быть положительными. При этом наличие положительных значений не является достаточным условием для гарантии естественного цвета. Отрицательные значения a* и b* допустимы только по медицинским показаниям.

7.3.11.2 Вычисление характеристики изображения

Типичные значения цвета кожи Lab* находятся в диапазоне от 5 до 25 для a* и от 5 до 35 для b*. На основе этих предельных значений средние значения плато тона кожи составляют 15 для a* и 20 для b*. Характеристика изображения не рассчитывается для изображений, у которых один канал яркости и отсутствуют каналы цвета.

В качестве входных данных используются изображение лица I и маска сегментации S, полученная согласно 6.4.

Порядок расчета характеристики

1. Разделение изображения лица I с помощью карты сегментации S на левую и правую области согласно 7.3.3.2, определение среднего значения пикселей для каждого цветового канала в левой и правой областях.

2. Конвертация значений RGB в пространство CIELAB согласно 6.12, получение значений a* и b*.

3. Если хотя бы одно из значений a* и b* отрицательно, D = 100, дальнейшие вычисления не выполняются.

4. D = \sqrt{max(max(0,5 - a*),max(0,a* - 25))^{2} + max(max(0,5 - b*),max(0,b* - 35))^{2}} , где D — расстояние в цветовом пространстве цвета кожи (a*; b*).

Примечания

1 Вычисление средних значений RGB для всех пикселей выполняется быстрее, чем вычисление значений CIELAB для всех пикселей с последующим получением средних значений CIELAB.

2 Этот компонент качества оценивает только то, находится ли цвет кожи в диапазоне правдоподобного цвета кожи человека. Он не дает информации о том, является ли изображение лица точным и достоверным представлением субъекта персональных данных.

7.3.11.3 Вычисление показателя качества

Значение D показывает степень неестественности цвета кожи. По отношению к значению D используется принцип «чем больше, тем хуже». Показатель качества определяется по формуле с использованием сигмоидной функции:

Q = [100 \cdot (1 - SIGMOID(D;0;10) + 0,5].

7.4 Элементы качества, связанные с субъектом персональных данных

7.4.1 Общие положения

Элементы качества, указанные в 7.4.2 - ₇.4.16, относятся к поведению субъекта персональных данных и могут зависеть от конструкции системы с учетом человеческого фактора. Если качество получаемых данных оценивается как низкое, субъекту персональных данных должна быть предоставлена обратная связь, чтобы он мог предпринять действия для улучшения качества получения данных.

7.4.2 Присутствие одного лица на изображении

7.4.2.1 Описание

Изображение должно содержать только одно лицо. Тем не менее некоторые изображения могут содержать посторонние лица на заднем плане. Детектор может обнаружить такие лица и передать их модулю распознавания, что приведет, например, к ложному недопуску.

7.4.2.2 Вычисление характеристики изображения

Порядок расчета характеристики

1. Обнаружение лиц согласно 6.2.

2. Вычисление уникальности лица f.

3. Если лица не обнаружены, уникальность f = 1.

4. Если обнаружено одно лицо, f = 0.

5. В остальных случаях для каждого обнаруженного лица — вычисление количества пикселей от подбородка до середины отрезка между центрами глаз, T.

6. Поиск первых двух по величине значений T1 и T2.

7. Вычисление уникальности f = T2/T1.

7.4.2.3 Вычисление показателя качества

Показатель качества определяется по формуле

Q = [100 \cdot (1 - f) + 0,5].

7.4.3 Видимость глаз

7.4.3.1 Описание

Один или оба глаза могут отсутствовать на изображении лица из-за перекрытия (очки, волосы, шарфы) или вращения головы (поворота или наклона).

7.4.3.2 Вычисление характеристик изображения

В качестве входных данных используются:

• контрольные точки лица L0, ..., L97, определенные согласно 6.3;
• угол поворота головы \varphi_{YAW} , вычисленный согласно 6.8;
• маска сегментации открытых частей лица O, полученная согласно 6.7.

Порядок расчета характеристики

1. По контрольным точкам лица и углу поворота \varphi_{YAW} вычисление расстояния между центрами глаз IED согласно 6.9.

2. Вычисление расстояния смещения V зоны видимости глаз как 5% от IED.

3. Вычисление минимального прямоугольника R1, содержащего контрольные точки контура правого глаза субъекта персональных данных, т.е. контрольные точки L60, ..., L67.

4. Увеличение R1 со всех сторон на V пикселей.

5. Вычисление минимального прямоугольника R2, содержащего контрольные точки левого глаза субъекта персональных данных, т.е. контрольные точки L68, ..., L75.

6. Увеличение R2 со всех сторон на V пикселей.

7. Определение зоны видимости глаз, E, как объединения R1 и R2, т.е. E = R_{1} \cup R_{2} .

8. Определение доли перекрытия глаз \alpha как |E \cap O\prime|/|E| , где O' — область, помеченная как перекрытая в маске сегментации O, а |E| — площадь области E.

7.4.3.3 Вычисление показателя качества

Показатель качества определяется по формуле

Q = [100\alpha + 0,5].

7.4.4 Открытость глаз

7.4.4.1 Описание

Согласно ГОСТ Р ИСО/МЭК 19794-5 оба глаза должны быть нормально (нешироко) открыты. Радужная оболочка глаза и зрачок должны быть видимыми.

7.4.4.2 Вычисление характеристики изображения

В качестве входных данных используются контрольные точки лица L₀, ..., L₉₇, определенные согласно 6.3.

Порядок расчета характеристики

1. Вычисление количества пикселей T от подбородка до середины отрезка между центрами глаз:

T = || \frac{(L_{60} + L_{64} + L_{68} + L_{72})}{4} - L_{16}||_{2}.

2. Вычисление наибольшего расстояния DL между верхним и нижним веками левого глаза:

DL = max(||L69 — L75||2; ||L70 — L74||2; ||L71 — L73||2).

3. Вычисление наибольшего расстояния DR между верхним и нижним веками правого глаза:

DR = max(||L61 — L67||2; ||L62 — L66||2; ||L63 — L65||2).

4. Размер глазного отверстия определяется как наименьшее из DL и DR:

DPAL = min(DL; DR).

5. Вычисление характеристики открытости глаз:

\omega = \frac{D_{PAL}}{T} .

Примечание - Измерение малых значений DPAL может быть затруднено на изображениях с низким разрешением. Например, на изображении с расстоянием между центрами глаз, равным 75 пикселей, что соответствует примерно одному пикселю на миллиметр, глазная щель размером 2 мм будет соответствовать 2 пикселям.

7.4.4.3 Вычисление показателя качества

По отношению к значению \omega используется принцип «чем больше, тем лучше». Показатель качества определяется по формуле с использованием сигмоидной функции:

Q = [100 \cdot SIGMOID(\omega;0,02;0,01) + 0,5].

7.4.5 Взгляд в камеру

7.4.5.1 Описание

Субъект персональных данных должен смотреть прямо в камеру.

7.4.5.2 Вычисление характеристики изображения

В качестве входных данных используются контрольные точки лица L0, ..., L97, определенные согласно 6.3.

Порядок расчета характеристики

1. Определение центров CL = (XL; YL) и CR = (XR; YR) левого и правого глаза соответственно согласно 6.9.

2. Вычисление расстояния WL между внутренним и внешним углами левого глаза:

WL = ||L68 — L72||2.

3. Вычисление расстояния WR между внутренним и внешним углами правого глаза:

WR = ||L60 — L64||2.

4. Вычисление расстояния DL между внутренним углом и центром левого глаза:

DL = ||L68 — CL||2.

5. Вычисление расстояния DR между внутренним углом и центром правого глаза:

DR = ||L64 — CR||2.

6. R_{L} = \frac{D_{L}}{W_{L}} , R_{R} = \frac{D_{R}}{W_{R}} .

7.4.5.3 Вычисление показателя качества

По отношению к значению x используется принцип «чем меньше, тем лучше». Показатель качества определяется по формуле:

7.4.6 Перекрытие рта

7.4.6.1 Описание

Рот может отсутствовать на изображении из-за закрытия артефактом (медицинская маска, шарф) или вращения головы (поворота или наклона).

7.4.6.2 Вычисление характеристики изображения

В качестве входных данных используются:

• изображение лица I;
• контрольные точки лица L₀, ..., L₉₇, определенные согласно 6.3;
• маска сегментации открытых частей лица O, полученная согласно 6.7.

Порядок расчета характеристики

1. Определение на изображении I области M, ограниченной контрольными точками, обозначающими контур рта, т.е. контрольными точками L76, ..., L87.

2. Определение доли перекрытия рта \alpha как |M \cap O\prime|/|M| , где O' — область, помеченная как перекрытая в маске сегментации O, а |M| — площадь области M.

7.4.6.3 Вычисление показателя качества

По отношению к значению \alpha используется принцип «чем меньше, тем лучше». Показатель качества определяется по формуле

Q = [100 \cdot (1 - \alpha) + 0,5].

7.4.7 Закрытость рта

7.4.7.1 Описание

Согласно ГОСТ Р ИСО/МЭК 19794-5 выражение лица должно быть нейтральным (без улыбки), рот закрыт, зубы не видны.

7.4.7.2 Вычисление характеристики изображения

В качестве входных данных используются контрольные точки лица L₀, ..., L₉₇, определенные согласно 6.3.

Порядок расчета характеристики

1. Вычисление количества пикселей T от подбородка до середины отрезка между центрами глаз:

T = || \frac{(L_{60} + L_{64} + L_{68} + L_{72})}{4} - L_{16}||_{2}.

2. Вычисление максимального расстояния D между внутренними контурами верхней и нижней губы:

D = max(||L89 — L95||2; ||L90 — L94||2; ||L91 — L93||2).

3. Вычисление характеристики раскрытия рта по формуле

\omega = \frac{D}{T} .

7.4.7.3 Вычисление показателя качества

По отношению к значению \omega используется принцип «чем меньше, тем лучше». Показатель качества определяется по формуле с использованием сигмоидной функции:

Q = [100 \cdot (1 - SIGMOID(\omega;0,2;0,06)) + 0,5].

7.4.8 Перекрытие лица

7.4.8.1 Описание

Перекрытие лица определяется в соответствии с 6.7.

К перекрытию относятся:

• волосы, закрывающие лицо;
• волосы, свисающие на глаза;
• высунутый изо рта язык;
• макияж, если присутствует видимая граница кожи лица (в случае неестественного цвета макияжа);
• непрозрачные линзы очков;
• оправа очков, если закрывает хотя бы один глаз;
• любые предметы (маски, руки).

К перекрытию не относятся:

• борода и усы;
• прозрачные линзы очков;
• брови;
• отсутствие видимости лица при наклоне или повороте.

7.4.8.2 Вычисление характеристики изображения

В качестве входных данных используются карта сегментации S, полученная согласно 6.4, и карта сегментации открытых частей лица O, полученная согласно 6.7.

Доля перекрытой области лица \alpha определяется как |F \cap O\prime|/|F| , где O' — область, помеченная как перекрытая в маске сегментации O, а |F| — площадь области лица F.

7.4.8.3 Вычисление показателя качества

По отношению к значению \alpha используется принцип «чем меньше, тем лучше». Показатель качества определяется по формуле

Q = [100 \cdot (1 - \alpha) + 0,5].

7.4.9 Расстояние между центрами глаз

7.4.9.1 Описание

На расстояние между центрами глаз (IED), измеренное в пикселях, влияют частота дискретизации аппаратно-программной системы формирования изображений, расстояние от камеры до субъекта персональных данных и размер субъекта.

Примечание - IED не используется для представления разрешения, поскольку разрешение будет уменьшаться из-за дефокусировки, размытия и сжатия даже при зафиксированной частоте пространственной дискретизации. IED может быть использовано для представления разрешения, если указанные факторы учтены путем тщательного проектирования и настройки.

7.4.9.2 Вычисление характеристики изображения

Характеристика изображения IED рассчитывается согласно 6.9.

7.4.9.3 Вычисление показателя качества

По отношению к значению IED используется принцип «чем меньше, тем хуже». Показатель качества определяется по формуле

Q = [100 \cdot SIGMOID(IED;70;20) + 0,5].

Примечание - Данная функция присваивает низкое значение качества при низких значениях IED. Избегание низких значений IED позволяет: 1) обеспечить соответствие фактической производительности распознавания лиц; 2) улучшить алгоритмы следующего поколения путем фиксирования дополнительной информации на изображениях, такой как текстура кожи; 3) обеспечить возможность визуальной экспертизы в некоторых вариантах использования.

7.4.10 Размер головы

7.4.10.1 Описание

Требования к размеру и положению лица на изображении установлены в ГОСТ Р ИСО/МЭК 19794-5-2013 (пункт 8.3).

7.4.10.2 Вычисление характеристики изображения

В качестве входных данных используются контрольные точки лица L0, ..., L97, определенные согласно 6.3.

Порядок расчета характеристики

1. Вычисление количества пикселей T от подбородка до середины отрезка между центрами глаз:

T = || \frac{(L_{60} + L_{64} + L_{68} + L_{72})}{4} - L_{16}||_{2}.

2. Определение высоты изображения B.

3) D = T/B.

7.4.10.3 Вычисление показателя качества

Низкие значения D указывают на некачественную композицию изображения. Показатель качества определяется по формуле:

Q = [100 \cdot (1 - SIGMOID(|D - 0,75|;0;5) + 0,5].

7.4.11 Горизонтальное положение лица

7.4.11.1 Описание

Требования к размеру и положению лица на изображении установлены в ГОСТ Р ИСО/МЭК 19794-5-2013 (пункт 8.3).

7.4.11.2 Вычисление характеристики изображения

В качестве входных данных используются:

• изображение лица I;
• контрольные точки лица L₀, ..., L₉₇, определенные согласно 6.3;
• угол поворота головы \varphi_{YAW} , вычисленный согласно 6.8.

Порядок расчета характеристики

1. Определение центров (XL; YL) и (XR; YR) левого и правого глаза соответственно и расстояния IED между ними согласно 6.9.

2. Определение ширины A изображения I.

7.4.11.3 Вычисление показателя качества

Показатель качества, связанный со смещением лица в правую сторону изображения, определяется по формуле

Q = [100 \cdot SIGMOID(\frac{A - X_{L}}{IED} ;0,9;0,1) + 0,5].

Показатель качества, связанный со смещением лица в левую сторону изображения, определяется по формуле

Q = [100 \cdot SIGMOID(\frac{X_{R}}{IED} ;0,9;0,1) + 0,5].

7.4.12 Вертикальное положение лица

7.4.12.1 Описание

Требования к размеру и положению лица на изображении установлены в ГОСТ Р ИСО/МЭК 19794-5-2013 (пункт 8.3).

7.4.12.2 Вычисление характеристики изображения

Порядок расчета характеристики

1. Определение центров (XL; YL) и (XR; YR) левого и правого глаза соответственно и расстояния IED между ними согласно 6.9.

2. Определение средней точки между центрами глаз (XC; YC).

3. Определение высоты изображения B.

7.4.12.3 Вычисление показателя качества

Показатель качества, связанный со смещением лица вниз, определяется по формуле

Q = [100 \cdot SIGMOID(\frac{Y_{C}}{IED} ;1,4;0,1) + 0,5].

Показатель качества, связанный со смещением лица вверх, определяется по формуле

Q = [100 \cdot SIGMOID(\frac{B - Y_{C}}{IED} ;1,8;0,1) + 0,5].

7.4.13 Положение головы

7.4.13.1 Описание

Положение головы — это ориентация головы относительно оптической оси. Согласно ГОСТ Р ИСО/МЭК 19794-5 и ГОСТ Р 58668.3 положение выражается углами поворота, наклона и отклонения головы субъекта персональных данных вокруг координатных осей. Абсолютное положение головы на изображении влияет на точность.

Примечания

1 Настоящий стандарт не определяет методы оценки углов положения. Современные подходы используют морфируемые модели и нейронные сети.

2 Допустимые значения углов положения головы представлены в ГОСТ Р ИСО/МЭК 19794-5-2023 (пункт 7.2).

7.4.13.2 Угол поворота

Согласно ГОСТ Р ИСО/МЭК 19794-5 угол поворота должен быть выражен в градусах и соответствовать вращению вокруг оси y (вертикальная ось).

Характеристика изображения рассчитывается согласно 6.8.

По отношению к углу поворота используется принцип «чем меньше, тем лучше». Показатель качества определяется по формуле

Q = [100 \cdot max(0;cos\varphi_{YAW})^{2} + 0,5].

7.4.13.3 Угол наклона

Согласно ГОСТ Р ИСО/МЭК 19794-5 угол наклона должен быть выражен в градусах и соответствовать вращению вокруг оси x (горизонтальная ось).

Характеристика изображения рассчитывается согласно 6.8.

По отношению к углу наклона используется принцип «чем меньше, тем лучше». Показатель качества определяется по формуле

Q = [100 \cdot max(0;cos\varphi_{PITCH})^{2} + 0,5].

7.4.13.4 Угол отклонения

Согласно ГОСТ Р ИСО/МЭК 19794-5 угол отклонения должен быть выражен в градусах и соответствовать вращению вокруг оси z (горизонтальная ось, направленная вперед).

Примечания - В случае расположения головы в профиль, когда угол поворота равен 90°, угол отклонения рассчитать невозможно.

Характеристика изображения рассчитывается согласно 6.8.

Показатель качества определяется по формуле:

Q = [100 \cdot max(0;cos\varphi_{ROLL})^{2} + 0,5].

Если \varphi_{ROLL}>90^{\circ} , Q = 0.

7.4.14 Положение плеч

7.4.14.1 Описание

Согласно ГОСТ Р ИСО/МЭК 19794-5 плечи должны быть «обращены» к камере.

7.4.14.2 Вычисление характеристики изображения

Реализация должна оценивать угол \varphi между линией, параллельной оптической оси, и линией, параллельной ключице субъекта персональных данных.

7.4.14.3 Вычисление показателя качества

Правильное положение плеч соответствует \varphi = 90^{\circ} . Показатель качества определяется по формуле

Q = max(0;[100 \cdot sin\varphi + 0,5]).

7.4.15 Наличие головного убора

7.4.15.1 Описание

Характеристика изображения определяет наличие головного убора у субъекта персональных данных.

7.4.15.2 Вычисление характеристики изображения

В качестве входных данных используется карта сегментации M, определенная согласно 6.6.

Порядок расчета характеристики

1. Кадрирование M на 204 пикселя снизу.

2. Вычисление количества пикселей № со значением от 16 до 18 карты сегментации M.

7.4.15.3 Вычисление показателя качества

Показатель качества определяется по формуле

8 Функции алгоритма оценки качества

8.1 Общие положения

Реализация алгоритма оценки качества изображения лица может реализовать функции, определенные в настоящем разделе.

8.2 Выбор изображений

8.2.1 Спецификация

Реализация алгоритма оценки качества должна обеспечить два режима функции:

• одновременный режим: функция, которая принимает K > 1 изображений, собранных в одной сессии, как правило, с интервалом между изображениями в несколько секунд;
• интервальный режим: функция, которая принимает K > 1 изображений, собранных в разных сессиях, с опциональным указанием дат.

Реализация алгоритма должна возвращать показатели качества.

8.2.2 Возвращаемое значение

Реализация должна возвращать одно из следующих значений:

• индекс изображения самого высокого качества в диапазоне [0; K — 1] и показатель качества в соответствии с 7.2;
• сортированный ранжированный список из K записей, каждая из которых содержит индекс в диапазоне [0; K — 1] и показатель качества в соответствии с 7.2.

8.3 Агрегирование показателей качества

8.3.1 Назначение

Агрегирование показателей качества по множеству транзакций сбора данных может быть использовано для изучения тенденций качества во времени или местоположении, а также для разных устройств или протоколов сбора данных. Подобное использование программного обеспечения не влияет на само событие сбора данных. Таким образом, требования настоящего подраздела могут применяться к программному обеспечению или продукту, отличному от указанного в предыдущих подразделах.

8.3.2 Спецификация функции

Реализация оценки качества должна включать функцию агрегирования показателей качества. Функция агрегирования должна принимать K > 1 скалярных значений показателей качества (как правило, K >> 1) изображений лиц множества индивидов и возвращать единое скалярное обобщенное значение, представляющее качество изображений множества.

Реализация может возвращать дополнительные значения, которые должны быть в таком случае задокументированы.

Функция агрегирования может принимать изображения в качестве входных данных.

Совокупное значение, вычисленное из набора изображений, собранных при определенном фиксированном наборе условий, должно быть сопоставимо с совокупным значением, вычисленным из разных наборов изображений.

8.3.3 Возвращаемое значение

Функция должна возвращать значение показателя качества в диапазоне [0; 100].

БИБЛИОГРАФИЯ

[1]	МЭК 61966-2-1 (1999)	Системы и аппаратура мультимедиа. Измерение цвета и управление им. Часть 2-1. Управление цветом. Цветовое пространство RGB («красный, желтый, зеленый»), используемое по умолчанию (Multimedia systems and equipment. Colour measurement and management. Part 2-1. Colour management. Default RGB colour space — sRGB)
[2]	МЭК 61966-2-2 (2003)	Системы и аппаратура мультимедиа. Измерение цвета и управление им. Часть 2-2. Управление цветом. Расширенное цветовое пространство «красный, желтый, зеленый» (Multimedia systems and equipment — Colour measurement and management — Part 2-2: Colour management — Extended RGB colour space — scRGB)

УДК 336.77:002:006.354	ОКС 35.240.15
Ключевые слова: информационные технологии, биометрия, качество изображения лица, показатель качества, комплексный показатель качества

---