ГОСТ Р 56087.1-2014. Национальный стандарт Российской Федерации. Система национальных стандартов в области качества услуг связи. Методика проведения испытаний с помощью контрольных вызовов

(утв. и введен в действие Приказом Росстандарта от 19.08.2014 № 910-ст)

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Дата введения

Предисловие

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 19 августа 2014 г. № 910-ст

5 ПЕРЕИЗДАНИЕ. Февраль 2020 г.

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

1 Область применения

Настоящий стандарт устанавливает методику проведения испытаний с помощью контрольных вызовов с целью сбора информации для оценки показателей качества обслуживания вызовов при внутренних и внешних аудитах качества услуг связи.

Настоящий стандарт предназначен для использования хозяйствующими субъектами, действующими в области оказания услуг связи, контролирующими их органами, включая органы по сертификации, и другими заинтересованными в сборе такой информации сторонами как при проведении внешних и внутренних аудитов качества услуг связи, так и при проведении любых исследований в области деятельности хозяйствующего субъекта.

На основе настоящего стандарта хозяйствующими субъектами, действующими в области оказания услуг связи, могут быть разработаны собственные (внутренние) документы, определяющие методику проведения испытаний с помощью контрольных вызовов.

Структура методики в настоящем стандарте соответствует рекомендациям, приведенным в [1].

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19472 Система автоматизированной телефонной связи общегосударственная. Термины и определения

ГОСТ Р 50779.11 Статистические методы. Статистическое управление качеством. Термины и определения <1>

---

<1> Действует ГОСТ Р ИСО 3534-2-2019.

ГОСТ Р 53731 Качество услуг связи. Термины и определения

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р 53731, ГОСТ Р 50779.11, ГОСТ 19472, а также следующие термины с соответствующими определениями:

3.1 вызов (call): Попытка установления соединения с одним или несколькими вызываемыми абонентами [2].

3.2 испытание, тестирование (testing): Проведение проверок с целью контроля состояния объекта или качества связи [2].

3.3 потерянный вызов (lost call): Вызов, который не был завершен в процессе установления связи; при этом безуспешная попытка вызова из-за занятости абонента не считается потерянным вызовом [2].

3.4 час наибольшей телефонной нагрузки (busy telephone traffic hour): Непрерывный интервал времени в 60 мин, в течение которого средняя интенсивность телефонной нагрузки является максимальной.

3.5 телефонные потери по вызовам (telephone call loss): Отношение числа потерянных за определенный интервал времени телефонных вызовов к числу вызовов, поступивших за то же время [3].

3.6 качество обслуживания телефонных вызовов (quality of telephone call service): Свойство системы распределения информации, определяемое совокупностью вероятностных оценок телефонных потерь и ожидания обслуживания телефонных вызовов.

3.7 ручной контроль (manual observation): Контроль телефонных соединений, проводимый наблюдением без использования автоматического оборудования регистрации данных [4].

3.8 автоматический контроль (automatic observation): Контроль телефонных соединений без вмешательства наблюдателя [4].

3.9 телефонный автоответчик (telephone answering set): Устройство, обеспечивающее автоматическую запись и воспроизведение сообщений для обеспечения телефонной связи.

3.10 телефонный аппарат (telephone set): Оконечное абонентское телефонное устройство, предназначенное для передачи и приема речи, линейных, информационных сигналов телефонной сети и сигналов управления.

3.11 телефонное соединение (telephone call connection): Совокупность процессов, связанных с занятием, использованием и освобождением линий, каналов телефонной сети и коммутационных приборов связи для обслуживания телефонного вызова, закончившегося разговором.

4 Методика проведения испытаний с помощью контрольных вызовов

4.1 Объект и предмет испытаний

4.1.1 Объектом испытаний являются услуги связи, оказываемые оператором связи.

4.1.2 Предметом испытаний являются показатели качества, оценивающие следующие потребительские свойства услуг связи:

- доступность [сети, соединения, службы (технической поддержки, информационно-справочной службы)];

• качество обслуживания вызовов.

4.1.3 Показатели качества, оценивающие приведенные в 4.1.2 потребительские свойства, определяют путем проведения испытаний с помощью контрольных вызовов [1], [3], [5], [6].

4.1.4 По каждому показателю качества услуг связи определенного вида задают временные интервалы, направления связи, используемое оборудование, формы регистрации результатов, объем и порядок проведения контрольных вызовов.

4.1.5 Для обеспечения достоверности результатов контрольных вызовов их количество должно быть репрезентативным.

4.2 Определяемые характеристики

4.2.1 На основе испытаний с помощью контрольных вызовов оценивают телефонные потери по вызовам:

• при доступе к соединению;
• соединении в пределах сети оператора;
• междугородном соединении;
• международном соединении;
• соединении со службой технической поддержки оператора;
• соединении со справочно-информационными службами оператора;
• соединении с экстренными/не экстренными службами.

В зависимости от состава показателей качества услуги могут быть получены оценки суммарных телефонных потерь по вызовам, а также потерь на отдельных участках сети оператора.

4.2.2 Состав основных показателей качества услуг связи, определяемых по результатам испытаний с помощью контрольных вызовов, приведен в таблицах 1 - 6.

Таблица 1

Состав основных показателей качества услуг местной телефонной связи, определяемых по результатам испытаний с помощью контрольных вызовов

Потребительское свойство услуги	Наименование показателя качества услуги связи
Доступность соединения	Доля (процент) безуспешных попыток доступа к соединению
Качество обслуживания вызовов	Потери вызовов при соединении в пределах местной сети оператора
Доступность службы	Доля (процент) успешных, то есть приведших к содержательному информационному обмену, обращений к службе

Таблица 2

с помощью контрольных вызовов

Потребительское свойство услуги	Наименование показателя качества услуги связи
Доступность соединения	Доля (процент) безуспешных попыток доступа к соединению
Качество обслуживания вызовов	Потери вызовов при соединении в пределах междугородной сети оператора
Доступность службы	Доля (процент) успешных, то есть приведших к содержательному информационному обмену, обращений к службе

Таблица 3

с помощью контрольных вызовов

Потребительское свойство услуги	Наименование показателя качества услуги связи
Доступность соединения	Доля (процент) безуспешных попыток доступа к соединению
Качество обслуживания вызовов	Потери вызовов при соединении в пределах международной сети оператора
Доступность службы	Доля (процент) успешных, то есть приведших к содержательному информационному обмену, обращений к службе

Таблица 4

по передаче данных, определяемых по результатам

Потребительское свойство услуги	Наименование показателя качества услуги связи
Доступность сети (по коммутируемым каналам)	Потери вызовов при доступе к сети передачи данных оператора
Доступность службы	Доля (процент) успешных, то есть приведших к содержательному информационному обмену, обращений к службе

Таблица 5

Потребительское свойство услуги	Наименование показателя качества услуги связи
Доступность службы	Доля (процент) успешных, то есть приведших к содержательному информационному обмену, обращений к службе

Таблица 6

Состав основных показателей качества услуг сотовой связи, определяемых по результатам испытаний с помощью контрольных вызовов

Потребительское свойство услуги	Наименование показателя качества услуги связи
Качество обслуживания вызовов	Потери вызовов при соединении в пределах сети сотовой связи оператора (по направлениям)
Доступность службы	Доля (процент) успешных, то есть приведших к содержательному информационному обмену, обращений к службе

4.2.3 В состав показателей качества услуг связи, определяемых по результатам испытаний с помощью контрольных вызовов, дополнительно могут быть включены такие показатели, как:

• время установления соединения (местного, междугородного, международного);
• время ответа оператора службы (технической поддержки, информационно-справочной службы) и другие.

4.2.4 В ходе испытаний с помощью контрольных вызовов могут быть оценены показатели, характеризующие корректность работы сценариев интеллектуальной платформы и интерактивного меню (IVR).

4.3 Методы и средства проведения испытаний

4.3.1 Испытания с помощью контрольных вызовов могут быть проведены вручную или автоматически.

4.3.1.1 Контрольные вызовы, проводимые вручную

Ручной контроль может осуществляться при наличии минимального количества оборудования и позволяет выявить такие недостатки качества связи, как, например, плохая слышимость, фон и другие.

В качестве средств испытаний при проведении контрольных вызовов вручную используются оконечные абонентские устройства, рекомендованные к применению на сети связи оператора.

Для услуг, оказываемых по предоплаченным картам, в качестве средств испытаний при проведении контрольных вызовов вручную дополнительно используют тестовые карты предоплаты.

При проведении контрольных вызовов вручную для оценки доступности служб необходимо соблюдение интервалов времени между вызовами, обусловленных техническими характеристиками оборудования, применяемого на сети оператора при организации службы.

Метод проведения испытаний вручную применяют при невозможности использования автоматического метода.

4.3.1.2 Контрольные вызовы, проводимые автоматическим методом

При автоматическом контроле исключены ошибки по вине человека, упрощены сбор и обработка данных.

При проведении испытаний автоматическим методом используют применяемое в сети оператора контрольно-испытательное оборудование, имитаторы телефонной нагрузки. При внешнем аудите могут быть использованы оборудование и приборы проверяющей организации, если они соответствуют установленным требованиям.

Контрольно-испытательное оборудование и приборы, используемые при проведении контрольных вызовов автоматическим методом, должны соответствовать типу оборудования, находящегося в эксплуатации в сети оператора и установленным требованиям к применению в единой сети электросвязи Российской Федерации.

4.3.2 Дополнительная телефонная нагрузка, создаваемая контрольными вызовами, не должна приводить к ухудшению качества услуг связи, оказываемых оператором.

4.4 Условия проведения испытаний

4.4.1 Испытания проводят в запланированные сроки. Оптимальными днями проведения испытаний с помощью контрольных вызовов являются будние дни без непосредственной близости к выходным и праздничным дням, в которые нагрузка значительно отклоняется от средних значений. Не рекомендуется также проводить испытания в последнюю и первую недели года.

4.4.2 Для оценки показателей качества услуг связи, определяемых с помощью контрольных вызовов, испытания проводятся в час наибольшей нагрузки, характерный для сети и для соответствующей службы оператора [3].

Час наибольшей нагрузки должен быть определен до начала проведения испытаний путем анализа данных о результатах измерения нагрузки в сети оператора. При отсутствии требуемых данных следует провести соответствующие измерения.

Стандартный метод определения часа наибольшей нагрузки требует непрерывных суточных измерений каждую четверть часа в ходе всего периода измерения. Каждые 15 мин в течение суток проводят регистрацию значений нагрузки. Затем проводят усреднение значений нагрузки за все дни периода измерения по одним и тем же периодам четверти суток. Четыре последовательных 15-минутных периода с усредненными значениями нагрузки, дающие в совокупности наибольшую суммарную нагрузку, представляют собой средний час наибольшей нагрузки.

Период измерения нагрузки для определения часа наибольшей нагрузки включает в себя рабочие дни двух последовательных недель два раза в год в месяцы наибольшей нагрузки.

4.4.3 Место проведения контрольных вызовов ручным методом определяют в зависимости от состава оцениваемых показателей. При этом контрольные вызовы могут быть проведены с абонентского номера сети оператора и/или с абонентского номера сети связи общего пользования (городской телефонной сети связи, сельской телефонной сети связи, сотовой сети связи).

4.4.4 Климатические характеристики (температура, влажность) определяются паспортными данными абонентских устройств, используемых в испытаниях.

4.4.5 К участию в испытаниях допускаются сотрудники оператора и внешние аудиторы, ознакомленные с порядком проведения контрольных вызовов и имеющие навыки в пользовании контрольно-испытательным оборудованием и приборами, оконечными абонентскими устройствами.

4.4.6 Результаты испытаний должны быть задокументированы в форме протокола, акта или иного документа.

Распечатки результатов проведения контрольных вызовов автоматическим методом и формы регистрации результатов проведения контрольных вызовов вручную должны быть приложены к данному документу.

4.5 Порядок проведения испытаний

4.5.1 Основные этапы проведения контрольных вызовов:

• подготовительный этап;

4.5.2 На подготовительном этапе выполняют следующие действия:

4.5.2.1 Разработка программы проведения работ, включая:

• постановку целей и задач проведения испытаний;
• определение исполнителей;
• определение состава оцениваемых показателей качества по каждой проверяемой услуге;
• выбор метода проведения испытаний для каждого оцениваемого показателя качества по каждой услуге;

- определение направлений связи, на которых будут проведены контрольные вызовы;

- разработку графика проведения испытаний и обработки их результатов;

- подготовку инструкций для проведения контрольных вызовов и инструктаж исполнителей.

4.5.2.2 Подготовка перечня исходящих и входящих тестовых номеров для проведения контрольных вызовов.

4.5.2.3 Определение числа контрольных вызовов (объема выборки) по каждому направлению связи.

\text{С}_{\text{выз}} = (1P_{n} - 1)t^{2}\sigma^{2} , (1)

Pn — потери вызовов (установленное значение потерь вызовов для соответствующего направления связи);

p	0,683	0,8	0,9	0,95	0,99	0,999	0,9999
t	1,0	1,2816	1,6449	1,96	2,58	3,29	3,9

На основании формулы (1) может быть определено число контрольных вызовов для требуемых значений допустимой относительной погрешности и доверительной вероятности.

Потери вызовов, Pn	Необходимое число контрольных вызовов Cвыз при доверительной вероятности p = 95%, с относительной погрешностью \sigma
	\sigma = \pm 5%	\sigma = \pm 10%	\sigma = \pm 15%	\sigma = \pm 20%	\sigma = \pm 25%	\sigma = \pm 30%	\sigma = \pm 35%	\sigma = \pm 40%
1%	152127	38032	16903	9508	6085	4226	3105	2377
1,5%	100906	25227	11212	6307	4036	2803	2059	1577
2%	75295	18824	8366	4706	3012	2092	1537	1176
2,5%	59929	14982	6659	3746	2397	1665	1223	936
3%	49685	12421	5521	3105	1987	1380	1014	776
3,5%	42367	10592	4707	2648	1695	1177	865	662
4%	36879	9220	4098	2305	1475	1024	753	576
5%	29196	7299	3244	1825	1168	811	596	456
6%	24074	6019	2675	1505	963	669	491	376
7%	20415	5104	2268	1276	817	567	417	319
8%	17671	4418	1963	1104	707	491	361	276
9%	15537	3884	1726	971	621	432	317	243
10%	13830	3457	1537	864	553	384	282	216
11%	12433	3108	1381	777	497	345	254	194
12%	11269	2817	1252	704	451	313	230	176
13%	10284	2571	1143	643	411	286	210	161
14%	9439	2360	1049	590	378	262	193	147
15%	8708	2177	968	544	348	242	178	136
16%	8067	2017	896	504	323	224	165	126
17%	7502	1876	834	469	300	208	153	117
18%	7000	1750	778	438	280	194	143	109
19%	6551	1638	728	409	262	182	134	102
20%	6147	1537	683	384	246	171	125	96
25%	4610	1152	512	288	184	128	94	72
30%	3585	896	398	224	143	100	73	56
35%	2854	713	317	178	114	79	58	45
40%	2305	576	256	144	92	64	47	36

При пользовании таблицей 8 должны быть известны:

- значение потерь вызовов (Pn) в сети оператора для каждого оцениваемого показателя качества проверяемых услуг (регламентированные значения потерь по вызовам или ориентировочные среднестатистические значения из практики оператора);

- значение допустимой относительной погрешности (\sigma) при определении потерь по вызовам (решение о выборе значения допустимой относительной погрешности принимается, исходя из условий проведения испытаний).

В [4] приведены рекомендации в части минимального объема статистических результатов для получения определенной степени точности.

4.5.2.4 Подготовка форм регистрации результатов контрольных вызовов при ручном методе их проведения для каждого определенного направления связи.

Форма регистрации результатов контрольных вызовов должна содержать данные о:

- месте проведения испытаний;

- дате и времени проведения испытаний;

- исполнителях;

- исходящих и входящих тестовых номерах;

- обследуемом направлении связи;

- числе осуществленных контрольных вызовов;

- числе неуспешных вызовов;

- замечаниях исполнителей, сделанных в ходе проведения испытаний (для последующего анализа результатов).

4.5.2.5 Проведение подготовительных испытаний в объеме 10% — 20% от числа контрольных вызовов, определенных в соответствии с 4.5.2.3, для подтверждения и уточнения показателя потерь.

По результатам подготовительных испытаний уточняют необходимое число контрольных вызовов.

4.5.3 На этапе проведения контрольных вызовов выполняются следующие действия:

4.5.3.1 Исполнители проводят испытания с помощью контрольных вызовов в соответствии с программой и графиком проведения работ, инструкцией и формами регистрации результатов.

В приложении А приведена типовая форма регистрации результатов контрольных вызовов, проводимых вручную.

4.5.3.2 На основе заполненных форм регистрации результатов проведения испытаний вручную или распечаток с результатами осуществленных контрольных вызовов автоматическим методом составляются протоколы, акты или иные документы.

В приложении Б приведена типовая форма протокола проведения испытаний с помощью контрольных вызовов.

Комплект документов с результатами испытаний составляет базу исходных данных для оценки показателей качества услуг связи оператора.

4.6 Обработка данных и оформление результатов испытаний

4.6.1 После завершения испытаний проводят проверку корректности заполнения форм регистрации и протоколов с результатами контрольных вызовов. Некорректные записи должны быть либо исключены из общего полученного массива данных, либо должно быть проведено уточнение информации и внесены изменения.

4.6.2 Обработка результатов испытаний с помощью контрольных вызовов сводится к определению выборочных значений показателей по каждому виду услуг, приведенных в таблицах 1 - 6.

4.6.3 Значение потерь по вызовам P_{i} в общем случае для i-го вида направления связи рассчитывают по формуле

P_{i} = \frac{N_{i\text{неусп}}}{N_{i}} , (2)

где Ni неусп — число неуспешных вызовов для i-го вида направления связи;

Ni — общее число контрольных вызовов для i-го вида направления связи.

4.6.4 Число неуспешных вызовов по результатам проведения испытаний как автоматическим методом, так и вручную определяют, исходя из причин (кодов) непрохождения вызовов.

4.6.5 Расхождения между выборочными значениями показателей и показателями генеральных совокупностей оценивают доверительными пределами для рассчитанных по результатам испытаний показателей, которые позволяют корректно представить результаты проведенных контрольных вызовов.

Точность полученного значения показателя потерь по вызовам \Delta_{i} для i-го вида направления связи определяют с помощью таблицы 8. При этом:

P_{i} = P_{i} \pm \Delta_{i} , т.е. (3)

P_{i} - \Delta_{i} \leq P_{i} \leq P_{i} + \Delta_{i} , (4)

\Delta_{i} = t \cdot \sqrt{\frac{P_{i}(1 - P_{i})}{N_{i}}} . (5)

4.6.6 Результаты проведенных испытаний с помощью контрольных вызовов оформляют в виде итогового документа (отчета), который должен содержать следующую информацию:

• цель, задачи и область проведения испытаний;
• состав исследуемых направлений связи;
• состав исполнителей;
• период проведения испытаний;
• состав оцениваемых показателей качества по каждой услуге;
• применяемые методы и средства проведения испытаний;
• используемые формы регистрации результатов;
• результаты испытаний в виде объемов и состава полученной информации;
• результаты испытаний в виде оценок показателей обследуемых услуг связи;
• выводы;
• приложения.

4.6.7 Результаты испытаний могут быть представлены в виде таблиц и графиков.

4.6.8 Представленные в итоговом документе оценки показателей исследуемых услуг связи должны быть использованы для анализа качества обслуживания вызовов в сети оператора, развития и совершенствования деятельности по предоставлению услуг связи.

(справочное)

ТИПОВАЯ ФОРМА РЕГИСТРАЦИИ РЕЗУЛЬТАТОВ КОНТРОЛЬНЫХ ВЫЗОВОВ, ПРОВОДИМЫХ ВРУЧНУЮ

Дата и время проведения испытаний: ________________________________

Место проведения испытаний: ______________________________________

Исходящий номер: ________________________________________________

Исследуемые направления связи: ____________________________________

N	Вызываемый номер	Результат вызова	Время установления соединения	Примечание
Примечания 1 В графе «Результат вызова» указывают: «+» при успешном вызове, «-» при неуспешном вызове. 2 Графу «Время установления соединения» заполняют, если данный показатель включен в программу испытаний. 3 В графе «Примечание» указывают комментарии исполнителя о результате вызова (при наличии замечаний).

Исполнитель:	___________ (должность)	_______________ (личная подпись)	(___________________) (расшифровка подписи)

Приложение Б

испытаний с помощью контрольных вызовов

Состав исполнителей (инициалы, фамилия): __________________________

Место проведения испытаний: ______________________________________

Дата и время проведения испытаний: ________________________________

Услуги связи, подлежащие проверке: _________________________________

Источники нормативных значений показателей: _______________________

Всего осуществлено контрольных вызовов: ________,

из них: успешных __________, неуспешных ____________.

Расчетные значения показателей: ________________________________

Оценка соответствия расчетных значений показателей установленным нормативам (соответствует/не соответствует): ______________________________

Замечания: _______________________________________________________

Приложения: _____________________________________________________

	_______________ (должность)	_______________ (личная подпись)	(___________________) (расшифровка подписи)
	_______________ (должность)	_______________ (личная подпись)	(___________________) (расшифровка подписи)

БИБЛИОГРАФИЯ

[1]	Рекомендации ВНИИС Р-50-601-42-94	Разработка и аттестация методик испытаний для целей сертификации
[2]	Невдяев Л.М. Телекоммуникационные технологии. Англо-русский толковый словарь-справочник. Под редакцией Ю.М. Горностаева. Серия изданий «Связь и бизнес», М.: МЦНТИ — Международный центр научной и технической информации, ООО «Мобильные коммуникации», 2002 — 592 с.
[3]	Руководящий документ «Основные положения развития Взаимоувязанной сети связи Российской Федерации на перспективу до 2005 года», ГКЭС России, 1996 г.
[4]	Рекомендация МСЭ-Т Е.421	Контроль качества обслуживания на статистической основе
[5]	Рекомендация МСЭ-Т Е.424	Пробные соединения
[6]	Рекомендация МСЭ-Т М.1235	Использование автоматических тестовых вызовов для оценки качества работы сети

УДК 006.1:654.01:658.64:006.354	ОКС 03.120.10
Ключевые слова: контрольные вызовы, методика проведения испытаний, потери по вызовам, услуги связи

---