Методика оценки качества услуг подвижной радиотелефонной связи
(утв. Минкомсвязью России 08.06.2017 № НН-П19-12345)
Утверждаю
Министр связи
и массовых коммуникаций
Российской Федерации
Н. А. Никифоров
8 июня 2017 г. № НН-П19-12345
МЕТОДИКА
ОЦЕНКИ КАЧЕСТВА УСЛУГ ПОДВИЖНОЙ РАДИОТЕЛЕФОННОЙ СВЯЗИ
1. Введение
Настоящая методика разработана с целью унификации правил и требований при проведении мероприятий по оценке качества услуг подвижной радиотелефонной связи, что позволит участникам отрасли (операторам связи, абонентам, аналитическим агентствам, надзорным органам, администрациям субъектов Российской Федерации и пр.) получать объективную информацию для оценки качества услуг связи и возможности выбора поставщика услуг.
Методика устанавливает требования к проведению оценочных испытаний и последующей обработке (постобработке) для вычисления значений показателей качества услуг связи в сетях подвижной радиотелефонной связи стандартов GSM 900/1800, UMTS 900/2100 и LTE на территории Российской Федерации, а также получения объективной информации по радиопокрытию сетей связи на маршруте измерения.
В настоящую Методику по результатам натурных оценочных измерений, по мере развития сетей, внедрения новых технологий и изменений параметров в спецификациях могут быть внесены в установленном порядке изменения и дополнения.
2. Показатели качества услуг связи
Перечень услуг связи, для которых измеряются показатели качества:
услуги подвижной радиотелефонной связи в части голосового соединения и передачи SMS-сообщений;
услуги по передаче данных, за исключением передачи данных для целей передачи голосовой информации.
3. Общие требования к проведению оценочных измерений
Оценочные измерения заключаются в сборе экспериментальных статистических данных (наблюдений) при проведении измерений, имитирующих использование услуг абонентами, для последующей их постобработки для оценки фактических значений показателей качества услуг связи и сравнения полученных оценок между собой.
Для проведения измерений используется метод контрольных вызовов (контрольных сессий). Контрольный вызов состоит в установлении соединения, передаче информации в соответствии с типом установленного соединения и разъединении соединения. Контрольные вызовы для измерения всех показателей качества производятся при движении измерительного комплекса по заранее выбранному согласно требованиям настоящей методики маршруту.
При выполнении каждого контрольного вызова регистрируются события, характеризующие его успешность и значения параметров, которые используются для расчета значений показателей качества услуги связи.
Метод контрольных вызовов основан на имитации действий абонентов, поэтому обеспечение репрезентативности является ключевым фактором, обеспечивающим достоверность результатов оценочных измерений.
Репрезентативность оценок должна обеспечиваться при планировании оценочных измерений путем выбора:
времени проведения измерения, максимально соответствующего суточному и сезонному профилю использования услуг абонентами;
зоны проведения измерения с учетом лицензионных условий и объявленной оператором зоны обслуживания;
выбора маршрута движения с учетом важности локальных зон для обслуживания абонентов.
Для целей использования результатов оценочных измерений для сравнения качества услуг связи, предоставляемых в сетях нескольких операторов связи и дальнейшей публикации сравнительной информации, на каждом маршруте измерения должны проводиться одновременно во всех сетях подвижной радиотелефонной связи, которые предоставляют услуги на данной территории.
Результатом измерений является совокупность log-файлов измерительных комплексов в формате, позволяющем осуществлять их постобработку и анализ доступными средствами.
Результаты измерений должны храниться в виде log-файлов во внутреннем формате измерительного комплекса на сервере-обработчике. По окончании оценочных измерений log-файл конвертируется в общедоступный формат (txt, csv и пр.) и вместе с log-файлами во внутреннем формате измерительного комплекса направляется в Минкомсвязь России.
Допускается передача log-файлов в общедоступном формате оператору связи, на чьей сети проводилось данное измерение, при поступлении от него соответствующего запроса.
Выполнение оценочных измерений должно производиться независимо в наложенных сетях связи стандартов GSM 900/1800, UMTS 900/2100 и LTE.
Измерения должны производиться в рабочие дни в интервале с 8 до 22 часов по местному времени.
Интервал времени выполнения измерений должен быть не менее 8 часов в день.
Результаты, полученные при остановках измерительного комплекса на время более 10 минут, не учитываются.
При прерывании измерений в сети связи любого из операторов связи по причинам, связанным с работой измерительного комплекса (сбой в работе измерительного комплекса, необходимость проведения настроек оборудования и другие причины), измерения в сетях остальных операторов связи должны быть приостановлены до устранения причины, вызвавшей прерывание измерений.
Параметры качества услуги передачи данных измеряются в режиме, когда тестовый терминал находится в состоянии свободного выбора технологии радиодоступа (GSM или UMTS) в зависимости от радио условий (далее — режим dual mode) или/и в режиме, когда тестовый терминал принудительно выбирает технологию LTE, переход в остальные стандарты запрещен (далее — режим LTE only). Параметры качества услуги подвижной радиотелефонной связи измеряются в режиме dual mode.
Измерения и расчет показателей качества выполняются в соответствии с требованиями Технических спецификаций ETSI TS 102 250-1, TS 102 250-2, TS 102 250-5, TS 102 250-6, 3GPP TS 25.215 и ETSI TR 102 678.
Радиоизмерения проводятся с привязкой к местности с применением электронных топографических планов и карт, позволяющих проводить измерения в соответствии с данной методикой.
Для определения геоцентрических координат наблюдений должен использоваться приемник системы GPS и/или GLONASS.
В случае обнаружения неисправностей измерительного комплекса оценочные измерения проводятся повторно.
Независимо от размера зоны, для которой производится измерение показателей качества, с целью достижения приемлемой точности и достоверности показателей качества услуг связи, общее количество выполненных измерений должно соответствовать требованиям к объемам наблюдений, приведенным ниже.
Последовательность действий исполнителя при подготовке и проведении измерений качества услуг связи приведена в Приложении 1 к настоящей Методике.
Требования к объему наблюдений
Требуемое количество контрольных вызовов должно быть определено по максимальному значению необходимого числа наблюдений, рассчитанному для каждого показателя качества.
Требуемое число наблюдений должно быть рассчитано по формуле (ETSI TS 102250-6):
\Delta = t_{\alpha}* \sqrt{\frac{\rho(1 - \rho)}{N}} ; откуда N = t_{\alpha}^{2}* \frac{\rho(1 - \rho)}{\Delta^{2}} ,
\Delta — абсолютное значение статистической погрешности,
\rho — ожидаемое значение оцениваемого параметра,
t_{\alpha} — коэффициент Стьюдента для доверительной вероятности \alpha. Для \alpha = 95\% значение коэффициента t_{\alpha} = 1,96.
При проведении оценочных испытаний с целью соответствия установленным требованиям в качестве ожидаемого значения должно приниматься установленное нормативное значение для соответствующего показателя. Количество наблюдений должно быть достаточным для получения оценки каждого показателя с относительной погрешностью 10% при доверительной вероятности 95%.
Результаты расчета числа наблюдений для доверительной вероятности \alpha = 95\% для различной точности оценки приведены в таблице 2.
При использовании тестовых терминалов, выполняющих измерения в автоматизированном режиме, объем наблюдений должен обеспечивать точность оценки не менее 10%.
Требования к планированию маршрутов
Перед выполнением оценочных измерений показателей качества в движении должен быть заранее составлен маршрут движения измерительного комплекса в соответствии с объемом работ и требованиями настоящей методики.
Рекомендации при составлении маршрута движения:
маршрут движения должен включать центральные площади, территории крупных торговых и культурных центров и учреждений, подъезды к вокзалам и аэропортам, крупным образовательным учреждениям и иным важным социальным объектам, туристские зоны, доступные для проезда, а также иные территории с высокой плотностью концентрации абонентов;
в населенных пунктах маршрут движения должен охватывать максимально возможное количество магистральных дорог, улиц общегородского и местного значения в пределах административной границы города, а также кольцевые, объездные дороги;
вне населенных пунктов маршрут движения должен включать автодороги, соединяющие населенные пункты, в пределах территории проведения оценочных испытаний;
маршрут движения измерительных комплексов по дорогам общего пользования рекомендуется планировать как в прямом, так и в обратном направлении движения и, по возможности, в разные дни недели;
маршрут движения должен формироваться таким образом, чтобы минимизировать повторные объезды улиц и дорог;
маршрут движения должен предусматривать заезды внутрь кварталов и дворовых территорий;
маршрут движения должен быть равномерно распределен по территории, на которой проводятся оценочные измерения;
рекомендуется, чтобы границы территории, на которой проводятся оценочные измерения, определялись границами административно-территориальной единицы (населенных пунктов, районов, округов и т.д.);
маршрут движения должен разрабатываться с учетом времени концентрации населения или трафика в соответствующих районах населенных пунктов («спальные районы», территории размещения предприятий и офисов и т.д.).
Протяженность маршрута движения должна разрабатываться с учетом минимально необходимого числа контрольных вызовов при доверительной вероятности 95% (таблица № 2).
Рекомендованная скорость движения тестирующего транспортного средства на маршруте движения — 40 км/ч.
Общие требования к проведению оценочных измерений показателей качества услуг подвижной радиотелефонной связи при голосовом соединении <1>
<1> Оценочные измерения показателей качества услуг подвижной радиотелефонной связи при голосовом соединении в сети LTE производятся только после внедрения в сетях LTE услуги подвижной радиотелефонной связи для голосового соединения автономно от сетей связи других стандартов.
Контрольные вызовы должны выполняться поочередно для исходящего и входящего вызова. Цикл измерения показателей качества при голосовом соединении приведен в таблице 3.
По истечении указанных в Таблице № 3 тайм-аутов попытка установления соединения должна рассматриваться и учитываться в результатах измерения как неуспешная.
Максимальная общая продолжительность измерения МТС или МОС не должна превышать 180 сек. В случае неуспешной попытки соединения или обрыва успешно установленного соединения следующее измерение должен начинаться через 180 сек. с момента выполнения попытки соединения.
В течение длительности успешно установленного соединения тестовые речевые последовательности должны передаваться равномерно и поочередно в направлении к тестовому терминалу и от тестового терминала. При проведении измерения должны использоваться тестовые речевые последовательности на русском или английском языке.
Оценка разборчивости речи должна быть выполнена с использованием алгоритма POLQA (Рек. ITU-T P.863). Одновременно может быть выполнена оценка разборчивости речи по алгоритму PESQ (Рек. ITU P.862.1), которая включается в log-файлы, но не интерпретируется.
Общие требования к проведению оценочных измерений показателей качества услуг подвижной радиотелефонной связи при передаче SMS-сообщений
Длина тестового SMS-сообщения должна быть не более 70 символов.
Передача тестовых SMS-сообщений осуществляется между двумя тестовыми терминалами, подключенными к сетям связи одного оператора связи.
С целью сокращения количества используемого оборудования допускается передача и прием SMS-сообщений с использованием одного абонентского терминала, если такая возможность поддерживается контролируемой сетью и поддерживается оборудованием тестового комплекса. Соответствующая функциональность тестового оборудования должна быть отражена в технической документации и подтверждена при его сертификации на соответствие требованиям настоящей методики.
До начала выполнения тестов память принимающего абонентского терминала, используемая для хранения полученных SMS, должна быть очищена. В процессе тестирования с целью исключения сбоев из-за нехватки памяти должна производиться очистка памяти принимающего абонентского терминала после выполнения некоторого количества тестов. Количество тестов, после которого должна производиться очистка памяти, определяется в зависимости от объема памяти используемого абонентского терминала и должно быть отражено в протоколе.
Общие требования к проведению оценочных измерений показателей качества услуг связи по передаче данных, за исключением услуг связи по передаче данных для целей передачи голосовой информации
Оценка значений показателей качества услуг связи по передаче данных производится по результатам выполнения тестов, имитирующих модель использования соответствующих видов услуг связи абонентами. Отдельные тесты объединяются в тестовый цикл, который выполняется при движении измерительного комплекса по маршруту тестирования.
Описание циклов измерений при движении по маршруту приведено в таблице № 5. Каждый цикл измерения содержит один тестовый кейс, состоящий из нескольких тестов, выполняемый при настройке измерительного оборудования для работы в режиме принудительного (форсированного) выбора технологий GSM/UMTS (Dual Mode) или LTE Only (Single Mode) для измерений в DL и без форсирования оборудования (в режиме Triple Mode) для измерений в UL (возможно использование отдельного канала). Для обеспечения одинаковых начальных условий перед каждым тестом посылается пакет из пяти Ping (Payload Ping x 5). В случае отсутствия у тестируемого оператора зарегистрированных базовых станций стандарта LTE, соответствующие тесты не проводятся.
1. Если пауза между тестами явно не указана, то ее длительность определяется минимальной аппаратной задержкой измерительного комплекса.
2. Новый цикл тестов выполняется после технологической паузы длительностью от 5 до 30 сек.
3. При последовательном выполнении разных тестовых циклов на одном и том же оборудовании тестовый комплекс должен обеспечивать возможность автоматического управления форсированием оборудования в процессе выполнения тестов.
4. Операции тестового цикла должны выполняться последовательно без деактивации PDP-контекста.
5. Перед выполнением каждого тестового цикла должно быть обеспечено удаление всех объектов WEB-браузера, кроме cookies и java-scripts.
6. При выполнении тестов с использованием в URL доменного имени перед выполнением каждого цикла должна быть проведена очистка используемого DNS-кэша (OC и WEB-браузер) или установка времени хранения данных (TTL) равным 1 сек.
7. Допускается изменение последовательности тестов в тестовом цикле, за исключением последовательности тестов HTTP WEB browsing 1 и HTTP WEB browsing 2.
8. Не допускается исключение указанных перед тестами пауз и процедур Payload Ping.
9. Тайм-аут для режима Dual mode и режима LTE only равен (по умолчанию):
10. Если PDP-контекст прерван не по инициативе тестового терминала, измерительный цикл должен быть прерван.
11. При нескольких неуспешных последовательных попытках загрузки WEB-страницы (по умолчанию — 3), измерительный цикл должен быть прерван с деактивацией PDP-контекста. Данные отказы должны быть включены в анализ результатов измерения.
Фазы измерительного цикла должны выполняться последовательно без деактивации PDP-контекста.
Общие требования к измерительному оборудованию
1. Для выполнения оценочных измерений должны использоваться специализированные измерительные комплексы, предназначенные для измерения параметров в сетях подвижной радиотелефонной связи стандартов GSM 900/1800, UMTS 900/2100 и LTE для диапазонов, выделенных в Российской Федерации, которые должны соответствовать требованиям технической спецификации ETSI TS 102 250-4 и требованиям настоящей методики.
2. Рекомендуется использовать сканеры сетей связи, обеспечивающие измерения уровней сигналов одновременно в сетях связи GSM, UMTS и LTE.
3. Внешние антенны должны располагаться на крыше тестового транспортного средства высотой 1,5 — 2 м от уровня земли и обеспечивать равные условия приема для всех тестовых терминалов и минимизировать взаимное влияние.
4. Серверы для измерения голосового соединения и услуг передачи данных и каналы связи, по которым эти серверы подключены, не должны вносить искажения в результаты измерений.
5. Серверы для тестирования голосового соединения должны располагаться на территории субъекта Российской Федерации, в котором проводятся оценочные измерения.
6. Серверы для тестирования услуг передачи данных должны располагаться к ближайшим точкам концентрации интернет-трафика с учетом фактических маршрутов абонентского трафика.
7. При проведении оценочных измерений показателей качества серверы для тестирования услуг передачи данных могут размещаться в городах Москва, Санкт-Петербург, Екатеринбург, Новосибирск, Ростов-на-Дону, Краснодар, Нижний Новгород, Хабаровск, Владивосток и Симферополь.
8. Исполнитель после размещения серверов для тестирования услуг передачи данных в указанных городах письменно (с дублированием письма на официальную электронную почту тестируемого оператора связи) обязан уведомить тестируемых операторов связи о местах установки этих серверов и их IP-адресах.
9. Тестируемые операторы связи в течение 30 календарных дней письменно (с дублированием письма на официальную электронную почту исполнителя) уведомляют исполнителя о том, какой из серверов предпочтителен для оператора связи при тестировании в каждом субъекте Российской Федерации, в котором тестируемый оператор связи предоставляет услуги связи. Если тестируемый оператор связи в течение 30 календарных дней письменно не уведомил исполнителя, то исполнитель самостоятельно выбирает сервер, который будет использован исполнителем для тестирования в каждом субъекте Российской Федерации.
10. Тестируемый оператор связи может изменить предпочтительный сервер для тестирования услуг передачи данных для конкретного субъекта Российской Федерации, направив исполнителю соответствующее письменное уведомление (с дублированием письма на официальную электронную почту исполнителя).
11. Исполнитель при получении письменного уведомления от тестируемого оператора связи может изменить сервер для тестирования услуг передачи данных для конкретного субъекта Российской Федерации с учетом планируемой максимальной загрузки выбранного сервера. В случае если на момент получения письменного уведомления исполнитель осуществляет тестирование в данном субъекте Российской Федерации, то исполнитель может изменить сервер только после завершения текущего тестирования в данном субъекте Российской Федерации.
12. Двухсторонняя сетевая задержка от пограничного маршрутизатора оператора связи, оказывающего услуги связи по передаче данных, до сервера для тестирования услуг по передаче данных не должна превышать 3 мс.
13. Двухсторонняя сетевая задержка от пограничного маршрутизатора оператора связи, оказывающего услуги связи по передаче данных и к сети которого подключены серверы для тестирования услуг по передаче данных, до пограничного маршрутизатора контролируемого оператора связи должна контролироваться исполнителем и указывается в отчете.
14. Присоединение серверов для тестирования голосовых услуг к коммутационному оборудованию транзитного оператора должно осуществляться без использования узкополосных кодеков сжатия трафика.
15. Производительность серверов и IP-маршрутов при измерении качества услуг передачи данных должна обеспечивать полосу пропускания с учетом одновременного тестирования всех операторов связи, по которым проводятся оценочные измерения.
16. Исполнитель в отчете обязан указывать место размещения сервера и его IP-адрес, с использованием которого осуществлялось тестирование услуг передачи данных.
17. Используемые для измерения SIM-карты и подключенные тарифные планы не должны вносить искажения в результаты измерений.
18. Измерительное оборудование должно быть в установленном порядке сертифицировано и иметь действующие на момент оценочных испытаний свидетельства о поверке.
19. Измерительный комплекс не должен ограничивать производительность тестовых терминалов.
Доля неуспешных попыток установления голосового соединения (Voice Service Non-Accessibility)
Определяется как отношение количества неуспешных попыток установления голосового соединения к общему количеству тестовых голосовых соединений.
\text{Значение} = \frac{Q}{N} \text{Ч}100\%,
Q — количество неуспешных попыток установления голосового соединения;
N — общее количество тестовых голосовых соединений.
| Событие | Событие с точки зрения абонента | Техническое описание/протокол |
| Попытка установления голосового соединения (Voice Call Attempt) | Начальная точка: Нажатие кнопки «Send» | Для GSM отправка по каналу RACH сообщения «A CHANNEL_REQUEST» Для UMTS отправка по каналу RACH первого сообщения «RRC CONNECTION REQUEST» с причиной запроса «Originating Conversational Call» <2> |
| Успешная попытка установления голосового соединения (Successful Voice Call Attempt) | Конечная точка: передающий терминал фиксирует сигнал контроля посылки вызова, а приемный терминал фиксирует сигнал вызова (Connection Established) | Переданы сообщения «ALERTING»: 1. от приемного терминала к голосовому серверу (коммутатору) (UL); 2. от голосового сервера (коммутатора) к передающему терминалу (DL) |
| Неуспешная попытка установления голосового соединения (Unsuccessful Voice Call Attempt) | Конечная точка не достигнута | |
<2> При отправке нескольких запросов «RRC CONNECTION REQUEST» при расчете показателя учитывается только первый из них.
абонентское оборудование находится в режиме ATTACH;
успешной считается попытка установления голосового соединения в случае, когда передающий терминал фиксирует сигнал контроля посылки вызова после нажатия кнопки «Send», а приемный терминал — сигнал вызова;
передающий терминал может получить сигнал «Занято» или сигнал ответа может отсутствовать из-за проблем в сети (даже когда приемный терминал зарегистрирован в сети и не занят). В этом случае сообщение «ALERTING» послано не будет и попытка должна рассматриваться как неуспешная;
в режиме Dual mode используются логические сообщения, соответствующие используемой технологии радиодоступа в момент выполнения попытки доступа к услуге. В этом случае сообщение ALERTING может быть не отправлено или не принято и попытка должна рассматриваться как неуспешная.
Доля обрывов голосовых соединений (Voice Service Cut-off Ratio)
Определяется как отношение количества соединений, закончившихся не по инициативе тестового терминала, к общему количеству успешно установленных голосовых тестовых соединений.
\text{Значение} = \frac{R}{N} \text{Ч}100\%,
R — количество соединений, закончившихся не по инициативе тестового терминала;
N — общее количество успешно установленных голосовых соединений.
голосовое соединение успешно установлено.
Средняя разборчивость речи на соединение (Voice Speech Quality on Call basis (MOS POLQA)
Показатель отражает качество речи в установленном голосовом соединении для каждого тестового терминала в обоих направлениях.
Является средней оценкой воспринимаемой абонентами разборчивости передаваемых тестовых речевых последовательностей.
MOS = \frac{1}{N} \times F[POLQA;x_{i};RL],
POLQA — используемый алгоритм расчета POLQA (Рек. ITU-T P.863);
xi — i-я тестовая речевая последовательность, качество передачи которой подлежит оценке;
RL — направление передачи (UL — от тестового терминала к голосовому серверу; DL — к тестовому терминалу от голосового сервера; UL/DL — агрегированная);
N — количество голосовых последовательностей в оцениваемых соединениях.
голосовое соединение установлено (попытка доступа к услуге выполнена успешно, выделен канал для передачи голосового трафика).
показатель рассчитывается только для попыток соединения, при которых соединение успешно установлено и успешно завершено (не было оборвано);
в течение одного соединения тестовые речевые последовательности должны передаваться в направлениях UL и DL поочередно;
результаты статистической обработки должны включать оценки показателя для всех переданных речевых последовательностей;
результаты оценки разборчивости каждой тестовой речевой последовательности должны быть оценены по шкале MOS-LQO <3>, установленной в Рек. ITU-T P.800.1 с использованием алгоритма POLQA;
<3> MOS-LQO — «Mean Opinion Score — Listening Quality Objective».
при расчете общей оценки разборчивости речи (DL/UL — без учета направления передачи тестовых речевых последовательностей) должно производиться простое усреднение оценок MOS, полученных для направлений передачи UL и DL.
Доля речевых последовательностей с низкой разборчивостью речи (Negative MOS samples Ratio, MOS POLQA < 2,6)
Показатель определяется как отношение количества принятых тестовых речевых последовательностей с низкой разборчивостью речи (MOS POLQA < 2,6) к общему количеству тестовых речевых последовательностей.
NMOS_{R} = \frac{N_{MOS<2,6}}{N} \text{Ч}100\%,
NMOS < 2,6 — количество принятых тестовых речевых последовательностей с низкой разборчивостью речи (MOS POLQA < 2,6);
N — общее количество тестовых речевых последовательностей.
сеть GSM/UMTS должна быть доступна;
голосовое соединение установлено (попытка доступа к услуге выполнена успешно, выделен канал для передачи голосового трафика).
показатель рассчитывается только для речевых последовательностей, для которых произведена оценка значения MOS;
результаты статистической обработки должны включать оценки показателя MOS для всех переданных тестовых речевых последовательностей;
расчет показателя производится раздельно для передачи тестовых речевых последовательностей в направлении UL и DL;
агрегированная оценка показателя производится без учета направления передачи тестовых речевых последовательностей (UL/DL) путем прямого расчета по совокупности оценок разборчивости речи для направлений UL и DL.
Доля недоставленных SMS-сообщений
Показатель отражает долю SMS, которые не были успешно доставлены от одного мобильного абонентского терминала до другого мобильного абонентского терминала, с учетом повторно доставленных и искаженных сообщений.
Показатель не отражает успешность доставки сообщения к/от серверу, установленному стационарно в сети оператора или внешних сетях.
Определяется как отношение количества недоставленных SMS-сообщений к общему количеству отправленных SMS-сообщений.
SMS_E2E_FR = \frac{R}{N} \text{×}100\%,
R — количество недоставленных SMS-сообщений;
N — общее количество отправленных SMS-сообщений.
передающий и принимающий терминалы зарегистрированы в сети.
Контент считается испорченным при искажении хотя бы одного бита сообщения. Выявление испорченных или дублированных SMS производится в процессе постобработки.
Время доставки SMS-сообщений End-to-End Delivery Time SMS (DT-SMS)
Отражает среднее время доставки короткого текстового сообщения из конца в конец (от одного мобильного абонентского терминала до другого мобильного абонентского терминала).
Показатель не отражает среднее время доставки сообщения к/от серверу, установленному стационарно в сети оператора или внешних сетях.
Время доставки SMS из конца в конец определяется как временной интервал между моментом передачи SMS-сообщения передающим терминалом и моментом приема этого сообщения принимающим тестовым терминалом.
DT - SMS = \frac{1}{N} \sum_{N} (t_{send} - t_{receive}),
tsend — момент отправки тестового SMS-сообщения;
treceive — момент приема тестового SMS-сообщения;
N — число успешно доставленных тестовых SMS-сообщений.
передающий и принимающий терминалы зарегистрированы в сети.
Расчет показателя производится только по успешно доставленным SMS. Сообщения, которые не были приняты до окончания тайм-аута 115 секунд, или дублированы, или искажены (хотя бы один бит сообщения), должны быть исключены из расчета. Выявление испорченных или дублированных SMS производится в процессе постобработки.
Доля неуспешных TCP/IP-соединений с сервером (HTTP IP-Service Access Failure Ratio)
Определяется как отношение количества неуспешных попыток установления TCP/IP-соединения с сервером передачи данных к общему количеству попыток соединений с сервером передачи данных.
\text{Значение} = \frac{R}{N} \text{Ч}100\%,
R — количество неуспешных попыток установления TCP/IP-соединения с сервером передачи данных;
N — общее количество попыток соединений с сервером передачи данных.
сети связи, в которых проводятся измерения, доступны;
тестовый терминал находится в режиме ATTACH;
PDP-контекст успешно активирован.
Доля неуспешных сессий по протоколу HTTP (HTTP Session Failure Ratio)
Определяется как отношение прекращенных не по инициативе измерительного комплекса сессий по протоколу HTTP к общему количеству тестовых сессий по протоколу HTTP.
\text{Значение} = \frac{R}{N} \text{Ч}100\%,
R — количество прекращенных не по инициативе тестового комплекса сессий по протоколу HTTP;
N — общее количество тестовых сессий по протоколу HTTP.
тестовый терминал находится в режиме ATTACH;
PDP-контекст успешно активирован;
TCP/IP-соединение установлено.
<4> Значение показателя не рассчитывается для тестирования WEB-просмотра.
<5> Значение показателя рассчитывается только для сеансов успешно переданных данных.
Определяется как суммарная величина скоростей передачи данных по протоколу HTTP от сервера передачи данных к приемному терминалу за время проведения тестовых измерений и усредненная относительно количества тестовых измерений.
\text{Значение} = \frac{\sum_{1}^{N} V}{N} ,
V — скорость передачи данных по протоколу HTTP от сервера передачи данных к приемному терминалу;
V = \frac{P}{t_{\text{завершения}} - t_{\text{начала}}} ,
P — размер тестового файла с данными, кбит;
tначала — время начала передачи тестового файла с данными, сек.;
tзавершения — время завершения передачи тестового файла с данными, сек.
тестовый терминал находится в режиме ATTACH;
PDP-контекст или EPS bearer context успешно активирован;
TCP/IP-соединение установлено.
скорости передачи данных от абонента <6>, <7>
(HTTP UL Mean User Data Rate)
<6> Значение показателя рассчитывается только для тестирования в режиме triple-mode.
<7> Значение показателя рассчитывается только для сеансов успешно переданных данных.
Определяется как суммарная величина скоростей передачи данных по протоколу HTTP от тестового терминала к серверу передачи данных за время проведения тестовых измерений и усредненная относительно количества тестовых измерений.
\text{Значение} = \frac{\sum_{i}^{N} V}{N} ,
V — скорость передачи данных по протоколу HTTP от тестового терминала к серверу передачи данных;
N — общее количество тестовых измерений.
V = \frac{P}{t_{\text{завершения}} - t_{\text{начала}}} ,
Р — размер тестового файла с данными, кбит;
tначала — время начала передачи тестового файла с данными, сек.;
tзавершения — время завершения передачи тестового файла с данными, сек.
тестовый терминал находится в режиме ATTACH;
PDP-контекст или EPS bearer context успешно активирован;
TCP/IP-соединение установлено.
<8> Значение показателя рассчитывается только для загрузки WEB-страницы.
Определяется как интервал времени, необходимый для успешного завершения сессии, включающий время успешного установления IP-соединения и время передачи данных, характеризует время открытия типовой WEB-страницы, наблюдаемое абонентом.
Значение = tзавершения — tначала
tзавершения — время успешного завершения открытия WEB-страницы, сек.;
tначала — время начала установления TCP/IP-соединения для открытия WEB-страницы, сек.
Распределение уровня покрытия сети связи
Распределение уровня покрытия сети связи представляется в виде значений мощности сигналов сетей связи.
Результаты измерений могут быть усреднены как по временным, так и по географическим параметрам. Рекомендуемые параметры усреднения: по времени — 1 сек., по географическим координатам — 50 м.
Уровни сигналов для каждой из технологий GSM, UMTS и LTE измеряются с использованием сканеров сетей связи. Уровень сигнала измеряется для канала, имеющего наибольший уровень сигнала.
Значение измеряемого уровня сигнала должно быть пересчитано к значению в точке антенного входа.
подвижной радиотелефонной связи от 8 июня 2017 г. № НН-П19-12345
К ДЕЙСТВИЯМ ИСПОЛНИТЕЛЯ ПРИ ПОДГОТОВКЕ И ВЫПОЛНЕНИИ
ОЦЕНОЧНЫХ ИСПЫТАНИЙ КАЧЕСТВА УСЛУГ СВЯЗИ
1. Приобрести коммерческие SIM-карты с учетом рекомендованных оператором тарифов. Количество SIM-карт определяется составом выполняемых тестов и одновременно используемых абонентских терминалов в составе тестового комплекса для выполнения измерений в соответствующей сети. Оплату трафика и приобретение SIM-карт обеспечивает исполнитель.
2. Разработать и нанести на карту схему маршрута драйв-теста с учетом требований и критериев, указанных в настоящей методике, обеспечивающего равномерный и репрезентативный охват заявленной оператором зоны обслуживания.
3. Маршрут и график движения по нему должны разрабатываться так, чтобы время проезда в течение одного рабочего дня было не больше 8 часов (продолжительности рабочего дня) со средней скоростью, указанной в методике, а общая продолжительность работ позволяла выполнить необходимое количество тестов (контрольных вызовов) для обеспечения точности и достоверности результата измерений. Не допускается выполнение оценочных испытаний в периоды аномальной нагрузки на сеть, вызванной миграцией или нетипичным профилем использования услуг (таких как Новый Год и др. праздники, массовые мероприятия, крупные происшествия и т.п.).
4. До начала оценочных испытаний исполнитель должен обеспечить установку и настройку голосового сервера (автоответчик) и сервера данных.
5. Внешним осмотром убедиться в исправности оборудования, устанавливаемого на крыше автомобиля и в надежности разъемных соединений.
6. Настроить мобильный измерительный аппаратно-программный комплекс с учетом требований методики. Настройки должны обеспечивать выполнение тестов с установленными настоящей методикой требованиями к исходному состоянию оборудования перед началом теста, контрольным событиям, продолжительности тайм-аутов, общей длительности соединения и его отдельных фаз, учитывать номера установленных в оборудовании SIM-карт и автоответчика, а также необходимость поочередного выполнения исходящих и входящих контрольных вызовов при голосовых тестах.
7. Перед началом измерений проверить и убедиться в правильности настроек и работы мобильного тестового комплекса путем выполнения нескольких контрольных вызовов/сессий пакетной передачи данных или отправки SMS в штатном режиме контроля, предусмотренном программой тестирования. Полученные при такой проверке результаты тестов должны быть исключены из последующей обработки.
8. Осуществлять движение по разработанному маршруту при постоянном контроле работоспособности тестового комплекса. Движение по каждому участку маршрута должно производиться, как правило, и в прямом и в противоположном направлении движения, предпочтительно — в разные дни недели.
9. По окончании объезда маршрута произвести постобработку полученных результатов наблюдений, накопленных в базе данных тестового комплекса с целью расчета показателей качества услуг связи.
10. При проведении постобработки произвести выявление и исключение из обработки контрольные события и результаты единичных измерений, если их учет не предусмотрен настоящей методикой, а также исключены измерения, выполненные некорректно из-за сбоев тестового комплекса.
11. Произвести выявление фактов дублирования SMS или искажения текста передаваемого сообщения и обеспечить при расчете показателей учет таких SMS как неуспешных.
12. Произвести расчет показателей качества, предусмотренных настоящей методикой, с использованием исправленных согласно п. 13 выше данных, полученных на маршруте тестирования. Для каждого показателя качества должна быть рассчитана погрешность измерения.
13. По окончании оценочных испытаний результаты измерений, погрешности измерений и показатели их достоверности (доверительная вероятность) должны быть внесены в протокол оценочных испытаний качества услуг связи. К протоколу должны быть приложены таблицы с результатами выполнения каждого теста и единичных измерений параметров качества, которые были использованы для расчета показателей качества услуг (допускается в электронной форме), а также сертификат соответствия используемого оборудования и свидетельство о поверке/калибровке сканирующего приемника.
14. По окончании оценочных измерений направить в Минкомсвязь России отчет о проведении оценочных испытаний, протокол оценочных испытаний, включая вышеуказанные приложения, log-файлы в общедоступном формате (txt, csv и пр.) и log-файлы во внутреннем формате измерительного комплекса.
Приложение № 2 к Методике оценки качества услуг подвижной радиотелефонной связи от 8 июня 2017 г. № НН-П19-12345
ТРЕБОВАНИЯ К ОТЧЕТУ О ПРОВЕДЕНИИ ОЦЕНОЧНЫХ ИЗМЕРЕНИЙ
1. Отчет о проведении оценочных измерений должен содержать обязательные пункты:
1.1 Введение.
1.1.1. Общая информация. Место, дата начала и окончания проведения оценочных измерений, наименование оператора связи, в сети связи которого проводилась оценка качества услуг подвижной радиотелефонной связи;
1.1.2. Цель и основания оценочных измерений. Назначение оценочных измерений, основание услуги (договор, полномочия, поручение);
1.1.3. Состав отчетных документов и материалов. Список материалов, которые предоставлены в отчет; разделы отчета; перечень приложений к отчету.
1.2 Описание среды выполнения оценочных измерений.
1.2.1 Состав и конфигурация измерительного оборудования;
1.2.1.1. Наименование и состав программно-аппаратного измерительного комплекса, включая типы применяемых антенн, комбайнеров, аттенюаторов, GPS и (или) ГЛОНАСС — приемников;
1.2.1.2. Марки, количество и краткое описание характеристик, использованных при измерениях тестовых телефонов/смартфонов, модемов или реализующего их функции оборудования тестового комплекса; сведения и версии аппаратного и программного обеспечения;
1.2.1.3 Наименование и состав сканирующих приемников с кратким описанием характеристик (в случае применения);
1.2.2 Таблица возможностей тестового оборудования: режимы работы, кодеки и технологии связи;
1.2.3. Места установки серверов для измерения показателей качества услуг подвижной радиотелефонной связи и услуг передачи данных.
1.3 Маршрут и график оценочных измерений.
1.3.1. График проведения оценочных измерений. Дата начала и окончания работ. Длительность тестов в количестве дней, часы проведения оценочных измерений в течение дня;
1.3.2. Маршрут движения транспортных средств с измерительными комплексами с географической привязкой местности.
1.4. Протокол постобработки (по форме - Приложение № 5) оценочных измерений показателей качества, включающий результаты расчетов показателей качества услуг связи, погрешности измерений и показатели их достоверности (доверительная вероятность), для каждого оператора связи.
1.5 Приложение 1. Подтверждающие документы.
1.5.1 Копия акта поверки измерительного оборудования.
1.6 Приложение 2. Исходные данные оценочных измерений.
1.6.1 Log-файлы во внутреннем формате измерительного комплекса;
1.6.2. Конвертированный log-файл в общедоступном формате (txt, csv и пр.), позволяющий осуществлять их постобработку и анализ доступными средствами;
1.6.3 Перечень всех зафиксированных аномальных значений показателей с указанием причины их удаления;
2. Порядок и правила направления и использования отчета о проведении оценочных измерений.
2.1. Отчет, утвержденный уполномоченным лицом, направляется в Минкомсвязь России не позднее 28 (двадцати восьми) календарных дней с момента окончания оценочных мероприятий.
2.2. Минкомсвязь России вправе публиковать результаты и данные, представленные в отчете, за исключением данных Приложения № 2.
2.3. Минкомсвязь России вправе использовать результаты и данные, представленные в отчете, в полном объеме для собственных целей в соответствии со своими полномочиями.
2.4. Для анализа причин неуспешных тестов и проведения мероприятий по улучшению качества Минкомсвязь России вправе запросить у исполнителя log-файлы с исходными данными во внутреннем формате измерительного комплекса и в общедоступном формате (txt, csv и пр.) по соответствующему оператору связи. Минкомсвязь России вправе, при необходимости, направить данные файлы для последующего анализа соответствующему оператору связи.
Приложение № 3
к Методике оценки качества услуг
подвижной радиотелефонной связи
от 8 июня 2017 г. № НН-П19-12345
ОСОБЕННОСТИ ОЦЕНОЧНЫХ ИЗМЕРЕНИЙ ПОКАЗАТЕЛЕЙ КАЧЕСТВА
В МЕСТАХ ПРОВЕДЕНИЯ КУЛЬТУРНО-МАССОВЫХ, ОБЩЕСТВЕННО
ЗНАЧИМЫХ И СПОРТИВНЫХ МЕРОПРИЯТИЙ
В локальных зонах — местах проведения культурно-массовых, общественно значимых и спортивных мероприятий (выставки, ярмарки, спортивные соревнования, саммиты, форумы и т.д.) оценочные измерения показателей качества услуг связи могут быть произведены с использованием носимых тестовых комплексов.
При отсутствии возможности использования сервера для тестирования голосового соединения, установленного в субъекте Российской Федерации, в котором проводится тестирование, оценочные измерения производятся с использованием двух носимых тестовых комплексов. Контрольные вызовы осуществляются между тестовыми терминалами, использующими SIM-карты одного оператора, размещенными в разных носимых тестовых комплексах. Тестирование производится одновременно для всех тестируемых операторов связи.
При установлении соединения тестовые речевые последовательности должны передаваться поочередно от одного носимого тестового комплекса к другому и обратно.
Носимые тестовые комплексы во время измерений перемещаются на расстоянии 10 — 20 метров друг от друга по одному и тому же маршруту по территории тестирования таким образом, чтобы охватить максимально возможное количество объектов на территории тестирования, на которых абоненты могут получать услуги связи.
Тестовые терминалы со встроенными антеннами и/или внешние антенны тестовых терминалов должны быть расположены в определенном производителем оборудования положении в соответствии с конструкцией носимого тестового комплекса. При отсутствии рекомендаций производителя оборудования тестовые терминалы со встроенными антеннами и/или внешние антенны тестовых терминалов должны быть расположены на расстоянии, минимизирующем их взаимное влияние.
Количество контрольных вызовов (контрольных сессий) в локальной зоне может быть уменьшено по сравнению с требованиями таблицы 2 настоящей Методики, но не может быть менее 50. При этом в отчете должны быть указаны количество контрольных вызовов (контрольных сессий), относительная погрешность и доверительная вероятность проведенных измерений.
от 8 июня 2017 г. № НН-П19-12345
ОСОБЕННОСТИ ОЦЕНОЧНЫХ ИЗМЕРЕНИЙ ПОКАЗАТЕЛЕЙ КАЧЕСТВА
НА АВТОМОБИЛЬНЫХ ДОРОГАХ ФЕДЕРАЛЬНОГО ЗНАЧЕНИЯ
На автомобильных дорогах федерального значения оценочные измерения показателей качества услуг связи должны проводиться с использованием возимых тестовых комплексов.
При проведении оценочных измерений на автомобильной дороге федерального значения, проходящей через несколько субъектов Российской Федерации, должны использоваться серверы для тестирования голосового соединения и пакетной передачи данных, установленные в субъекте Российской Федерации, в котором услуги ПРТС оказываются всеми тестируемыми операторами связи. «Домашним регионом» всех SIM-карт, используемых для тестирования, должен быть регион установки сервера для тестирования голосового соединения.
Объезд автомобильной дороги федерального значения должен быть совершен в «прямом» и «обратном» направлении.
Количество контрольных вызовов при проведении оценки автомобильной дороги может быть уменьшено по сравнению с требованиями Таблицы № 2 настоящей методики, вместе с тем необходимо обеспечивать непрерывность выполнения тестовых циклов, определяемую минимальной аппаратной задержкой измерительного комплекса. При этом в отчете должны быть указаны количество контрольных вызовов, относительная погрешность и доверительная вероятность проведенных измерений.
Транспортное средство с тестовым комплексом при проведении тестовых измерений должно двигаться со скоростью основного потока с соблюдением установленного скоростного режима, при этом рекомендованная скорость движения тестирующего транспортного средства на маршруте движения в населенных пунктах — 40 км/ч, вне населенных пунктов — 80 км/ч.
Измерения могут проводиться в период с 8-00 до 20-00, включая выходные и праздничные дни. При этом рекомендуется избегать периоды массовой миграции населения в конце и начале рабочей недели.
Приложение № 5 к Методике оценки качества услуг подвижной радиотелефонной связи