Методика оценки качества услуг подвижной радиотелефонной связи (утв. Министерством связи и массовых коммуникаций РФ 8 июня 2017 г. N НН-П19-12345)

1. Введение

Настоящая методика разработана с целью унификации правил и требований при проведении мероприятий по оценке качества услуг подвижной радиотелефонной связи, что позволит участникам отрасли (операторам связи, абонентам, аналитическим агентствам, надзорным органам, администрациям субъектов Российской Федерации и пр.) получать объективную информацию для оценки качества услуг связи и возможности выбора поставщика услуг.

Методика устанавливает требования к проведению оценочных испытаний и последующей обработке (постобработке) для вычисления значений показателей качества услуг связи в сетях подвижной радиотелефонной связи стандартов GSM 900/1800, UMTS 900/2100 и LTE на территории Российской Федерации, а также получения объективной информации по радиопокрытию сетей связи на маршруте измерения.

В настоящую Методику по результатам натурных оценочных измерений, по мере развития сетей, внедрения новых технологий и изменений параметров в спецификациях могут быть внесены в установленном порядке изменения и дополнения.

2. Показатели качества услуг связи

Перечень услуг связи, для которых измеряются показатели качества:

услуги подвижной радиотелефонной связи в части голосового соединения и передачи SMS сообщений;

услуги по передаче данных, за исключением передачи данных для целей передачи голосовой информации.

Таблица N 1. Показатели качества:

Услуга связи	Показатель качества	Единица измерений
Услуга подвижной радиотелефонной связи в части голосового соединения	Доля неуспешных попыток установления голосового соединения (Voice Service Non-Accessibility)	%
	Доля обрывов голосовых соединений (Voice Service Cut-off Ratio)	%
	Средняя разборчивость речи на соединение (Voice Speech Quality on Call basis (MOS POLQA)	-
	Доля речевых последовательностей с низкой разборчивостью речи (Negative MOS samples Ratio, MOS POLQA < 2,6)	%
Услуга подвижной радиотелефонной связи в части передачи коротких текстовых сообщений (далее - SMS сообщения)	Доля недоставленных SMS сообщений	%
	Среднее время доставки SMS сообщений	сек.
Услуга связи по передаче данных, за исключением услуги связи по передаче данных для целей передачи голосовой информации	Доля неуспешных TCP/IP соединений с сервером (HTTP IP-Service Access Failure Ratio)	%
	Доля неуспешных сессий по протоколу HTTP (HTTP Session Failure Ratio)	%
	Среднее значение скорости передачи данных к абоненту (HTTP DL Mean User Data Rate)	кбит/сек
	Среднее значение скорости передачи данных от абонента (HTTP UL Mean User Data Rate)	кбит/сек
	Продолжительность успешной сессии (HTTP Session Time)	мс
Показатель качества, не связанный с конкретной услугой связи	Распределение уровня покрытия сети связи	дБм

3. Общие требования к проведению оценочных измерений

Оценочные измерения заключаются в сборе экспериментальных статистических данных (наблюдений) при проведении измерений, имитирующих использование услуг абонентами, для последующей их постобработки для оценки фактических значений показателей качества услуг связи и сравнения полученных оценок между собой.

Для проведения измерений используется метод контрольных вызовов (контрольных сессий). Контрольный вызов состоит в установлении соединения, передаче информации в соответствии с типом установленного соединения и разъединении соединения. Контрольные вызовы для измерения всех показателей качества производятся при движении измерительного комплекса по заранее выбранному согласно требованиям настоящей методики маршруту.

При выполнении каждого контрольного вызова регистрируются события, характеризующие его успешность и значения параметров, которые используются для расчета значений показателей качества услуги связи.

Метод контрольных вызовов основан на имитации действий абонентов, поэтому обеспечение репрезентативности является ключевым фактором, обеспечивающим достоверность результатов оценочных измерений.

Репрезентативность оценок должна обеспечиваться при планировании оценочных измерений путем выбора:

времени проведения измерения, максимально соответствующего суточному и сезонному профилю использования услуг абонентами;

зоны проведения измерения с учетом лицензионных условий и объявленной оператором зоны обслуживания;

выбора маршрута движения с учетом важности локальных зон для обслуживания абонентов.

Для целей использования результатов оценочных измерений для сравнения качества услуг связи, предоставляемых в сетях нескольких операторов связи и дальнейшей публикации сравнительной информации, на каждом маршруте измерения должны проводиться одновременно во всех сетях подвижной радиотелефонной связи, которые предоставляют услуги на данной территории.

Результатом измерений является совокупность log-файлов измерительных комплексов в формате, позволяющем осуществлять их пост-обработку и анализ доступными средствами.

Результаты измерений должны храниться в виде log-файлов во внутреннем формате измерительного комплекса на сервере-обработчике. По окончании оценочных измерений log-файл конвертируется в общедоступный формат (txt, csv и пр.) и вместе с log-файлами во внутреннем формате измерительного комплекса направляется в Минкомсвязь России.

Допускается передача log-файлов в общедоступном формате оператору связи, на чьей сети проводилось данное измерение, при поступлении от него соответствующего запроса.

Выполнение оценочных измерений должно производиться независимо в наложенных сетях связи стандартов GSM 900/1800, UMTS 900/2100 и LTE.

Измерения должны производиться в рабочие дни в интервале с 8 до 22 часов по местному времени.

Интервал времени выполнения измерений должен быть не менее 8 часов в день.

Результаты, полученные при остановках измерительного комплекса на время более 10 минут, не учитываются.

При прерывании измерений в сети связи любого из операторов связи по причинам, связанным с работой измерительного комплекса (сбой в работе измерительного комплекса, необходимость проведения настроек оборудования и другие причины), измерения в сетях остальных операторов связи должны быть приостановлены до устранения причины, вызвавшей прерывание измерений.

Параметры качества услуги передачи данных измеряются в режиме, когда тестовый терминал находится в состоянии свободного выбора технологии радиодоступа (GSM или UMTS) в зависимости от радио условий (далее - режим dual mode) или/и в режиме, когда тестовый терминал принудительно выбирает технологию LTE, переход в остальные стандарты запрещен (далее - режим LTE only). Параметры качества услуги подвижной радиотелефонной связи измеряются в режиме dual mode.

Измерения и расчет показателей качества выполняются в соответствии с требованиями Технических спецификаций ETSI TS 102 250-1, TS 102 250-2, TS 102 250-5, TS 102 250-6, 3GPP TS 25.215 и ETSI TR 102 678.

Радиоизмерения проводятся с привязкой к местности с применением электронных топографических планов и карт, позволяющих проводить измерения в соответствии с данной методикой.

Для определения геоцентрических координат наблюдений должен использоваться приёмник системы GPS и/или GLONASS.

В случае обнаружения неисправностей измерительного комплекса оценочные измерения проводятся повторно.

Независимо от размера зоны, для которой производится измерение показателей качества, с целью достижения приемлемой точности и достоверности показателей качества услуг связи, общее количество выполненных измерений должно соответствовать требованиям к объемам наблюдений, приведенным ниже.

Последовательность действий исполнителя при подготовке и проведении измерений качества услуг связи приведена в Приложении 1 к настоящей Методике.

Требования к объему наблюдений

Требуемое количество контрольных вызовов должно быть определено по максимальному значению необходимого числа наблюдений, рассчитанному для каждого показателя качества.

Требуемое число наблюдений должно быть рассчитано по формуле (ETSI TS 102250-6):

; откуда ,

где

- абсолютное значение статистической погрешности,

р - ожидаемое значение оцениваемого параметра,

t  - коэффициент Стьюдента для доверительной вероятности . Для =95% значение коэффициента t  = 1,96.

При проведении оценочных испытаний с целью соответствия установленным требованиям в качестве ожидаемого значения должно приниматься установленное нормативное значение для соответствующего показателя. Количество наблюдений должно быть достаточным для получения оценки каждого показателя с относительной погрешностью 10% при доверительной вероятности 95%

Результаты расчета числа наблюдений для доверительной вероятности =95% для различной точности оценки приведено в таблице 2.

Таблица N 2. Минимально необходимое число контрольных вызовов при доверительной вероятности 95%

Нормативное значение показателя		Число контрольных вызовов при относительной погрешности
%	доля	5%	10%	20%
1%	0,01	152127	38032	9604
1,5%	0,015	100907	25228	6147
2%	0,020	75295	18824	4610
2,5%	0,025	59929	14982	3842
3%	0,03	49683	12420	3073
3,5%	0,035	42369	10591	2689
4%	0,04	36879	9220	2305
5%	0,05	29196	7299	1921

При использовании тестовых терминалов, выполняющих измерения в автоматизированном режиме объем наблюдений должен обеспечивать точность оценки не менее 10%.

Требования к планированию маршрутов

Перед выполнением оценочных измерений показателей качества в движении должен быть заранее составлен маршрут движения измерительного комплекса в соответствии с объемом работ и требованиями настоящей методики.

Рекомендации при составлении маршрута движения:

маршрут движения должен включать центральные площади, территории крупных торговых и культурных центров и учреждений, подъезды к вокзалам и аэропортам, крупным образовательным учреждениям и иным важным социальным объектам, туристские зоны, доступные для проезда, а также иные территории с высокой плотностью концентрации абонентов;

в населенных пунктах маршрут движения должен охватывать максимально возможное количество магистральных дорог, улиц общегородского и местного значения в пределах административной границы города, а также кольцевые, объездные дороги;

вне населенных пунктов маршрут движения должен включать автодороги, соединяющие населенные пункты, в пределах территории проведения оценочных испытаний;

маршрут движения измерительных комплексов по дорогам общего пользования рекомендуется планировать как в прямом, так и в обратном направлении движения и, по возможности, в разные дни недели;

маршрут движения должен формироваться таким образом, чтобы минимизировать повторные объезды улиц и дорог;

маршрут движения должен предусматривать заезды внутрь кварталов и дворовых территорий;

маршрут движения должен быть равномерно распределен по территории, на которой проводятся оценочные измерения;

рекомендуется, чтобы границы территории, на которой проводятся оценочные измерения, определялись границами административно-территориальной единицы (населенных пунктов, районов, округов и т.д.);

маршрут движения должен разрабатываться с учетом времени концентрации населения или трафика в соответствующих районах населенных пунктов ("спальные районы", территории размещения предприятий и офисов и т.д.).

Протяженность маршрута движения должна разрабатываться с учетом минимально необходимого числа контрольных вызовов при доверительной вероятности 95% (таблица N 2).

Рекомендованная скорость движения тестирующего транспортного средства на маршруте движения - 40 км/ч.

Общие требования к проведению оценочных измерений показателей качества услуг подвижной радиотелефонной связи при голосовом соединении ¹.

Контрольные вызовы должны выполняться поочередно для исходящего и входящего вызова. Цикл измерения показателей качества при голосовом соединении приведен в таблице 3.

Таблица 3. Цикл измерения показателей качества при голосовом соединении

Направление вызова	Операция	Длительность, сек
Вызов, инициированный тестовым терминалом (МОС)	Общая продолжительность измерения (Call Window)	180
	Установление соединения (Call setup time)	20
	Длительность успешного соединения (Call Duration)	120
	Завершение вызова и защитная пауза, не менее	40
Вызов, принятый тестовым терминалом (МТС)	Общая продолжительность измерения (Call Window)	180
	Установление соединения (Call setup time)	20
	Длительность успешного соединения (Call Duration)	120
	Завершение вызова и защитная пауза, не менее	40

По истечении указанных в Таблице N 3 таймаутов попытка установления соединения должна рассматриваться и учитываться в результатах измерения как неуспешная.

Максимальная общая продолжительность измерения МТС или МОС не должна превышать 180 сек. В случае неуспешной попытки соединения или обрыва успешно установленного соединения следующее измерение должен начинаться через 180 сек. с момента выполнения попытки соединения.

В течение длительности успешно установленного соединения тестовые речевые последовательности должны передаваться равномерно и поочередно в направлении к тестовому терминалу и от тестового терминала. При проведении измерения должны использоваться тестовые речевые последовательности на русском или английском языке.

Оценка разборчивости речи должна быть выполнена с использованием алгоритма POLQA (Рек. ITU-T Р.863). Одновременно может быть выполнена оценка разборчивости речи по алгоритму PESQ (Рек. ITU Р.862.1), которая включается в log-файлы, но не интерпретируется.

Общие требования к проведению оценочных измерений показателей качества услуг подвижной радиотелефонной связи при передаче SMS сообщений.

Длина тестового SMS сообщения должна быть не более 70 символов.

Передача тестовых SMS сообщений осуществляется между двумя тестовыми терминалами, подключенными к сетям связи одного оператора связи.

С целью сокращения количества используемого оборудования допускается передача и прием SMS сообщений с использованием одного абонентского терминала, если такая возможность поддерживается контролируемой сетью и поддерживается оборудованием тестового комплекса. Соответствующая функциональность тестового оборудования должна быть отражена в технической документации и подтверждена при его сертификации на соответствие требованиям настоящей методики.

Таблица 4. Цикл тестирования показателей качества при доставке SMS

Операция	Длительность, сек
Общая продолжительность теста (Transmission window of measurements)	175
Таймаут для доставки SMS сообщения из конца в конец	115
Пауза между последовательно передаваемыми SMS, не менее	60

До начала выполнения тестов память принимающего абонентского терминала, используемая для хранения полученных SMS, должна быть очищена. В процессе тестирования с целью исключения сбоев из-за нехватки памяти должна производиться очистка памяти принимающего абонентского терминала после выполнения некоторого количества тестов. Количество тестов, после которого должна производиться очистка памяти определяется в зависимости от объема памяти используемого абонентского терминала и должно быть отражено в протоколе.

Общие требования к проведению оценочных измерений показателей качества услуг связи по передаче данных, за исключением услуг связи по передаче данных для целей передачи голосовой информации.

Оценка значений показателей качества услуг связи по передаче данных производится по результатам выполнения тестов, имитирующих модель использования соответствующих видов услуг связи абонентами. Отдельные тесты объединяются в тестовый цикл, который выполняется при движении измерительного комплекса по маршруту тестирования.

Описание циклов измерений при движении по маршруту приведено в таблице N 5. Каждый цикл измерения содержит один тестовый кейс, состоящий из нескольких тестов, выполняемый при настройке измерительного оборудования для работы в режиме принудительного (форсированного) выбора технологий GSM/UMTS (Dual Mode) или LTE Only (Single Mode) для измерений в DL и без форсирования оборудования (в режиме Triple Mode) для измерений в UL (возможно использование отдельного канала). Для обеспечения одинаковых начальных условий перед каждым тестом посылается пакет из пяти Ping (Payload Ping х 5). В случае отсутствия у тестируемого оператора зарегистрированных базовых станций стандарта LTE, соответствующие тесты не проводятся.

Таблица 5. Циклы измерения показателей качества при передаче данных

Операция		Длительность операции	Длительность таймаута		Примечание
Параметры цикла тестирования для сетей GSM и UMTS (тестовое оборудование форсировано для сетей GSM и UMTS в DL)
Payload Ping х 5			1 сек (на каждый пинг)		800 byte, ICMP Ping x 5, без пауз между пингами; (ping 1.1.1.1 -n 5 -1 800 -w 1000)
Тест HTTP DL ЗМВ			IP SA - 30 сек Cut-off - 90 сек		Несжимаемый контент. Окно тестирования - 120 сек
Pause		5 сек
Payload Ping х 5			1 сек (на каждый пинг)		800 byte, ICMP Ping х 5, без пауз между пингами; (ping 1.1.1.1 -n 5 -1 800 -w 1000)
Тест HTTP WEB browsing 1			IP SA - 30 сек Cut-off - 30 сек		Kepler Окно тестирования - 60 сек
Pause		30 сек
Тест HTTP WEB browsing 2			IP SA - 30 сек Cut-off - 30 сек		Kepler Окно тестирования - 60 сек
Параметры цикла тестирования для сетей LTE (тестовое оборудование форсировано для работы в LTE)
Тест HTTP DL 100MB			IP SA - 30 сек Cut-of f - 90 сек		Несжимаемый контент. Окно тестирования - 120 сек
Pause		5 сек
Тест HTTP WEB browsing 1			IP SA - 30 сек Cut-off - 30 сек		Kepler Окно тестирования - 60 сек
Pause		30 сек
Тест HTTP WEB browsing 2			IP SA - 30 сек Cut-off - 30 сек		Kepler Окно тестирования - 60 сек
Параметры цикла тестирования в UL (тестовое оборудование без форсирования, работает в режиме GSM/UMTS/LTE) (Triple Mode)
Payload Ping x 5				1 сек (на каждый пинг)		800 byte, ICMP Ping x 5, без пауз между пингами; (ping 1.1.1.1 -n 5 -1 800 -w 1000)
HTTP UL 3 MB				IP SA - 30 сек. Cut-off - 90 сек.		Несжимаемый контент Окно тестирования - 120 сек.

Примечания:

1. Если пауза между тестами явно не указана, то ее длительность определяется минимальной аппаратной задержкой измерительного комплекса.

2. Новый цикл тестов выполняется после технологической паузы длительностью от 5 до 30 сек.

3. При последовательном выполнении разных тестовых циклов на одном и том же оборудовании тестовый комплекс должен обеспечивать возможность автоматического управления форсированием оборудования в процессе выполнения тестов.

4. Операции тестового цикла должны выполняться последовательно без деактивации PDP контекста.

5. Перед выполнением каждого тестового цикла должно быть обеспечено удаление всех объектов WEB браузера, кроме cookies и java-scripts.

6. При выполнении тестов с использованием в URL доменного имени перед выполнением каждого цикла должна быть проведена очистка используемого DNS кэша (ОС и WEB браузер) или установка времени хранения данных (TTL) равным 1 сек.

7. Допускается изменение последовательности тестов в тестовом цикле, за исключением последовательности тестов HTTP WEB browsing 1 и HTTP WEB browsing 2.

8. He допускается исключение указанных перед тестами пауз и процедур Payload Ping.

9. Таймаут для режима Dual mode и режима LTE only равен (по умолчанию):

для HTTP DL - 120 сек;

для HTTP browsing - 60 сек.

10. Если PDP контекст прерван не по инициативе тестового терминала, измерительный цикл должен быть прерван.

11. При нескольких неуспешных последовательных попытках загрузки WEB страницы (по умолчанию - 3), измерительный цикл должен быть прерван с деактивацией PDP контекста. Данные отказы должны быть включены в анализ результатов измерения.

Фазы измерительного цикла должны выполняться последовательно без деактивации PDP контекста.

Таблица 6. Фазы выполнения измерительного цикла для сервисов на основе HTTP

HTTP File Transfer (DL/UL)	HTTP WEB Browsing
Очистка используемого DNS кэша (ОС и WEB браузер) или установка времени хранения данных (TTL) 1 сек для каждого	Удаление всех объектов WEB браузера за исключением cookies and java-scripts; Очистка используемого DNS кэша (ОС и WEB браузер) или установка времени хранения данных (TTL) 1 сек для каждого
Загрузка WEB страницы, содержащей ссылку на тестовый файл, подлежащий загрузке	Попытка загрузки тестовой WEB страницы
Пауза (по умолчанию - 3 сек)	Пауза (по умолчанию - 30 сек)
Попытки загрузки тестового файла по протоколу HTTP по ссылке с WEB страницы	Попытка загрузки тестовой WEB страницы
Пауза (по умолчанию - 15 сек)

Общие требования к измерительному оборудованию

1. Для выполнения оценочных измерений должны использоваться специализированные измерительные комплексы, предназначенные для измерения параметров в сетях подвижной радиотелефонной связи стандартов GSM 900/1800, UMTS 900/2100 и LTE для диапазонов, выделенных в Российской Федерации, которые должны соответствовать требованиям технической спецификации ETSI TS 102 250-4 и требованиям настоящей методики.

2. Рекомендуется использовать сканеры сетей связи, обеспечивающие измерения уровней сигналов одновременно в сетях связи GSM, UMTS и LTE.

3. Внешние антенны должны располагаться на крыше тестового транспортного средства высотой 1,5-2 м от уровня земли и обеспечивать равные условия приема для всех тестовых терминалов и минимизировать взаимное влияние.

4. Серверы для измерения голосового соединения и услуг передачи данных и каналы связи, по которым эти серверы подключены, не должны вносить искажения в результаты измерений.

5. Серверы для тестирования голосового соединения должны располагаться на территории субъекта Российской Федерации, в котором проводятся оценочные измерения.

6. Серверы для тестирования услуг передачи данных должны располагаться к ближайшим точкам концентрации Интернет-трафика с учетом фактических маршрутов абонентского трафика.

7. При проведении оценочных измерений показателей качества серверы для тестирования услуг передачи данных могут размещаться в городах Москва, Санкт- Петербург, Екатеринбург, Новосибирск, Ростов-На-Дону, Краснодар, Нижний Новгород, Хабаровск, Владивосток и Симферополь.

8. Исполнитель после размещения серверов для тестирования услуг передачи данных в указанных городах письменно (с дублированием письма на официальную электронную почту тестируемого оператора связи) обязан уведомить тестируемых операторов связи о местах установки этих серверов и их IР адресах.

9. Тестируемые операторы связи в течение 30 календарных дней письменно (с дублированием письма на официальную электронную почту исполнителя) уведомляют исполнителя о том, какой из серверов предпочтителен для оператора связи при тестировании в каждом субъекте Российской Федерации, в котором тестируемый оператор связи предоставляет услуги связи. Если тестируемый оператор связи в течение 30 календарных дней письменно не уведомил исполнителя, то исполнитель самостоятельно выбирает сервер, который будет использован исполнителем для тестирования в каждом субъекте Российской Федерации.

10. Тестируемый оператор связи может изменить предпочтительный сервер для тестирования услуг передачи данных для конкретного субъекта Российской Федерации, направив исполнителю соответствующее письменное уведомление (с дублированием письма на официальную электронную почту исполнителя).

11. Исполнитель при получении письменного уведомления от тестируемого оператора связи может изменить сервер для тестирования услуг передачи данных для конкретного субъекта Российской Федерации, с учетом планируемой максимальной загрузки выбранного сервера. В случае если на момент получения письменного уведомления исполнитель осуществляет тестирование в данном субъекте Российской Федерации, то исполнитель может изменить сервер только после завершения текущего тестирования в данном субъекте Российской Федерации.

12. Двухсторонняя сетевая задержка от пограничного маршрутизатора оператора связи, оказывающего услуги связи по передаче данных, до сервера для тестирования услуг по передаче данных нг должна превышать 3 мс.

13. Двухсторонняя сетевая задержка от пограничного маршрутизатора оператора связи, оказывающего услуги связи по передаче данных и к сети которого подключены серверы для тестирования услуг по передаче данных, до пограничного маршрутизатора контролируемого оператора связи, должна контролироваться исполнителем и указывается в отчете.

14. Присоединение серверов для тестирования голосовых услуг к коммутационному оборудованию транзитного оператора должно осуществляться без использования узкополосных кодеков сжатия трафика.

15. Производительность серверов и IP маршрутов при измерении качества услуг передачи данных должна обеспечивать полосу пропускания с учетом одновременного тестирования всех операторов связи, по которым проводятся оценочные измерения.

16. Исполнитель в отчете обязан указывать место размещения сервера и его IP адрес, с использованием которого осуществлялось тестирование услуг передачи данных.

17. Используемые для измерения SIM-карты и подключенные тарифные планы не должны вносить искажения в результаты измерений.

18. Измерительное оборудование должно быть в установленном порядке сертифицировано и иметь действующие на момент оценочных испытаний свидетельства о поверке.

19. Измерительный комплекс не должен ограничивать производительность тестовых терминалов.

Доля неуспешных попыток установления голосового соединения (Voice Service Non-Accуssibility)

Определяется как отношение количества неуспешных попыток установления голосового соединения к общему количеству тестовых голосовых соединений.

, где:

Q - количество неуспешных попыток установления голосового соединения;

N - общее количество тестовых голосовых соединений.

Контрольные точки:

Событие	Событие с точки зрения абонента	Техническое описание / протокол
Попытка установления голосового соединения (Voice Call Attempt)	Начальная точка: Нажатие кнопки "Send"	Для GSM отправка по каналу RACH сообщения "А CHANNEL_REQUEST" Для UMTS отправка по каналу RACH первого сообщения "RRC CONNECTION REQUEST" с причиной запроса "Originating Conversational Call" 2.
Успешная попытка установления голосового соединения (Successful Voice Call Attempt)	Конечная точка: передающий терминал фиксирует сигнал контроля посылки вызова, а приемный терминал фиксирует сигнал вызова (Connection Established)	Переданы сообщения "ALERTING": 1. от приемного терминала к голосовому серверу (коммутатору) (UL); 2. от голосового сервера (коммутатора) к передающему терминалу (DL)
Неуспешная попытка установления голосового соединения (Unsuccessful Voice Call Attempt)	Конечная точка не достигнута

Начальные условия:

сеть GSM/UMTS доступна;

абонентское оборудование находится в режиме ATTACH;

приемный терминал не занят.

Примечания:

успешной считается попытка установления голосового соединения в случае, когда передающий терминал фиксирует сигнал контроля посылки вызова после нажатия кнопки "Send", а приемный терминал - сигнал вызова;

передающий терминал может получить сигнал "Занято" или сигнал ответа может отсутствовать из-за проблем в сети (даже когда приемный терминал зарегистрирован в сети и не занят). В этом случае сообщение "ALERTING" послано не будет и попытка должна рассматриваться как неуспешная;

в режиме Dual mode используются логические сообщения, соответствующие используемой технологии радиодоступа в момент выполнения попытки доступа к услуге. В этом случае сообщение ALERTING может быть не отправлено или не принято и попытка должна рассматриваться как неуспешная.

Таймаут: 20 сек.

Доля обрывов голосовых соединений (Voice Service Cut-off Ratio)

Определяется как отношение количества соединений, закончившихся не по инициативе тестового терминала, к общему количеству успешно установленных голосовых тестовых соединений.

,

R - количество соединений, закончившихся не по инициативе тестового терминала;

N - общее количество успешно установленных голосовых соединений.

Контрольные точки:

Событие	Событие с точки зрения абонента	Техническое описание/протокол
Успешная попытка установления голосового соединения (Successful Voice Call Attempt)	Начальная точка: передающий терминал фиксирует сигнал контроля посылки вызова, а приемный терминал фиксирует сигнал вызова (Connection Established)	Передано сообщение "ALERTING": 1. от приемного терминала к голосовому серверу (коммутатору) (UL); 2. от голосового сервера (коммутатора) к передающему терминалу (DL)
Обрыв голосового соединения (Dropped Voice Call)	Конечная точка: прекращение установленного голосового соединения не по инициативе приемного или передающего терминала (Dropped Voice Call)	Для GSM прием сообщения "DISCONNECT" приемным или передающим терминалом Для UMTS не наблюдаются одновременно сообщения: 1. Сообщение "DISCONNECT" в направлении голосового сервера (коммутатора) от одного из терминалов; 2. Сообщение "DISCONNECT" или "RELEASE" от голосового сервера (коммутатора) в направлении другого терминала

Начальные условия:

сеть GSM/UMTS доступна;

голосовое соединение успешно установлено.

Средняя разборчивость речи на соединение
(Voice Speech Quality on Call basis (MOS POLQA)

Показатель отражает качество речи в установленном голосовом соединении для каждого тестового терминала в обоих направлениях.

Является средней оценкой воспринимаемой абонентами разборчивости передаваемых тестовых речевых последовательностей.

Формула:

,

где:

POLQA - используемый алгоритм расчета POLQA (Рек. ITU-T Р.863);

x _i - i-я тестовая речевая последовательность, качество передачи которой подлежит оценке;

RL - направление передачи (UL - от тестового терминала к голосовому серверу; DL - к тестовому терминалу от голосового сервера; UL/DL - агрегированная);

N - количество голосовых последовательностей в оцениваемых соединениях.

Начальные условия:

сеть GSM/UMTS доступна;

голосовое соединение установлено (попытка доступа к услуге выполнена успешно, выделен канал для передачи голосового трафика).

Примечания:

показатель рассчитывается только для попыток соединения, при которых соединение успешно установлено и успешно завершено (не было оборвано);

в течение одного соединения тестовые речевые последовательности должны передаваться в направлениях UL и DL поочередно;

результаты статистической обработки должны включать оценки показателя для всех переданных речевых последовательностей;

результаты оценки разборчивости каждой тестовой речевой последовательности должны быть оценены по шкале MOS-LQO ³, установленной в Рек. ITU-T Р.800.1 с использованием алгоритма POLQA;

при расчете общей оценки разборчивости речи (DL/UL - без учета направления передачи тестовых речевых последовательностей) должно производиться простое усреднение оценок MOS, полученных для направлений передачи UL и DL.

Доля речевых последовательностей с низкой разборчивостью речи (Negative MOS samples Ratio, MOS POLQA < 2.6)

Показатель определяется как отношение количества принятых тестовых речевых последовательностей с низкой разборчивостью речи (MOS POLQA<2.6) к общему количеству тестовых речевых последовательностей.

, где:

N _MOS<2.6 - количество принятых тестовых речевых последовательностей с низкой разборчивостью речи (MOS POLQA<2.6);

N - общее количество тестовых речевых последовательностей.

Начальные условия:

сеть GSM/UMTS должна быть доступна;

голосовое соединение установлено (попытка доступа к услуге выполнена успешно, выделен канал для передачи голосового трафика).

Примечания:

показатель рассчитывается только для речевых последовательностей, для которых произведена оценка значения MOS;

результаты статистической обработки должны включать оценки показателя MOS для всех переданных тестовых речевых последовательностей;

расчет показателя производится раздельно для передачи тестовых речевых последовательностей в направлении UL и DL;

агрегированная оценка показателя производится без учета направления передачи тестовых речевых последовательностей (UL/DL) путем прямого расчета по совокупности оценок разборчивости речи для направлений UL и DL.

Доля недоставленных SMS сообщений

Показатель отражает долю SMS, которые не были успешно доставлены от одного мобильного абонентского терминала до другого мобильного абонентского терминала, с учетом повторно доставленных и искаженных сообщений.

Показатель не отражает успешность доставки сообщения к/от серверу, установленному стационарно в сети оператора или внешних сетях.

Определяется как отношение количества недоставленных SMS сообщений к общему количеству отправленных SMS сообщений.

, где:

R - количество недоставленных SMS сообщений;

N - общее количество отправленных SMS сообщений.

Контрольные точки

Событие	Событие с точки зрения абонента	Техническое описание / протокол
Запрос на услугу передачи SMS сообщения (Service attempt)	Начальная точка: команда на отправку SMS сообщения	Передающим тестовым терминалом передано сообщение "CM Service Request" с запросом на SMS сервис
Успешный приём SMS сообщения	Конечная точка: SMS сообщение принято тестовым терминалом	На принимающем тестовом терминале принято сообщение "Message Transfer" (принимающий терминал отправил сообщение CP_DATA (RP_АСК)
Не доставленное SMS сообщение	СМС сообщение не принято на стороне В до окончания таймаута, или дублировано, или искажено

Начальные условия:

сеть GSM/UMTS доступна передающий и принимающий терминалы зарегистрированы в сети.

Таймаут - 115 секунд.

Контент считается испорченным при искажении хотя бы одного бита сообщения. Выявление испорченных или дублированных SMS производится в процессе постобработки.

Время доставки SMS сообщений
End-to-End Delivery Time SMS (DT-SMS)

Отражает среднее время доставки короткого текстового сообщения из конца в конец (от одного мобильного абонентского терминала до другого мобильного абонентского терминала).

Показатель не отражает среднее время доставки сообщения к/от серверу, установленному стационарно в сети оператора или внешних сетях.

Время доставки SMS из конца в конец определяется как временной интервал между моментом передачи SMS сообщения передающим терминалом и моментом приёма этого сообщения принимающим тестовым терминалом.

,

Где:

t _send - момент отправки тестового SMS сообщения;

t _receive - момент приема тестового SMS сообщения;

N - число успешно доставленных тестовых SMS сообщений.

Событие	Событие с точки зрения абонента	Техническое описание / протокол
Передача SMS сообщения	Начальная точка: Нажатие кнопки отправки SMS сообщения	Передающим тестовым терминалом передано сообщение "CM Service Request"
Прием SMS сообщения	Конечная точка: SMS сообщение принято тестовым терминалом	Приемным тестовым терминалом принято сообщение "Message Transfer" (принимающий тестовый терминал отправил сообщение CP_DATA(RP_ACK)

Начальные условия:

сеть GSM/UMTS доступна

передающий и принимающий терминалы зарегистрированы в сети.

Примечания:

Расчет показателя производится только по успешно доставленным SMS. Сообщения, которые не были приняты до окончания таймаута 115 секунд, или дублированы, или искажены (хотя бы один бит сообщения) должны быть исключены из расчета. Выявление испорченных или дублированных SMS производится в процессе постобработки.

Доля неуспешных TCP/IP соединении с сервером (HTTP IP-Scrvice Access Failure Ratio)

Определяется как отношение количества неуспешных попыток установления TCP/IP соединения с сервером передачи данных к общему количеству попыток соединений с сервером передачи данных.

, где

R - количество неуспешных попыток установления TCP/IP соединения с сервером передачи данных;

N - общее количество попыток соединений с сервером передачи данных.

Контрольные точки:

Событие	Техническое описание/протокольная часть
Попытка установить TCP/IP соединение с сервером передачи данных	Начальная точка: первый пакет [SYN] отправлен
Удачная попытка	Конечная точка: прием первого пакета данных с контентом
Неудачная попытка	Конечная точка не достигнута до окончания таймаута

Начальные условия:

сети связи, в которых проводятся измерения, доступны;

тестовый терминал находится в режиме ATTACH;

PDP контекст успешно активирован.

Таймаут - 30 сек.

Доля неуспешных сессий по протоколу HTTP (HTTP Session Failure Ratio)

Определяется как отношение прекращенных не по инициативе измерительного комплекса сессий по протоколу HTTP к общему количеству тестовых сессий по протоколу HTTP.

, где:

R - количество прекращенных не по инициативе тестового комплекса сессий по протоколу HTTP;

N - общее количество тестовых сессий по протоколу HTTP.

Контрольные точки:

Событие	Техническое описание/протокольиая часть
Начало сеанса передачи данных	Начальная точка: первый пакет [SYN] отправлен
Сеанс передачи данных, завершенный успешно	Конечная точка: прием последнего пакета данных, содержащего контент
Сеанс передачи данных не завершен	- не принят последний пакет данных до окончания таймаута; - оборван PDP контекст; - загрузка контента не завершена до окончания таймаута

Начальные условия:

тестовый терминал находится в режиме ATTACH;

PDP контекст успешно активирован;

TCP/IP соединение установлено.

Среднее значение скорости передачи данных к абоненту ⁴, ⁵ (HTTP DL Mean User Data Rate)

Определяется как суммарная величина скоростей передачи данных по протоколу HTTP от сервера передачи данных к приемному терминалу за время проведения тестовых измерений и усредненная относительно количества тестовых измерений.

, где

V - скорость передачи данных по протоколу HTTP от сервера передачи данных к приемному терминалу;

N - общее количество тестовых измерений.

, где:

Р - размер тестового файла с данными, кбит;

t _начала - время начала передачи тестового файла с данными, сек;

t _{завершения} - время завершения передачи тестового файла с данными, сек.

Контрольные точки:

Событие	Техническое онисание/протокольная часть
Начало передачи данных	Начальная точка: тестовым терминалом получен первый пакет данных, содержащий контент
Завершение передачи данных	Конечная точка: тестовым терминалом получен последний пакет данных, содержащий контент

Начальные условия:

тестовый терминал находится в режиме ATTACH;

PDP контекст или EPS bearer context успешно активирован;

TCP/IP соединение установлено.

Среднее значение скорости передачи данных от абонента ⁶, ⁷ (HTTP UL Mean User Data Rate)

Определяется как суммарная величина скоростей передачи данных по протоколу HTTP от тестового терминала к серверу передачи данных за время проведения тестовых измерений и усредненная относительно количества тестовых измерений.

, где:

V - скорость передачи данных по протоколу HTTP от тестового терминала к серверу передачи данных;

N - общее количество тестовых измерений.

, где:

Р - размер тестового файла с данными, кбит;

t _начала - время начала передачи тестового файла с данными, сек;

t _{завершения} - время завершения передачи тестового файла с данными, сек.

Контрольные точки:

Событие	Техническое описание/иротокольная часть
Начало передачи данных	Начальная точка: тестовым терминалом отправлен первый пакет данных, содержащий контент
Завершение передачи данных	Конечная точка: тестовым терминалом получено сообщение (FIN АСК) для последнего пакета данных, содержащего контент

Начальные условия:

тестовый терминал находится в режиме ATTACH;

PDP контекст или EPS bearer context успешно активирован;

TCP/IP соединение установлено.

Продолжительность успешной сессии ⁸
(HTTP Session Time)

Определяется как интервал времени, необходимый для успешного завершения сессии, включающий время успешного установления IP соединения и время передачи данных, характеризует время открытия типовой WEB страницы, наблюдаемое абонентом.

Значение=t _{завершения}-t _начала

t _{завершения} - время успешного завершения открытия WEB страницы, сек;

t _начала - время начала установления TCP/IP соединения для открытия WEB страницы, сек.

Контрольные точки:

Событие	Техническое описание/протокольная часть
Успешно начатая сессия	Начальная точка: отправка первого пакета [SYN]
Успешно завершенная сессия	Конечная точка: получение последнего пакета данных, содержащего контент
Неуспешная сессия	Конечная точка не достигнута до момента истечения таймаута

Начальные условия:

сеть связи должна быть доступна;

тестовый терминал находится в режиме ATTACH;

PDP контекст успешно активирован.

Распределение уровня покрытия сети связи

Распределение уровня покрытия сети связи представляется в виде значений мощности сигналов сетей связи.

Результаты измерений могут быть усреднены как по временным, так и по географическим параметрам. Рекомендуемые параметры усреднения: по времени - 1 сек, по географическим координатам - 50 м.

Уровни сигналов для каждой из технологий GSM, UMTS и LTE измеряются с использованием сканеров сетей связи. Уровень сигнала измеряется для канала, имеющего наибольший уровень сигнала.

Значение измеряемого уровня сигнала должно быть пересчитано к значению в точке антенного входа.

------------------------------

¹ Оценочные измерения показателей качества услуг подвижной радиотелефонной связи при голосовом соединении в сети LTE производятся только после внедрения в сетях LTE услуги подвижной радиотелефонной связи для голосового соединения автономно от сетей связи других стандартов

² При отправке нескольких запросов "RRC CONNECTION REQUEST" при расчете показателя учитывается только первый из них.

³ MOS-LQO - "Mean Opinion Score - Listening Quality Objective"

⁴ Значение показателя не рассчитывается для тестирования WEB просмотра;

⁵ Значение показателя рассчитывается только для сеансов успешно переданных данных.

⁶ Значение показателя рассчитывается только для тестирования в режиме triple-mode;

⁷ Значение показателя рассчитывается только для сеансов успешно переданных данных.

⁸ Значение показателя рассчитывается только для загрузки WEB страницы.

------------------------------

Министр связи и массовых коммуникаций Российской Федерации

Н.А. Никифоров