Технический контроль за качеством телекоммуникационных услуг при осуществлении мероприятий государственного надзора за рынком телекоммуникаций 2010 Лебедев. - презентация

1 Технический контроль за качеством телекоммуникационных услуг при осуществлении мероприятий государственного надзора за рынком телекоммуникаций 2010 Лебедев Юрий Вениаминович Заместитель начальника управления обеспечения технического контроля Государственной инспекции связи

2 Статья 32. Потребители во время заказа и / или получения телекоммуникационных услуг имеют право на своевременное и качественное получение телекоммуникационных услуг Статья 39. Операторы телекоммуникаций обязаны: предоставлять телекоммуникационные услуги по установленным показателям качества Закон Украины "О телекоммуникациях"

3 Статья 18. Национальная комиссия по вопросам регулирования связи Украины осуществляет контроль за качеством телекоммуникационных услуг Статья 19. Государственная инспекция связи осуществляет государственный надзор за рынком телекоммуникаций путем: контроля качества телекоммуникационных услуг; проверки соблюдения лицензионных условий операторами, провайдерами телекоммуникаций; контроля за соблюдением субъектами рынка телекоммуникаций законодательства, стандартов, других нормативных актов в сфере телекоммуникаций.

4 Директива 2002/22/ЕС ЕВРОПЕЙСКОГО ПАРЛАМЕНТА И СОВЕТА от 7 марта 2002 об универсальных услугах и правах пользователей относительно электронных сетей связи и услуг (Директива об универсальных услугах) Национальные регулирующие органы обеспечивают, чтобы все назначенные предприятия, на которые возложены обязательства публиковали адекватную и обновленную информацию о своей эффективности, достигнутой в ходе предоставления универсальной услуги, основанной на качестве параметров услуги, определения и методов измерения, установленных в Приложении III Директивы. Опубликованная информация также представляется национальным регулирующим органам. Государства-участники обеспечивают национальным регулирующим органам возможность осуществлять мониторинг соблюдения назначенными предприятиями этих целей эффективности. Длительное невыполнение предприятием целей эффективности может привести к применению в соответствии с Директивой 2002/20/ЕС Европейского Парламента и Совета от 7 марта 2002 об авторизации электронных коммуникационных сетей и услуг (Директива об авторизации), особых мероприятий. Национальные регулирующие органы могут давать распоряжение о проведении независимых аудиторских проверок или подобных оценок данных об эффективности, за которые платит соответствующее предприятие, с целью обеспечения точности и сопоставимости данных, предоставляемых предприятиями с обязательствами относительно универсальной услуги. Статья 11. Качество предоставляемой услуги назначенными предприятиями

5 Закон Украины "О телекоммуникациях" Статья 15. Полномочия центрального органа исполнительной власти в области связи (т.е. M ИНИСТЕРСТВА ТРАНСПОРТА И СВЯЗИ У КРАИНЫ ): 4) определяет требования к уровню качества телекоммуникационных услуг

6 ПОКАЗАТЕЛИ КАЧЕСТВА услуг фиксированной телефонной связи и их предельные нормированные уровни Приказ Министерства транспорта и связи Украины Зарегистрирован в Министерстве юстиции Украины за 220/17515 Показатели (параметры) качества универсального доступа к телекоммуникационной сети Показатели (параметры) качества услуг голосовой телефонии

7 ПОКАЗАТЕЛИ КАЧЕСТВА услуг мобильной связи. Приказ Министерства транспорта и связи Украины "Об установлении уровней качества услуг мобильной связи" N 147. Зарегистрирован в Министерстве юстиции Украины 6 апреля 2010 за N 277/17572 Показатели и параметры качества основных услуг Показатели и параметры качества дополнительных услуг Показатели и параметры качества обслуживания потребителей

8 MИHИCTEPCTBО ТРАНСПОРТА И СВЯЗИ УКРАИНЫ Приказы об утверждении и введении в действие стандартов по контролю качества телекоммуникационных услуг 1053 от СОУ 64.2 – – 001:2009 "Телекоммуникационные сети фиксированной телефонной связи общего пользования. СИСТЕМА ПОКАЗАТЕЛЕЙ КАЧЕСТВА УСЛУГ ТЕЛЕФОННОЙ СВЯЗИ Общие положения"; СОУ 64.2 – – 002:2009 "Телекоммуникационные сети фиксированной телефонной связи общего пользования. ТЕЛЕКОММУНИКАЦИОННЫЕ УСЛУГИ Показатели качества. Методы испытаний" от СОУ 64.2 – – 005:2009 "Телекоммуникационные сети мобильной связи общего пользования. Система показателей качества услуг мобильной связи. Общие положения". СОУ 64.2 – – 006:2009 "Телекоммуникационные сети мобильной связи общего пользования. ТЕЛЕКОММУНИКАЦИОННЫЕ УСЛУГИ Показатели качества. Методы испытаний".

9 СОУ "Телекоммуникационные сети передачи данных общего пользования. СИСТЕМА ПОКАЗАТЕЛЕЙ КАЧЕСТВА УСЛУГ ПЕРЕДАЧИ ДАННЫХ И ДОСТУПА К ИНТЕРНЕТУ Общие положения" СОУ "Телекоммуникационные сети передачи данных общего пользования ТЕЛЕКОММУНИКАЦИОННЫЕ УСЛУГИ Показатели качества. Методы испытания и оценки" Проекты стандартов по контролю за качеством телекоммуникационных услуг

10 Положение о качестве телекоммуникационных услуг Утверждено решением НКРС от Национальная комиссия по вопросам регулирования связи Украины

11 Украинские стандарты по вопросам контроля качества телекоммуникационных услуг СОУ 64.2 – – 001:2009 СОУ 64.2 – – 002:2009 СОУ 64.2 – – 005:2009 СОУ 64.2 – – 006:2009 Разработаны в соответствии с требованиями стандартов ETSI: ETSI EG V1.3.1 ( ), Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 1: General ETSI EG V1.2.1 ( ) Speech Processing, Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 2: Voice telephony, Group 3 fax, modem data services and SMS ETSI EG V1.1.1 ( ) Speech Processing, Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 3: QoS parameters specific to Public Land Mobile Networks (PLMN) ETSI TS V1.2.1 ( ) Speech Processing, Transmission and Quality Aspects (STQ); QoS aspects for popular services in GSM and 3G networks; Part 1: Identification of Quality of Service criteria ETSI TS V1.6.2 ( ) Speech Processing, Transmission and Quality Aspects (STQ); QoS aspects for popular services in GSM and 3G networks; Part 2: Definition of Quality of Service parameters and their computation ETSI TS V1.4.1 ( ) Speech and multimedia Transmission Quality (STQ); QoS aspects for popular services in GSM and 3G networks; Part 3: Typical procedures for Quality of Service measurement equipment ETSI TS V1.3.1 ( ) Speech and multimedia Transmission Quality (STQ); QoS aspects for popular services in GSM and 3G networks; Part 4: Requirements for Quality of Service measurement equipment ETSI TS V1.5.1 ( ) Speech Processing, Transmission and Quality Aspects (STQ); QoS aspects for popular services in GSM and 3G networks; Part 5: Definition of typical measurement profiles ETSI TS V1.2.1 ( ) Speech Processing, Transmission and Quality Aspects (STQ); QoS aspects for popular services in GSM and 3G networks; Part 6: Post processing and statistical methods

12 Контроль за качеством телекоммуникационных услуг базируется на принципах (в соответствии с ETSI ETR 138, ETSI EG , ETSI EG , ETSI EG , ETSI EG ): Принцип 1 Параметры должны быть понятными для потребителей услуг, полезными и важными для них. Принцип 2 Измерение параметров должны контролироваться при подключении к телекоммуникационной сети. Измерения должны осуществляться в процессе предоставления услуг. Чтобы быть реалистичными, насколько это возможно, реальный трафик, а не тестовые вызовы должны использоваться при проведении измерений. Принцип 3 Параметры должны контролироваться независимыми организациями. Контроль может быть осуществлен путем непосредственных измерений или аудиторской проверки. Принцип 4 Точность оценки зависит от методов измерения. Методы должны быть простыми и не затратными. Принцип 5 Параметры качества определяются на основе простых статистических оценок. Требования к статистическим оценкам, в том числе относительно определения объема выборочных совокупностей должны быть стандартизированы.

13 СОУ 64.2 – – 002:2009 Измерения на всем реальном трафике или измерений на реальном трафике для исходящих вызовов в репрезентативной совокупности местных телефонных станций к репрезентативной совокупности адресатов, или тестовых вызовов в репрезентативной совокупности местных автоматических телефонных станций (АТС) или телекоммуникационных сетей общего пользования к репрезентативной совокупности назначений; или комбинации приведенных выше вариантов. ETSI EG V1.2.1 The statistics should be calculated from: a) measurements on all real traffic; or b) measurements on real traffic for outgoing calls in a representative population of local exchanges to a representative set of destinations; or c) test calls in a representative population of local exchanges or NTPs to a representative set of destinations; or d) a combination of the above. Испытания на реальном трафике с использованием тестовых вызовов комбинации приведенных выше вариантов Какими техническими методами может пользоваться Государственная инспекция связи при проведении контроля за качеством телекоммуникационных услуг ?

14 Особенности контроля качества телекоммуникационных услуг операторами (провайдерами) телекоммуникаций и Государственной инспекцией связи Измерения должны быть спланированы так, чтобы точно отражать вариации трафика по часам за день, дней недели и месяцев в течение года ETSI EG V1.1.2 ( ) ETSI EG V1.3.1 ( ) ETSI EG V1.1.1 ( ) Качество обслуживания может быть разной по отношению к местоположению География сети должна быть принята во внимание при измерениях, особенно если выбор осуществляется не по данным мониторинга всех участков сети п. 7.1 ETSI EG V1.2.1 ( ) Государственная инспекция связи Время проведения планового мероприятия не может превышать 15 рабочих дней, а для субъектов малого предпринимательства - 5 рабочих дней, если иное не предусмотрено законом. Время проведения внепланового мероприятия не может превышать 10 рабочих дней, а относительно субъектов малого предпринимательства - 2 рабочих дней, если иное не предусмотрено законом. (из Закона Украины "Об основных принципах государственного надзора (контроля) в сфере хозяйственной деятельности" ) Постоянный контроль в течение года Контроль проводится при осуществлении мероприятий государственного надзора (Законодательством не предусмотрена возможность проведения постоянного мониторинга телекоммуникационных сетей в течение года) При проведении мероприятий государственного надзора необходимо собрать статистические данные (количество вызовов, количество установленных соединений, количество SMS и т.д.) в зависимости от выбранной точности оценки Объем испытаний не зависит напрямую от количества потребителей услуги, но зависит от ожидаемого результата, то есть от установленного значения параметра качества услуги Оператор

15 Проблемные вопросы контроля качества телекоммуникационных услуг: Какие технические параметры контролировать непосредственно при осуществлении мероприятий государственного надзора? Какую статистику можно собрать во время, определяемом законодательством? Какие технические средства использовать при проведении контроля ГИС? Какие показатели невозможно определить (рассчитать) во время осуществления мероприятий государственного надзора?

16 Особенности контроля качества телекоммуникационных услуг операторами (провайдерами) телекоммуникаций и Государственной инспекцией связи Компромисс должен быть найден между желанием контролировать всё, затратами времени и возможной избыточности для обеспечения контроля. Для оптимизации измерений, возможно, сосредоточить внимание на некоторых ключевых точках сети или осуществлять измерение в часы наибольшей нагрузки в течение дня или недели. ETSI EG V1.2.1 ( ) п.7.1 User Group; Quality of telecom services; Part 1: Methodology for identification of parameters relevant to the Users (Часть 1: Методология для определения параметров, имеющих отношение к потребителям)

17 Базовые показатели качества телекоммуникационных услуг (вариант) Фиксированная связь: Процент заявок о подключении конечного оборудования потребителей к сети местной телефонной связи, выполненных за нормированное время Процент неуспешных вызовов Процент вызовов, которые соответствуют нормам по времени завершения вызова Процент соединений, соответствующих нормам по качеству передачи речевой информации Процент вызовов, которые соответствуют нормам по времени ответа системами информационно-справочными службами оператора Процент исправных таксофонов Количество заявлений о повреждении телекоммуникационной сети в расчете на одну линию доступа за год Процент заявлений о повреждении телекоммуникационной сети, выполненных за нормированный время Процент счетов, на которые были получены обращения от потребителей относительно их некорректности Процент обращений относительно организационных аспектов обслуживания Процент обращений относительно технических аспектов обслуживания Мобильная связь Процент неуспешных вызовов Процент вызовов, которые соответствуют нормам по времени завершения вызова Процент соединений, соответствующих нормам по качеству передачи речевой информации Процент установленных соединений, которые закончились преждевременным разъединением не по инициативе абонента Процент недоставленных сообщений SMS Процент заявлений о повреждениях сети, выполненных за нормативное время Процент счетов, на которые были получены обращения от потребителей относительно их некорректности (неправильности) Процент обращений на организационные аспекты обслуживания, которые поступили в службу работы с потребителями Процент обращений на технические аспекты обслуживания, которые поступили к технической службы и т.п. В соответствии с пунктом 3.2.Положения о качестве телекоммуникационных услуг перечень показателей качества телекоммуникационных услуг, уровни которых подлежат обязательному обнародованию определяются решением НКРС в соответствии с приказами центрального органа исполнительной власти в отрасли связи. Такое решение принимается НКРС до начала отчетного года.

18 ВЗАИМОСВЯЬ МЕЖДУ ТОЧНОСТЬЮ ОЦЕНКИ ПРОЦЕНТА НЕУСПЕШНЫХ ВЫЗОВОВ И КОЛИЧЕСТВОМ ВЫЗОВОВ, НЕОБХОДИМЫХ ДЛЯ НАБЛЮДЕНИЯ Если наблюдались k неуспешных вызовов из n вызовов, тогда истинное значение коэффициента неуспешных вызовов лежит между k/n - та k/n + с уровнем доверия 1-α, доверительный интервал для оцениваемого показателя () аппроксимируют (для большого значення n) и вычисляют по формуле: где p – ожидаемый коеффициент неуспешных вызов; - є процентиль нормального распределения с средним значением «0» и стандартным отклонением 1 (0,1). Если уровень доверия, тогда. Количество вызовов для наблюдения вычисляют по формуле: де – относительная точность оценки параметра, или величина доверительного интервала ( ), отнесенная к значению величины, которая оцениваеться. Количество вызовов для наблюдений (n) в зависимости от выбранной точности оценки вычисляют по формуле: Какой объем статистики необходимо собрать во время проведения мероприятий государственного надзора?

19 Определение количества вызовов в зависимости от относительной точности оценки Значение показателя «Процент неуспешных вызовов», % Количество вызовов, необходимых для наблюдения, при заданной относительной точности оценки с уровнем доверия 95% 5%10%20% 1, , , , , , , Практика показывает, что на сетях больших и средних операторов необходимую статистику можно собрать во время проведения мероприятий госнадзора

20 Использование тестового трафика ETSI EG Speech Processing, Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 2: Voice telephony, Group 3 fax, modem data services and SMS 5.1 Unsuccessful call ratio b) is not required to exceed a test call rate of 1 in ETSI EG V1.1.2 ( ) ETSI Guide Speech Processing, Transmission & Quality Aspects (STQ); QoS parameter definitions and measurements; Parameters for voice telephony service required under the ONP Voice Telephony Directive 98/10/EC 5.4 Unsuccessful call ratio Notwithstanding the accuracy objectives given above, the number of test calls is not required to exceed 1 in СОУ 64.2 – – 002:2009 "Телекомунікаційні мережі фіксованого телефонного звязку загального користування. ТЕЛЕКОМУНІКАЦІЙНІ ПОСЛУГИ. Показники якості. Методи випробування". Раздел 7 б): не использовать превышение соотношения тестовых вызовов 1 к СОУ 64.2 – – 006:2009 "Телекомунікаційні мережі рухомого (мобільного) зв'язку загального користування. ТЕЛЕКОМУНІКАЦІЙНІ ПОСЛУГИ. Показники якості. Методи випробування". Раздел 7 б): не использовать превышение соотношения тестовых вызовов 1 к Например, проведение 7300 тестовых вызовов должно подтверждаться прохождением не менее, чем 7 млн. 300 тыс. вызовов на реальном трафике Возможно ли набрать такую статистику во время проведения мероприятий госнадзора ?

21 Методики должны базироваться на стандартизированных статистических методах испытаний параметров, показателей качества телекоммуникационных услуг и обслуживания потребителей Державна інспекція зв'язкуОператор ETSI EG V1.1.1 ( ) Speech Processing, Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 3: QoS parameters specific toPublic Land Mobile Networks (PLMN) 4.9 Comparability of measurements Results should be compared only where the same measurement methods are used. For example, measurements made with drive round tests on one network may be compared with measurements made with drive round tests on another network but not with measurements made with network element counters. Результаты должны быть сопоставлены только там, где используются те же методы измерения. Например, измерения, проведенные с использованием драйв-тестов на одной сети могут быть сопоставлены с аналогичными измерениями при проведении драйв-тестов на другой сети, но не с измерениями, связанными с счетчиками сетевых элементов. Для обеспечения возможности сопоставимости результатов контроля должны быть разработаны единые методики для их использования операторами и Государственной инспекцией связи Испытания качества телекоммуникационных услуг осуществляются в соответствии с методиками

22 Схема подключения измерительных средств

23 Телекоммуникационная сеть оператора телекоммуникаций стандарта CDMA. Схема подключения измерительных средств для выполнения измерений / испытаний.

24 Пункт сигналізації Транзитний пункт сигналізації АСТС ЛПМ Копоративна мережа МОНИТОРИНГ ЦИФРОВЫХ СЕТЕЙ Измерительный прибор типа АСТС. Производитель - ИВП «ИННОВИН», г. Винница, Украина

25 Информация на экране монитора измерительного средства

26

27 Автоматизированный метод измерения качества передачи речи PЕSQ (Perceptual Evaluation of Speech Quality). Рекомендация ITU-T Р.862 Метод основан на сравнении эталонного речевого сигнала и сигнала, поступившего из кодека или IP-сети. Субъективный метод средней экспертной оценки (Mean Opinion Score - MOS), определенный в Рекомендации ITU-T Р.800 и Р.830. Рассчитываются после прослушивания группой людей тестового тракта передачи речевой информации по пятибалльной шкале. Оценки 3,5 баллов и выше соответствуют стандартной и высокому качеству телефонного соединения, 3,0-3,5 - приемлемом, 2,5-3,0 - синтезированном звука. Для передачи речевой информации с хорошим качеством целесообразно ориентироваться на MOS не ниже 3,5 баллов. Объективный метод оценки с использованием единиц рейтинга R (Quality Rating) по стобальной шкале (Е-модель). Как база для оценки принята Рекомендация ITU-T G.107 Методы оценки качества передачи речевой информации

28 Базовые технические показатели качества телекоммуникационных услуг и методы контроля (вариант) Фиксированная связь ПоказателиМетоды контроля Процент неуспешных вызововКомбинация методов: тестовые вызовы + SS7 Процент вызовов, которые соответствуют нормам по времени завершения вызова SS7 Процент соединений, соответствующих нормам по качеству передачи речевой информации PESQ Мобильная связь ПоказателиМетоды контроля Процент неуспешных вызововКомбинация методов: тестовые вызовы + SS7 Процент вызовов, которые соответствуют нормам по времени завершения вызова SS7 Процент соединений, соответствующих нормам по качеству передачи речевой информации PESQ Процент установленных соединений, которые закончились преждевременным разъединением не по инициативе абонента SS7 Процент недоставленных сообщений SMSТестовые сообщения

29 Благодарю за внимание! Лебедев Юрий Вениаминович Заместитель начальника управления обеспечения технического контроля Государственной инспекции связи