基于客户感知的网络质量评估体系(试行稿)

中国移动浙江公司移动通信网络经过多年的建设和经营，网络质量逐步达到业界较好水平，近几年也一直处于全国领先位置，但是，随着网络技术业务的快速发展和行业竞争的日趋激烈，网络运维工作中出现了许多新特点和新情况，客观上对网络维护管理提出了更高的要求，需要通过不断变革和提升来适应发展的需要。

从近几年的实践来看，网络运维管理水平处于不断提升和改善当中，但部分矛盾和管理需求日显突出，主要表现在：1、虽然网络传统KPI指标表现优秀，但由于客户要求的不断提高、网络业务的日趋多样和复杂，客户网络投诉上升较快，如何有效降低客户网络投诉，提升客户网络满意度，已成为亟待突破的运维管理瓶颈；2、传统KPI的持续优化和提升，业已接近理论极限，再度提升边际收益极低，而对于弱覆盖、话音质量差、上网速度慢等用户感知明显的质量问题，又缺少量化的评估分析和跟踪改进手段，原有网络质量评估体系的合理性亟需提升；3、数据业务发展迅速，并因其种类多、变化快、涉及的网元多、用户行为复杂等特点，用传统的网络质量评估方式很难有效反映客户感知，网络质量评估面临新课题；4、网络同质化日趋严重，如何保持相对竞争对手的持续的网络差异化优势面临挑战。

为适应新的发展和竞争形势，根据省公司管理层的指示，省公司网络部提出，要坚持以客户为中心，探索和建立“客户感知关键元素”、“网络测试评价手段”和“业务端到端全程衡量指标”三维一体的网络客户感知质量评估体系，实现网络质量评估由技术评价向客户评价的拓展和延伸。2008年上半年，省公司网络部在部分分公司前期实践的基础上，系统组织了基于客户感知的网络质量评估体系研究和探索，进一步明确了体系构建的思路、目的、目标、原则及理论依据等，提出了具体的指标构建和评估方法。

一、建立基于客户感知的网络质量评估体系的目的：

1.从客户感知的角度更好的评估和掌控全网运行质量，找出省、市、县各级网络业务质量的短木板。

2.为实现运维工作从面向设备维护向面向业务维护拓展和转型打好基础。

3.指导维护优化工作，改善网络客户感知，降低网络客户投诉。

二、建立基于客户感知的网络质量评估体系的原则：

1.客户化原则：围绕客户感知设计评估指标体系

2.端到端原则：以业务为导向梳理全过程衡量指标

3.可测量原则：所有指标都要能客观测量和统计

三、建立基于客户感知的网络质量评估体系的理论参考依据：

1、欧洲电信标准协会(European Telecommunications Sdandards Institute 简称ETSI )是的欧洲地区信息和通信技术(ICT)标准化组织，它将基于客户感知的通信服务技术相关衡量指标（ETR003 KQI）定义为如下六个方面：

❑可用度 Availability

❑可靠度 Reliability

❑速度 Speed

❑安全 Security

❑简约 Simplicity

❑弹性 Flexibility

这六个方面涵盖了客户对通信服务技术层面的各种体验要素，是建立基于客户感知的网络质量评估体系的基本元素。

2、电信管理论坛TMF GB923 Wireless Service Management Handbook (无线通讯服务管理手册) 是电信管理论坛应映2.5G/3G新一代无线数据通讯服务的兴起所提出的一套KPI/KQI设计思路与架构，以及相对应的服务质量管理模型。

GB923提及KQI（Key Quality Indicator）必须要基于服务级别需求，在产品／服务设计的时候就必须要考虑KQI，以及其往下展开来相对应的网络资源KPI，并落实到实际的服务质量分析与考核系统，以建构完整的无线通讯服务管理架构。

四、建立基于客户感知的网络质量评估体系的基本思路：

贯彻以客户为中心的服务理念，参考ETSI标准和TMF GB923标准，综合考虑网络整体健康度的宏观管理指标和系统设备运行状况的各项关键指标，围绕客户感知梳理和构建涵盖主要业务关键环节的关键指标体系，探索和建立“两个层面、三维一体”的基于客户感知的网络质量评估体系。

宏观管理指标方面，主要是对网络故障的严重程度、发生频度和覆盖广度进行综合监控和评估，并在可行和必要的前提下对主要网元和网络组网的负荷指标进行预警管理，从全网宏观层面客观反应客户感知。

系统设备运行状况方面，主要从三个维度实施研究和评估：维度一：从业务使用感受的角度提取一系列客户感知关键元素；维度二：从端到端业务维护的角度梳理关键业务环节相关指标；维度三：通过不断丰富和创新网络测试、统计和分析手段，全面反映网络服务质量。上述三个维度相互关联，形成整体，形成客户感知型的网络质量评估体系。

五、基于客户感知的网络质量评估体系的具体指标构建：

参考上述理论依据，省公司网络部根据多年运维管理实践经验和部分分公司的先期实践经验，组织各专业管理骨干及部分分公司技术专家与生产一线管理骨干，梳理了现网各类网络统计KPI、网络测试KPI等各环节指标，并通过梳理KQI与KPI的对应关系，对指标库进行精选和整合，力求选中的指标更符合客户感知，并同时是网络专业运行的关键指标。通过多次讨论和反复修改，最后初步确定从网络能力与故障、传统KPI指标、主动测试指标（包括各类海量自动拨测系统）、语音质量指标、客户投诉指标、新业务数据业务指标等6个方面，形成基于客户感知的网络质量评估体系的具体指标集。相关的指标具体描述如下：

1、网络能力与故障方面：

HLR利用率

VLR利用率

交换核心处理器负荷

短信中心负荷

彩信中心负荷

WAP网关负荷

GGSN处理负荷

SGSN处理负荷

IP承载网带宽利用率

业务受阻等效损失话务量

短期一般重复故障

重大故障

指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。 

2、传统KPI指标

彩信端到端接通率

客户网络满意度

掉话率 

GPRS拥塞小区比例 

基站退服率 

无线接入性 

BSC平均中断时长(分钟/BSC) 

网管系统下派单处理及时率 

传输155M及以上系统万2M中断时长(小时/万 2M) 

半速率话务占比 

机房关键电源系统设备可用度 

基站电源系统可用度 

城域网光缆百公里阻断时长(小时/百公里 年)

指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。

3、主动测试指标

测试网络覆盖率

测试MOS话音质量

测试网络接通率

测试网络掉话率

测试单通、回声、串话率

指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。

4、语音质量指标

LAC寻呼平均劣化时长（分钟）

小区劣化比例

上行话音质量(0-5级)

下行话音质量(0-5级)

小区间切换成功率

指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。

5、客户投诉指标

每万用户投诉比

投诉处理全程及时率

投诉平均历时

监控部门投诉直接处理率

投诉解决率

重复派单率

客服满意度

客户回访满意度

指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。

6、新业务、数据业务指标

手机上网/全曲下载/手机炒股业务：

接入网站时长

信息刷新时长

ATTCAH成功率

PDP激活成功率

上下行TBF建立成功率

PDP掉线率

PCDH信道复用度

彩信业务：

push消息下发成功率

彩信下发成功率

点对点彩信端到端时延

彩铃业务：

接续时间

彩铃接通率

彩铃播放正确率

来电助手业务：

漏电提醒准确率

短信接收及时率

开机提醒准确率

开机短信接收及时率

指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考《基于客户感知的网络质量评估体系KPI集（试行稿）》。

六、基于客户感知的网络质量评估体系的具体评估方法：

通过对“网络能力与故障指标、传统KPI指标、主动测试指标、语音质量指标、客户投诉指标、新业务数据业务指标”等6个方面的指标进行汇总统计，对统计结果进行层层分解和多角度审视，寻找网络客户感知的短板。评估体系主要输出如下：

1、全省网络客户感知质量指数和6维度短板分析

通过对6类指标的全省统计汇总，计算出全省网络客户感知质量指数，并对每月情况进行跟踪关注，便于观察全省网络运行情况对客户使用感知的影响程度。

质量指数跟踪示意图：

2)各地市质量指数横向比较

对6类指标按地市进行统计汇总，计算出各地市网络客户感知质量指数，进行横向比较并对每月情况进行跟踪关注，反映各地市网络客户使用感知的综合情况和变化情况。

质量指数横向比较示意图：

3)全省网络客户感知6维度短板分析

具体分为三个层次。

一个层次是6类指标的综合比较，找出哪类指标相对表现相对较差，并可以对每一类指标进行每月跟踪分析。

示意图：（6类指标当月表现综合比较）

第二个层次是每1类指标进行展开分析，特别是对相对表现较差的那类指标进行展开分析，进一步定位短板指标，从而根据指标的具体定义和所涉及的网络范围进行针对性优化。

示意图：（以测试类指标为例）

第三个层次是对每一类指标按地市进行横向比较。

示意图：（如语音质量类指标综合得分横向比较）

2、各地市网络客户感知质量指数和6维度短板分析

各地市网络客户感知质量指数和6维度短板分析方法与全省的分析相仿，横向比较的单位（或地域范围）可延伸到县公司或区域公司（在评估体系逐步完善和相关数据可以获取的前提下），以便进一步定位网络短板的范围和程度，明确优化改进的方向。

七、试行基于客户感知的网络质量评估体系的相关说明

由于网络质量的评估是一个复杂的系统工程，特别是基于客户感知的质量评估是一项全面创新的工作，各项评估指标筛选、权重设置、数据获取和分析等，都没有现成的模式可供借鉴，虽然在形成试运行体系的过程中，省公司已组织了各专业骨干人员的多次讨论和修改，但是，在评估体系的试运行和摸索完善阶段，肯定会存在一些问题，如指标的合理性、关键性和可测量性方面，如指标的权重设定、目标值设定、测量范围设定等方面。

为了顺利推动基于客户感知的网络质量评估体系试运行工作，需要特别说明以下相关事项：

1、为了更好地在评估体系中体现客户的实际使用感知，在指标目标值的设定中采用了全省统一标准（不考虑各地历史质量指标数据），并尽量避免不同厂家设备之间的差别，更多采用端到端的指标，更多采用用户投诉的实际数据。同时，传统指标还占有较大权重，主要是考虑到传统指标是多年积累网络设备质量的代表性指标，能够在很大程度上反映网络运行的基本情况。

2、试运行基于客户感知的网络质量评估体系，是网络运维管理由面向设备和网络向面向端到端业务维护拓展和延伸的重要措施之一，是体现以客户为中心的网络运营理念的重要方面，各分公司要充分重视、积极应用，要加强相关数据的多层次分析，跟踪和督促评估中发现的网络短板，努力发挥评估体系的作用。

3、试运行期间，各分公司及时向省公司反映实际操作中存在的问题，积极提出改进和完善的建议，特别是反映语音质量、新业务数据业务质量以及相关数据的测试统计手段方面，需要全省网络战线的全体同仁发挥集体智慧予以创新和改进，以便省公司不断完善评估体系。

中国移动浙江公司网络部

二〇〇八年七月