NBIoT网络质量测试评估规范.docx

NBIoT网络质量测试评估规范.docx

《NBIoT网络质量测试评估规范.docx》由会员分享，可在线阅读，更多相关《NBIoT网络质量测试评估规范.docx（23页珍藏版）》请在冰豆网上搜索。

NBIoT网络质量测试评估规范

-本页仅作为预览文档封面，使用时请删除本页-

NB-IoT网络质量测试评估规范（共14页）

NB-IoT网络质量测试评估规范

中国移动通信有限公司

2017年8月

1目标

本测试评估规范用于网络建设初期，评估和分析各省、市的NB-IoT网络性能和网络质量。

2总体原则

1.评估应包括室外、室内多个场景，场景选择应和客户实际业务发生一致。

2.评估应充分考虑数据质量和采集效率，使用自动化手段进行，评估期间最大限度降低人为干预。

3.测试评估体系根据目标，主要从“网络性能评估”维度考虑。

其核心内容、指导方向、测试手段和主要指标如下：

核心内容

由于NB-IoT网络不支持切换，主要通过室外道路遍历测试和定点测试两种方式对网络性能进行评估。

网络性能指标排除了数据源、网间互联等因素，反映的是网络的极限能力，不代表客户的真实感知。

指导方向

a）反映网络覆盖、干扰、资源等方面的问题，指导网络规划建设；

b）指导网络层面的性能和质量优化。

测试手段

自动测试平台、自动测试前端ATU、扫频仪。

主要指标

a）覆盖、干扰、重叠覆盖度等网络指标；

b）速率、时延、成功率等主要业务指标；

c）基站、小区遍历性指标。

3NB-IoT网络性能测试规范

3.1室外道路测试规范

NB-IoT室外道路测试主要采用NB-IoT扫频仪和ATU设备进行网络性能测试，主要测试方法及要求如下：

1.测试区域

按照网格划分（建设区域）区域进行测试；

2.测试道路

城区范围：

包含背街小巷在内的所有1-4级道路；交通干线：

铁路（重点是高速铁路和动车组）、高速公路、国道省道等；县城城区：

县城城区范围内的主要道路；农村及旅游景点：

乡镇、行政村、旅游景点及连接道路。

3.测试路线

按照指定路线进行道路遍历性测试，合理规划路线尽量减少重复道路测试；

4.测试轨迹记录

测试仪表需配备相应GPS设备进行测试轨迹记录。

5.测试仪表及数据处理

必须使用集团集采的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统计；

6.测试速度

城区保持正常行驶速度，不设置最高限速，平均车速需达到20Km/h；高速测试按照高速公路实际限速正常行驶；

7.渗透率、重复率

不考虑实际交通情况，渗透率需达到85%以上、重复率不得高于30%。

8.测试条件：

全网下行模拟50%加扰

9.测试方法和步骤

1）步骤1：

采用测试业务1,遍历事先选择的道路行驶路线。

遍历过程中，如果有脱网、掉线，则停车重新恢复业务。

2）步骤2：

采用测试业务2，重复步骤1

3）步骤3：

采用测试业务3，重复步骤1

4）步骤4：

采用测试业务4，重复步骤1

序号

测试业务

测试内容概要

1

NB-IoT空闲态测试

（1）测试终端：

处于Idle态，不做任何业务

（2）扫频仪：

对服务小区和邻区进行扫频

若测试终端和扫频仪的测试结果相当（覆盖、干扰、重叠覆盖度等），则使用测试终端测试即可。

2

Ping小包业务

ping包大小：

20byte

每次从空闲态发起ping包业务，ping响应超时时延设置为30s，ping周期设置60s

3

Ping大包业务

ping包大小：

200byte

每次从空闲态发起ping包业务，ping响应超时时延设置为30s，ping周期设置60s

4

终端开关机

测试终端开机、关机操作：

（1）开机：

终端开机，发起AttachRequest到AttachComplete

（2）关机：

终端从空闲态发出DetachRequest

开机到关机的时间间隔60s；

关机到开机的时间间隔60s。

3.2定点测试规范

NB-IoT定点测试主要采用ATU设备进行网络性能测试，主要测试方法及要求如下：

1.测试楼宇

根据城市的规模，测试楼宇的数量可不同。

楼宇数量至少需满足：

（1）一线城市及省会城市：

40个楼宇

（2）二线城市：

30个楼宇

（3）其他城市：

20个楼宇

所选取的测试楼宇均匀分布于城市的不同网格中，测试楼宇类型包括但不仅限于党政军机关、写字楼、居民楼、宾馆酒店、餐饮娱乐、交通枢纽、学校、大型商超。

2.测试选点

从物联网典型应用场景选择测试点，且一个城市所选取的定点场景需遍历到此城市包含的所有业务类型。

场景包括但不仅限于：

a）物联网典型应用场景：

弱电井、车库、地下室、水电气表间、管道井等

b）公众用户所及区域：

走廊、过道、办公区、会议室、楼梯、电梯厅等

室内选点要求：

低层楼宇：

五层以下楼宇选取低层，共一层，每层选择2个测试点

中层楼宇：

二十层以下楼宇选取低层、高层各一层，每层选择2个测试点

高层楼宇：

二十层以上楼宇选取低层、中间层、高层各一层，每层选择2个测试点

若楼宇有地下室场景，则地下室也作为测试楼层，选择2个测试点。

室外选点：

在每个楼宇外围选择2个室外测试点，测试点尽量为物联网典型应用场景，如室外停车位

3.GPS定位：

测试人员进入楼宇前需首先进入GPS定位、上报测试点。

4.测试仪表及数据处理：

必须使用集团集采或业内成熟的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统计。

5.测试步骤

a）步骤1：

在选定的测试定点上，ATU设备进行测试业务1

b）步骤2：

更换为测试业务2，重复步骤1

c）步骤3：

更换为测试业务3，重复步骤1

d）步骤4：

更换为测试业务4，重复步骤1

序号

测试业务

测试内容概要

1

UDP大数据量上传业务

文件大小：

1MByte；

定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次

2

UDP大数据量下载业务

文件大小：

1MByte；

定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次

3

Ping小包业务

ping包大小：

20byte

定点测试，每次从空闲态发起ping包业务，每个点ping包10次

4

Ping大包业务

ping包大小：

200byte

定点测试，每次从空闲态发起ping包业务，每个点ping包10次

4NB-IoT指标分析规范

4.1NB-IoT网络性能评估指标

1.覆盖类指标

该部分指标来源于“室外道路测试规范”步骤1的测试结果，扫频仪和ATU空闲态终端分别给出。

全部网格及各网格分别给出统计结果。

序号

指标

定义

说明

单位

统计log来源

1

覆盖率

覆盖率=条件采样点/总采样点*100；NB-IoT条件采样点：

RSRP>=-94dBm（密集城区）、RSRP>=-97dBm（一般城区）；

综合接收场强和信干比，描述全网的覆盖情况

%

的步骤1，包括扫频仪和ATU设备的测试结果

2

平均RSRP

参考信号平均接收电平

从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度

dBm

的步骤1，包括扫频仪和ATU设备的测试结果

3

边缘RSRP

取RSRP中CDF等于5%的值

如果边缘RSRP太低，不能达到网络最低覆盖要求。

如果边缘RSRP过高，小区间干扰也会严重。

故NB-IoT更加重视利用边缘覆盖电平，来评估小区边缘的覆盖

dBm

的步骤1，包括扫频仪和ATU设备的测试结果

4

RSRP连续弱覆盖比例

NB-IoT连续弱覆盖里程/NB-IoT测试里程*100%

评估路测中参考信号RSRP接收功率情况，反映服务小区覆盖的主要指标。

其中：

弱覆盖里程的定义为持续10秒70%的采样点路段满足RSRP<-89dBm（密集城区）、-92dBm（一般城区）。

%

的步骤1，包括扫频仪和ATU设备的测试结果

5

RSRP连续无覆盖比例

NB-IoT连续无覆盖里程/NB-IoT测试里程*100%

评估路测中参考信号RSRP接收功率情况，反映服务小区无覆盖的情况。

连续无覆盖里程的定义为持续10秒70%的采样点路段满足RSRP<-99dBm（密集城区）、-102dBm（一般城区）

%

的步骤1，包括扫频仪和ATU设备的测试结果

注1：

覆盖率RSRP门限为，NB-IoT的验收指标（规划指标-OTA损耗-车体损耗）。

2.干扰类指标

该部分指标来源于“室外道路测试规范”步骤1的测试结果，扫频仪和ATU空闲态终端分别给出。

全部网格及各网格分别给出统计结果。

序号

指标

定义

说明

单位

统计log来源

1

平均RS-SINR

参考信号平均接收信号与干扰噪声比

从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度

dB

的步骤1，包括扫频仪和ATU设备的测试结果

2

边缘RS-SINR

参考信号平均接收信号与干扰噪声比取CDF（累计概率分布）5%对应的值

从参考信号平均接收信号与干扰噪声比角度，评估全网各小区边缘的干扰强度

dB

的步骤1，包括扫频仪和ATU设备的测试结果

3

连续SINR质差里程占比

连续SINR质差里程/NB-IoT测试里程*100%

评估RS-SINR质差里程；其中：

SINR质差里程定义为持续10秒且70%的采样点CRS-SINR<0dB的连续路段。

%

的步骤1，包括扫频仪和ATU设备的测试结果

4

重叠覆盖率

道路重叠覆盖率=重叠覆盖度>=4的采样点/总采样点*100%；重叠覆盖度指与最强信号电平差距在6dB范围内的电平数量，且最强信号RSRP＞-89（密集城区）或92dBm（一般城区）；

重叠覆盖度>=4，即认为存在较严重的重叠覆盖情况；从参考信号平均接收信号电平角度，评估服务小区覆盖范围内强信号邻区叠加的程度

%

的步骤1，包括扫频仪和ATU设备的测试结果

5

重叠覆盖里程占比

道路重叠覆里程占比=连续重叠覆盖度>=4的里程/总测试里程*100%

评估全网内重叠覆盖里程占比，一定程度上反映网络建设合理性

%

的步骤1，包括扫频仪和ATU设备的测试结果

6

Mod3冲突比例

Mod3冲突比例=Mod3冲突小区数量/测量到的邻区数量总数*100%

PCI=3*GroupID（S-SS）+SectorID（P-SS），如果PCImod3值相同的话，就会造成P-SS的干扰；实际网络必然中存在两邻区PCI模3无法错开的情况。

模3会造成CRS信号相互干扰，使SINR降低；重叠覆盖和模3干扰同时存在，以重叠覆盖影响为主

%

的步骤1，包括扫频仪和ATU设备的测试结果

3.调度类指标

指标来源：

根据一个城市所有的定点测试结果统计（含室外和室内）下述指标，统计时需对不同的ping包大小进行区分统计。

序号

指标

定义

说明

单位

统计log的来源

1

上行物理层速率（含掉线）

物理层总上传量（含掉线）/上传总时长（含掉线），每个点分别计算再求平均。

评估NB-IoT网络上行传输性能的重要指标

Kbps

的步骤1

2

上行物理层速率（不含掉线）

物理层总上传量（不含掉线）/上传总时长（不含掉线），每个点分别计算再求平均。

评估NB-IoT网络上行传输性能的重要指标

Kbps

的步骤1

3

下行物理层速率（含掉线）

物理层总下载量（含掉线）/下载总时长（含掉线），每个点分别计算再求平均。

评估NB-IoT网络下行传输性能的重要指标

Kbps

的步骤2

4

下行物理层速率（不含掉线）

物理层总下载量（不含掉线）/下载总时长（不含掉线），每个点分别计算再求平均。

评估NB-IoT网络下行传输性能的重要指标

Kbps

的步骤2

5

MAC层上行平均BLER

MAC层上行

BLER=上行总错误TB数/上行传输总TB数*100%，每个点分别计算再求平均。

评估数据传输的误码程度，反映系统保证传输数据的准确性和稳定性，间接反映空口的质量

%

的步骤1

6

MAC层下行平均BLER

MAC层下行BLER=下行总错误TB数/下行传输总TB数*100%，每个点分别计算再求平均。

评估数据传输的误码程度，反映系统保证传输数据的准确性和稳定性，间接反映空口的质量

%

的步骤2

7

下行NPDSCH平均重复次数

每次调度下行NPDSCH重复次数总和/调度次数，每个点分别计算再求平均。

评估下行业务信道的重复次数，反映空口的质量

次

的步骤2

8

上行NPUSCHFormat1平均重复次数

每次调度上行NPUSCH重复次数总和/调度次数，每个点分别计算再求平均。

评估上行业务信道的重复次数，反映空口的质量

次

的步骤1

9

上行MCS统计

上行MCS平均值=上行码字MCS值总和/上行码字MCS上报次数，最高频率MCS占比=max（每种MCS上报个数/MCS上报个数总和），每个点分别计算再求平均。

评估采用的平均调制编码方式统计，可以间接反映了当前数据传输速率的大小

的步骤1

10

下行MCS统计

下行MCS平均值=下行码字MCS值总和/下行码字MCS上报次数，最高频率MCS占比=max（每种MCS上报个数/MCS上报个数总和），每个点分别计算再求平均。

评估采用的平均调制编码方式统计，可以间接反映了当前数据传输速率的大小

的步骤2

11

上行NPUSCHFormat1平均调度的子载波个数

每次调度上行NPUSCH子载波数总和/调度次数，每个点分别计算再求平均。

评估上行信道的调度情况

个

的步骤1

12

上行NPUSCHFormat1的比例

上行子载波的调度次数/总调度次数，每个点分别计算再求平均。

评估上行信道的调度情况

个

的步骤1

13

上行NPUSCHFormat1ST的比例

上行ST子载波的调度次数/总调度次数，每个点分别计算再求平均。

评估上行信道的调度情况

个

的步骤1

14

上行NPUSCHFormat115KHzST的比例

上行15KHzST子载波的调度次数/总调度次数，每个点分别计算再求平均。

评估上行信道的调度情况

个

的步骤1

15

上行NPUSCHFormat115KHzMT的比例

上行15KHzMT子载波的调度次数/总调度次数，每个点分别计算再求平均。

评估上行信道的调度情况

个

的步骤1

18

定点测试的Ping包成功率

Ping包成功的总次数/ping包总次数，每个点分别计算再求平均。

评估室内外定点测试情况下的业务性能

%

的步骤3和步骤4，两种ping包大小区分统计

19

定点测试的Ping包时延

Ping包总时延/ping包总次数，每个点分别计算再求平均。

评估室内外定点测试情况下的业务性能

秒

的步骤3和步骤4，两种ping包大小区分统计

20

遍历测试的ping包成功率

Ping包成功的总次数/ping包总次数，每个点分别计算再求平均。

评估室外遍历测试情况下的业务性能

%

的步骤2和步骤3，两种ping包大小区分统计

21

遍历测试的ping包时延

Ping包总时延/ping包总次数，每个点分别计算再求平均。

评估室外遍历测试情况下的业务性能

秒

的步骤2和步骤,3，两种ping包大小区分统计

22

定点测试的上行掉线率

上行掉线总次数/发起上行UDP业务的总次数。

所有样本一起计算。

评估NB-IoT网络的稳定程度

%

的步骤1

23

定点测试的下行掉线率

下行掉线总次数/发起下行UDP业务的总次数。

所有样本一起计算。

评估NB-IoT网络的稳定程度

%

的步骤2

4.移动类指标

序号

指标

定义

说明

单位

统计log的来源

1

NB-IoT网内异频重选成功率

NB-IoT网内异频重选成功次数/NB-IoT网内重选尝试次数*100%

评估NB-IoT网内异频重选的连续性、稳定性

%

的步骤1，只涉及ATU设备

2

NB-IoT网内异频重选时延

NB-IoT网内异频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数

评估NB-IoT网内异频重选的连续性、稳定性

秒

的步骤1，只涉及ATU设备

3

NB-IoT网内同频重选成功率

NB-IoT网内同频重选成功次数/NB-IoT网内重选尝试次数*100%

评估NB-IoT网内同频重选的连续性、稳定性

%

的步骤1，只涉及ATU设备

4

NB-IoT网内同频重选时延

NB-IoT网内同频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数

评估NB-IoT网内同频重选的连续性、稳定性

秒

的步骤1，只涉及ATU设备

5

TA区更新成功率

TA区更新成功次数/TA区更新尝试次数*100%

评估：

NB-IoT跨TAList重选情况下业务和状态的连续性、移动性

%

的步骤1，只涉及ATU设备

6

TA更新平均时延

TA更新平均时延=TA更新时延总和/TA更新次数

评估NB-IoT网络位置区更新时延

秒

的步骤1，只涉及ATU设备

7

NB-IoT连接态脱网重搜平均时延

NB-IoT连接态脱网重搜平均时延=脱网重搜时延总和/脱网重搜次数

评估NB-IoT脱网重搜时延

秒

的步骤1，只涉及ATU设备

说明1：

重选时延定义，重选开始->SIB1（不跨TAList）或TAUComplete（跨TAList）

说明2：

TA更新时延定义，TAURequest->TAUComplete

说明3：

道路测试中如有脱网则统计7，没有就不需要统计

5.接入类指标

序号

指标

定义

说明

单位

统计log的来源

1

RRC连接建立成功率

RRC连接建立成功率=RRC连接建立成功次数/RRC连接建立尝试次数*100%

评估系统接入性能的重要指标；其中：

以终端发起RRCConnectionRequest作为一次RRC连接建立尝试，到终端发送RRCConnectionSetupComplete作为一次RRC连接建立成功

%

的步骤2,3,4

2

RRC连接建立平均时延

RRC连接建立平均时延=RRC连接建立时延总和/RRC连接建立成功次数

评估NB-IoT系统接入性能的重要指标；其中：

以终端发起RRCConnectionRequest作为一次RRC连接建立尝试，到终端发送RRCConnectionSetupComplete作为一次RRC连接建立成功

秒

的步骤2,3,4

3

ATTACH成功率

ATTACH成功率=ATTACH成功次数/ATTACH尝试次数*100%

评估NB-IoT系统接入性能的重要指标；其中：

以终端发起ATTACHREQUEST作为一次ATTACH尝试，到终端发送ATTACHCOMPLETE作为一次ATTACH成功

%

的步骤4

4

ATTACH平均时延

ATTACH平均时延=ATTACH时延总和/ATTACH成功次数

评估NB-IoT系统接入性能的重要指标；其中：

以终端发起ATTACHREQUEST作为一次ATTACH尝试，到终端发送ATTACHCOMPLETE作为一次ATTACH成功

秒

的步骤4

5

DETACH成功率

DETACH成功率=DETACH成功次数/DETACH尝试次数*100%

评估NB-IoT系统接入性能的重要指标；其中：

终端触发关机作为1次尝试，到终端发出DETACHREQUEST作为一次DETACH成功

%

的步骤4

6

DETACH平均时延

DETACH平均时延=DETACH时延总和/DETACH成功次数

评估NB-IoT系统接入性能的重要指标；其中：

终端触发关机作为1次尝试，到终端发出DETACHREQUEST作为一次DETACH成功

秒

的步骤4

7

SERVICEREQUEST成功率

SERVICEREQUEST成功率=SERVICE建立成功次数/SERVICE建立尝试次数*100%

评估NB-IoT系统业务建立性能的重要指标；其中：

SERVICE建立成功以UE上发ServiceRequest后，到收到ServiceAccept作为一次服务请求成功

%

的步骤2,3

8

SERVICEREQUEST平均时延

SERVICE平均时延=SERVICE建立时延总和/SERVICE建立成功次数

评估NB-IoT系统接入性能的重要指标；其中：

以UE上发Servicerequest作为服务建立请求,到收到ServiceAccept作为一次服务请求成功，两者时间差为业务请求建立时延

秒

的步骤2,3

4.2NB-IoT遍历小区及基站的统计

本章节指标数据统计来源于“室外道路测试规范”的步骤1和“定点测试规范”

序号

指标

定义

说明

1

小区遍历率（%）

遍历小区总数/现网建设小区总数*100%

根据Dtlog统计遍历小区情况

2

基站遍历率（%）

遍历基站总数/现网建设基站总数*100%

根据Dtlog统计遍历小区情况

3

室外道路的遍历率

遍历的非重复里程/规划路线里程*100%

4

重复里程占比

遍历的重复里程/测试总里程*100%

5

测试总里程

遍历的总里程

6

测试楼宇数

所测试的楼宇总数

7

定点测试数

所测试的定点总数