1、中国移动上网日志留存系统Gn采集解析设备示范中国移动通信企业标准QB-W-025-2011中国移动上网日志留存系统Gn采集解析设备规范Equipment Specification for China MobileNetlog System (Signal Collection for Gn Part)版本号：1.0.02013-6-25发布2013-6-27实施目录前 言本标准对中国移动上网日志留存系统中的数据采集层设备提出要求，是中国移动上网日志留存系统建设需要遵从的技术文件。本标准主要包括以下几方面内容：系统功能要求、性能指标和可靠性要求、接口要求、时间同步要求、网管要求、操作维护要求、
2、网络安全要求。本标准是中国移动上网日志留存系统系列标准之一，该系列标准的结构、名称或预计的名称如下：序号标准编号标准名称发布单位1 中国移动上网日志留存系统总体技术要求 中国移动通信集团公司2 中国移动上网日志留存系统Gn采集解析设备规范 中国移动通信集团公司3 中国移动上网日志留存系统Gb/Iu-Ps采集解析设备规范 中国移动通信集团公司4 中国移动上网日志留存系统防火墙日志采集前置机数据传递要求 中国移动通信集团公司5 中国移动上网日志留存系统数据合成服务器设备规范（CS域） 中国移动通信集团公司6 中国移动上网日志留存系统数据合成服务器设备规范（PS域） 中国移动通信集团公司7 中国移动
3、上网日志留存系统数据合成服务器接口规范（CS域） 中国移动通信集团公司8 中国移动上网日志留存系统数据合成服务器接口规范（PS域） 中国移动通信集团公司9 中国移动上网日志留存系统网络日志服务器设备规范 中国移动通信集团公司10 中国移动上网日志留存系统网络日志服务器接口规范 中国移动通信集团公司11 中国移动上网日志留存系统用户上网日志查询系统设备规范 中国移动通信集团公司12 中国移动上网日志留存系统用户上网日志查询系统接口规范 中国移动通信集团公司13 中国移动上网日志留存系统日志上报网关系统设备规范 中国移动通信集团公司14 中国移动数据流量DPI识别能力规范 中国移动通信集团公司15
4、 中国移动信令监测系统接口规范信令采集网关分册 中国移动通信集团公司16 QB-W-026-2011 中国移动IDC/ISP信息安全管理系统接口规范 中国移动通信集团公司17 中国移动手机恶意软件监测系统接口规范 中国移动通信集团公司18 中国移动性能管理系统数据接口规范数据业务监测与分析系统分册 中国移动通信集团公司19 中国移动性能管理系统数据接口规范信令监测系统分册 中国移动通信集团公司20 集中化经分系统与日志上报网关接口规范 中国移动通信集团公司21 中国移动上网日志留存系统“金库模式”实施指导意见 中国移动通信集团公司本标准由中国移动通信集团公司网络部提出，集团公司技术部归口。本标
5、准起草单位：中国移动通信集团网络部本标准主要起草人：赵恒1.范围本标准规定了Gn采集解析设备的系统结构、功能要求、接口要求、性能要求、时间同步要求、网管要求、操作维护要求、网络安全要求，供中国移动内部和厂商共同使用；适用于GPRS、EDGE及3G网络环境。2.规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。表2-1 规范性引用文件序号标准编号标准名称发布单位1. 客户信息保密管
6、理规定中国移动通信集团公司2. 中国移动GSM通信网路由组织与局数据设置原则（第二分册：GSM通信网网元数据设置原则）中国移动通信集团公司3. 防火墙部署总体技术要求中国移动通信集团公司4. 中国移动网管系统监控平台需求规范中国移动通信集团公司5. 中国移动网管系统监控平台推广阶段技术规范中国移动通信集团公司3.术语、定义和缩略语“必须”、“推荐”/“建议”、和“可选”等词语在本标准中的使用需遵循以下指导。- “必选”/“必须”项是指业务、产品和设备所必须提供的功能或性能要求；对应于RFC2119 MUST，REQUIRED，SHALL。- “推荐”/“建议”/“应”项是指在标准中未作强制要求
7、，若业务、产品和设备提供的功能或性能要求被认为更佳；对应于RFC2119 RECOMMENDED，SHOULD。- “可选”/“可”项指参考性要求，是业务、产品和设备在目前阶段可不提供的功能或性能要求；对应于RFC2119 MAY，OPTIONAL。- 必不能，不能，不得：表示绝对的禁止；对应于RFC2119 MUST NOT，SHALL NOT。- 不推荐，不建议：表示若业务、产品和设备按照所述内容制作，被认为略次；对应于RFC2119 SHOULD NOT，NOT RECOMMENDED。- 规范中除了明确指明为 “推荐”/“建议”、“可选”外，均为必须要求。表3-1 词语解释词语解释全量
8、信令数据全量信令数据包含了被采集信令链路的全部信令内容XDR信令数据XDR信令数据是指基于全量信令数进行处理后，生成的供上网日志留存应用使用的信令及业务的详细记录。DPIDeep Packet Inspection，深度包检测技术DFIDeep Flow Inspection，深度流检测技术IPInternet Protocol，IP协议ODBCOpen Database Connectivity，开放数据库连接OMCOperation Management Center，系统管理单元SDTPShared Data Transfer Protocol，共享数据传输协议SNMPSimple Ne
9、twork ManagementProtocol，简单网络管理协议TAPTest Access Point，测试接入端口FTPFile Transfer Protocol，文件传输协议SFTPSecure File Transfer Protocol，安全文件传输协议4.设备在系统中的位置系统分为采集、解码层、共享、应用四层。数据采集层：数据采集层的主要功能是实现Gn、防火墙、Gb/Iu-PS等接口数据的采集，并完成对采集数据的解析，生成原始XDR。 数据解析层:数据解析层的主要功能是对采集的Mc接口原始信令进行解码，生成XDR等；对Gn、防火墙、Gb/Iu-PS等接口采集生成的原始XDR进行
10、分析，合成相关系统所需的目标XDR。共享层:共享层的主要功能是完成日志数据的存储、查询等，并面向应用层提供灵活的转发接口。应用层：应用层包含各应用系统。图4-1上网日志留存系统结构图本文档所述Gn采集解析设备位于上图数据采集层标示出的位置，完成Gn原始数据的采集、消息的解码合成、DPI/DFI分析，生成XDR数据和全量数据并向数据解码层传送。5.功能要求采集层设备需支持对Gn数据链路的采集、处理。采集方式需符合相关规定的要求，对数据的采集不能影响到原有通信网络的正常功能。需要完成的功能如下： 数据旁路：在原有数据链路上复制一份或多份数据传输给采集设备进行处理，对原有数据链路没有影响。不同物理类
11、型的接口，需要不同的旁路设备，包括： 光口链路：分光器 电口链路：TAP 数据接入：对于旁路出来的数据进行采集，能够同时接入多条不同类型的链路，包括但不限于：GE光/电、10GE光。需要完成的功能包括但不限于： 数据汇聚：在不超过单台采集机能力的情况下，能够实现对多条低俗链路进行汇聚采集 分流：对于高速链路，在超过单台采集机处理能力的情况下，能够实现流量的负荷分担，分流时不允许采用静态IP配置的方法进行分流（比如按照SGSN IP进行分流），而是能够根据数据流情况动态对流量进行分配，不需要现网相关的静态配置。 数据采集：从接入的端口上对数据包进行抓取、打时间戳等操作 协议解码：对采集下来的Gn
12、数据进行全协议解码 DPI/DFI：对采集的数据流进行DPI/DFI分析，识别业务类型、提取需要的字段 数据存储：在特定场景下对数据进行存储下面分章节对上述功能进行展开说明。5.1 Gn采集位置要求对于Gn接口的采集有两个可选位置，如下图所示： 两个可选采集位置各有优缺点，见下表：各省份和系统建设厂家可根据自身情况选择。优点缺点适用场景采集位置1每条链路上的数据量小，采集设备可以直接采集链路数量多，工程量大机房分散，难于管理局部、小规模采集采集位置2链路数少，施工方便涉及施工的机房比较集中，便于实施每条链路上的数据量大，需要分流处理后再进行采集分析大规模采集5.2 数据旁路功能要求5.2.1
13、分光器功能要求图5-1 分光器部署图分光器用于监测以光纤为载体的链路，包含ATM STM-1和信道化 STM-1。分光器应对主信号端衰减的信号较少，不影响主链路。5.2.2 TAP功能要求图5-2 TAP部署图TAP设备用于监测百兆电口或者千兆电口的链路，并支持百兆、千兆自适应，其功能是将电信号复制一份，TAP的网络口接被测链路的两端设备，TAP的监测口接数据采集系统。TAP设备失电后被测链路主通道具备链路直通的功能。5.3 数据接入功能要求采集设备能够支持现网常见链路类型，包括但不限于：GE光口、GE电口、10GE光口。单台设备支持多种不同链路的混合接入。5.4 协议解码功能要求支持Gn接口
14、协议栈：图5-3 Gn接口协议栈支持但不限于以下标准协议： 3GPP TS 23.060: General Packet Radio Service (GPRS); Service description; Stage 2； 3GPP TS 29.060: General Packet Radio Service (GPRS);GPRS Tunnelling Protocol (GTP) across the Gn and Gp interface。5.5 DPI功能要求采集设备能够利用DPI和DFI技术，对数据包解析，识别用户面数据中包含的业务类型，并提取相关元数据字段，以下是中国移动要求支
15、持的业务大类列表：序号业务类型业务说明1即时通信互联网消息即时收发业务,如：QQ、飞信等2阅读向用户提供在线或离线阅读服务的业务，如：移动手机阅读、熊猫阅读等3微博微博业务，如：移动微博、新浪微博等4导航提供浏览、查询、导航等功能的电子地图类业务，如：谷歌地图、高德导航等5视频向用户提供音视频内容的直播、分享和下载服务的网站和应用（不包括传统意义上基于P2P技术的视频业务），如：优酷、手机电视等6音乐提供音乐在线欣赏和下载服务的网站和应用，如：咪咕音乐、QQ音乐等7应用商店提供应用程序、音乐、图书等内容浏览、下载及购买服务的业务，如：Mobile Market、AppStore等8游戏基于客户
16、端或者网页的游戏业务：QQ游戏、开心农场等9支付电子商务类业务，如：手机支付、支付宝、网银等10动漫提供动漫在线欣赏和下载服务的网站和应用，如：手机动漫、爱看动漫等11邮箱电子邮箱业务，如：139邮箱、QQ邮箱等12P2P业务基于P2P技术的资源共享业务，包括下载和视频两部分，前者如：迅雷、eMule等，后者如：迅雷看看、PPLive等13VoIP业务互联网语音通信业务，如：Skype、Uucall等14彩信彩信业务15浏览下载基于HTTP、WAP、FTP等的普通浏览和下载业务16财经咨询金融咨询、股票证券类业务，如：手机商界、大智慧等17安全杀毒提供网络安全服务的应用，如：360安全卫士、麦
17、咖啡等；以及网络恶意流量，如：病毒、攻击等18其他业务更加详细的要求请参考中国移动数据流量DPI识别能力规范。要求采集层设备能够采用定期或是不定期方式更新业务识别能力，持续跟踪各种应用的发展和演进。可通过系统升级、导入新的应用特征等方式对已知应用变种和未知应用进行识别。5.6 数据存储功能要求系统在两种情况下需要对数据进行存储： 一般情况下采集层不对采集的数据进行存储，所有控制面信令和去掉payload的用户面信令实时传输给数据解码层，但当链路出现故障时采集层应具备把数据缓存到硬盘的功能，待链路恢复后可由数据解码层提取缓存的数据。需要缓存的数据包括：Gn的全量控制面信令；Gn的用户面数据（只保
18、留包头不包括最上层payload数据）。 在开启原始数据抓取功能时，采集层把满足抓取条件的全量数据（包括控制面和用户面）按照pcap格式存储在本地磁盘供提取。本地数据磁盘容量要求不低于1TB（1Gbps流量缓存1个小时）5.7 数据输出功能要求 XDR输出：采集层完成对控制面XDR和用户面业务XDR的合成和输出，需要输出的字段请参见中国移动上网日志留存系统规范-Gn采集解析设备规范XDR结构。 原始数据输出：采集层支持把全量控制面信令和去掉payload的用户面数据输出给数据解码层。 全量原始数据抓取：支持按照预设条件对全量数据（包括全量的控制面信令和全量用户面数据）进行抓取并存储在本地磁盘，
19、支持的预设条件包括： SGSN、GGSN的IP（单个或多个IP地址） 用户的IP地址，IMSI，手机号码 支持根据业务报文，也就是TCP的关键字（如TCP包头的40个字节内容）进行原始数据的抓取；（可选）5.8 用户上报实时监测模块功能要求“日志上报网关”向网络日志服务器转发由各省指定系统下发的针对某用户的监测请求，随后，网络日志服务器向数据合成服务器转发该请求，数据合成服务器转发Gn采集解析设备, Gn采集解析设备接收到监测请求后，解析请求中的监测条件，并调用用户上报实时监测模块，实时监测用户的上线信息，一旦用户上线，则通过HTTP方式将监测结果信息上传到数据合成服务器，由数据合成服务器转发
20、给网络日志服务器，由网络日志服务器转发给“日志上报网关”，再由日志上报网关转发给指定系统。Gn采集解析设备的实时监测流程如下图所示：图5-3 实时监测流程图5.8.1 接收监测请求Gn采集解析设备能够正确接收并解析针对某用户的实时监测请求，并返回实时监测请求响应。Gn采集解析设备接收到的监测请求信息，应包含如下字段：用户账号、账号类型、操作类型（产生监测或消除监测），如表5-13所示。表5-13 用户实时监测请求消息字段定义字段名类型约束说明AccountString必选被监测用户的账号accountTypeInt账号类型：1:固网帐号2:手机号码monitorTypeInt必选操作类型：1：
21、产生监控2：取消监控Gn采集解析设备返回的监测请求响应应包含如下字段：成功标示、失败原因，如表5-14所示。表5-14 用户实时监测接收响应消息字段定义字段名类型约束说明idint必选和结果对应的task的id相等resultCodeint必选消息结果：1：成功2：失败failReasonstring必选失败原因，当resultCode=1时为空5.8.2 上报用户上线行为在接收到实时监测请求并响应该请求后，Gn采集解析设备开始实时监测用户的上线信息，一旦用户上线，就上报用户的上线信息。(如果用户在下发实时监测请求前已经上线，则需要等到下线后再次上线才可以上报用户上线消息)Gn采集解析设备上报
22、的用户上线信息，应包含如下字段：用户账号、账号类型、私网IP地址、公网IP地址、用户上线时间，如图5-15所示。其中，对于用户上线信息中的IP地址说明如下： 中国移动为GPRS用户分配私网IP，根据在GGSN防火墙或WAP网关防火墙处转换为公网IP，由于同一用户的不同访问Session，在防火墙转换的公网IP是不同的，且这一转换关系只有Session结束后防火墙才输出日志，无法实时提供用户使用的公网IP，故对GPRS用户只需要在PDP激活、更新时上报用户私网IP表5-15 用户上线信息消息字段定义字段名类型约束说明resultnumint必选十进制数字，表示log消息的个数，一个文件中可以有一
23、个或多log消息idint必选需保证在对应业务内的全局唯一性accountstring必选被监测的用户账号accountTypeint必选用户账号类型：1:固网帐号2:手机号码priIpint必选用户的私网IP地址，点分十进制表示pubIpint必选用户的公网IP地址，点分十进制表示onlineTimestring必选用户上线时间，格式为：YYYY-MM-DD HH24:MI:SS当Gn采集解析设备将用户上线信息上报之后，会收到由合成服务器（由网络日志服务器先转发给合成服务器）转发的用户上线信息上报响应，用来通知Gn采集解析设备用户上线信息是否成功上报。用户上线信息接收响应应包含如下字段，如表
24、5-16所示。表5-16 用户上线信息接收响应消息字段定义字段名类型约束说明idInt必选和结果对应的用户上线消息的id相等resultCodeInt必选消息结果：1：成功2：失败failReasonstring必选错误原因，当resultCode=1时为空5.9 上报告警功能要求采集解析设备具有上报自身告警信息的功能，该告警信息先上报到合成服务器，合成服务器再上报到网络日志服务器，网络日志服务器再上报到日志上报网关。告警信息包括：1) 系统因故障需要重启；2) CPU使用率过高告警，暂定阈值80%，即alarmType为1、alarmDesc为“CPU使用率85%超过阈值” （85%为具体值
25、）；3) 内存剩余可用空间小于阈值告警，暂定阈值200MB，即alarmType为1、alarmDesc为“内存剩余可用空间为190MB低于阈值” （190MB为具体值）；4) 系统空闲率过低告警，暂定阈值15%，即alarmType为1、alarmDesc为“系统Idle值为12%低于阈值” （12%为具体值）；5) 磁盘分区使用率大于阈值告警，暂定阈值90%，即alarmType为1、alarmDesc为“磁盘分区：具体名称 使用率91%大于阈值”（91%为具体值）；6.性能指标和可靠性要求 6.1 性能要求 单台或单套采集设备能够处理不低于800Mbps的数据流量。(开启所有功能的情况下
26、，同时开启的功能包括但不限于：采集、解码、XDR合成、DPI、数据输出、原始数据捕获)。 数据采集丢包率要求5000h，故障平均修复时间1h。硬件设备应有较高的可靠性和容错能力。为了适应系统的容量增加，硬件设备应具有较强的扩展能力，并应具备升级和向后兼容的能力。要求局域网和广域网混合相连。系统的硬件性能优良、运行平稳可靠，并可以保证长时间的连续工作。系统主要硬件的容量和性能指标（包括内存容量、处理器主频、硬盘容量、通信网带宽）应能适应整个系统处理能力、通信传输量、数据存储量和用户实际需求等各方面的要求。系统应根据实际需要配备各类外设：如磁带机或磁带库、光盘机、活动硬盘等设备。6.4 可扩展要求
27、采集设备应具备良好的可扩展性，能够适应系统容量的扩大和管理内容的增加，包括软硬件平台、系统结构、功能设计、管理对象。随着纳入平台对象的扩展、管理功能的增加，要求系统具有灵活的扩展性。6.5 部署要求系统的部署要充分考虑到各个逻辑单元的松耦合，各个单元模块可以独立部署在单独的物理实体上，对于采集规模较小或小型试验点也可以根据实际情况部署在同一物理实体上。并且要保证各模块有较强的可扩展性，要充分考虑各模块中的功能点可以动态加载。部署时要考虑性能冗余、系统的安全性、可靠性、网络传输速率等。需要主机支持热备，系统支持集群，系统支持负载均衡，核心网络设备支持热备。6.6 可靠性(1) 系统应具备99.99%的高可用性。(2) 系统的平均稳定运行保障可用时间（MTBF）应大于1年，设计寿命应大于10年。(3) 故障平均修复时间小于1小时。(4) 系统的故障能隔离在模块内，不具备扩散性。(5) 系统要求支持在线升级且升级版本向下兼容，升级过程不影响网络性能，不影响现网业务，不丢失历史数据。(6) 系统可更换部件应具备冗余热备和热插拔功能。(7) 系统
