辽宁电信Teradata经分系统扩容方案.docx

辽宁电信Teradata经分系统扩容方案.docx

《辽宁电信Teradata经分系统扩容方案.docx》由会员分享，可在线阅读，更多相关《辽宁电信Teradata经分系统扩容方案.docx（14页珍藏版）》请在冰豆网上搜索。

辽宁电信Teradata经分系统扩容方案

辽宁电信经分系统扩容方案

2010年03月

系统现状

中国电信辽宁分公司经营分析系统一期工程建设的目标旨在以省为中心、完成经分系统硬件平台的搭建及应用的部署，在系统架构、性能及功能具备融合全业务的基础上，首先应快速实现对电信新发展移动业务的承载，包括与相关网元接口的改造。

待系统平稳上线承接业务后，进一步完成对联通现有C网用户和业务的平稳割接。

整个系统架构以TERADATA可扩展数据仓库架构为基础，并结合辽宁电信的实际要求进行设计。

一期网络拓扑

辽宁电信在省中心建设集中的经营分析系统，数据统一集中到中央数据仓库内，完成数据的整合，提供统一的业务视图。

辽宁电信完整的一期经营分析系统物理体系结构如下图所示：

系统主要包括：

⏹数据加载系统

⏹中央数据仓库系统

⏹多维分析（OLAP）系统

⏹用户访问系统

一期中央数据仓库系统配置

系统使用2个2550节点和21.6TB的磁盘阵列，存放了到目前为止的所有辽宁电信经营分析系统数据。

系统结构示意图如下：

中央数据仓库服务器采用2节点的2550服务器，配置21.6TB的高速磁盘阵列，提供优良的数据查询与综合分析能力。

备份系统采用LAN-BASE的备份方式，所有的备份数据的处理、转换及备份的管理都转移到备份服务器上进行。

下表为当前系统配置描述：

配置描述

节点

2节点2550

磁盘阵列

2550磁盘阵列，配置72*300GB

备份方式

LAN-BASE方案：

1台SL500（2*LTO4），2台备份服务器，1台备份交换机

数据库

Teradata12

下表为一期系统配置清单：

设备

基本配置

数量

管理终端

TeradataAWSM40：

▪１颗４核心CPU

▪1G内存

▪2块146GB硬盘

▪1块DVD

▪MicrosoftWindowsServer2003

1

系统机柜（安装节点及磁盘阵列）

▪2台48口以太网交换机，用于Teradata内部网络。

▪1台第三代服务管理模块（3GSM）

▪1套结构化的布线（包括电源线、网线、BYNET线）

▪2块PDU单元

1

Teradata2550节点

▪2路四核IntelXeon2.33GHzCPUs，4MBCache

▪32GB内存

▪2个146GB内置硬盘

▪3块四口4GB光纤通道卡

▪4个10/100/1000以太网口（主板集成）

▪1个DVD

2

节点软件配置

▪SUSELinuxES10

▪TeradataR12

▪数据库工具软件：

TeradataManager

TeradataAnalystPack

TeradataFastExport

TeradataFastLoad

2

Teradata2550磁盘阵列

▪2块光纤通道控制口

▪12块300GB硬盘

6

Teradata9200磁带库

TERADATA9200SL500，配置2*LTO4，50Slots，可以和备份40TB（压缩后为80TB）

1

Teradata备份服务器

备份服务器TERADATABARSever，每台配置1颗四核CPU，4G内存，2块双口4GB光纤通道卡

2

Teradata备份交换机

TERADATABARSwitch，48口

1

备份软件

NetVault8.0

1

容量规划

随着辽宁电信业务的发展，以及市场竞争的加剧，对现有经营分析系统的支撑能力提出了更高的挑战。

为了更好的支撑辽宁电信的业务发展，经分系统需要进一步强化商业智能能力、提升数据应用水平、建设移动业务的竞争分析体系、完成省市两级的经营绩效考核、完成全网分析能力的提升，并能够满足2011年底全网650万用户（C网400万用户，固网用户250万用户）的经营分析能力支撑需要。

规划依据

在数据仓库系统应用中，数据量是影响系统规划和配置的重要因素。

对辽宁电信的数据仓库系统而言，需要存储包括：

⏹业务基本信息：

业务基本信息（如客户资料，产品和资费信息，用户欠费和余额等）永久保存。

⏹业务活动信息：

如通话详单，帐单，缴费和销帐记录等保留12个月以上。

⏹多维数据信息：

多维数据（如数据集市表等）保留二年以上，但历史数据的粒度可调整变大。

根据辽宁电信对数据备份的要求：

⏹业务基本信息：

基本信息做完整备份。

⏹业务活动信息：

业务活动信息每周进行增量备份，至少在一个月内进行一次完整备份。

⏹多维数据信息：

每月进行完整备份。

⏹备份数据保留三年。

超过上述期限的数据将备份到磁带上，并且在必要时可以恢复到数据仓库内供用户进行分析使用。

以下根据经分系统数据量发展情况做存储测算，为数据仓库系统的规划和配置提供依据。

数据估算关键依据为：

到2011年底辽宁电信固网用户250万，C网用户400万，共650万用户。

测算表

预计2011年底辽宁电信将达到C网400万用户，固网250万用户的规模，存储预估参数如下表：

统计项和算法

指标值

单位

用户数

2011年底用户数

6,500,000

户

固网

2,500,000

C网

4,000,000

语音话单数

语音话单字节数（增加了一些预留字段）

固网

200

Byte

C网

500

Byte

每人天语音话单量（单向收费带来20%增幅）

8

条

来访语音话单百分比

20.00%

数据业务话单数

短信、彩信话单

话单量

5

条

字节数

500

Byte

其它数据业务话单

话单量

2

条

字节数

1,000

Byte

其它业务话单

话单量

1

条

字节数

1,000

Byte

每用户资料字节数（1K）（仅指主用户表）

2,000

Byte

每用户各类静态资料字节数（含产品订购、服务功能等）

2,500

Byte

每用户1个月帐务资料字节数（含综合帐单、明细帐、调帐、欠费等）

2,000

Byte

客服

每用户每月客服次数（投诉、咨询）

1

次

客服记录字节数

1,000

Byte

业务办理

每用户每月业务办理次数（含缴费、业务办理、相关日志等）

3

次

业务办理记录字节数

1,000

Byte

1G

1,073,741,824

Byte

每月天数

30

天

主要话单条数

每天语音字节数

23,200,000,000

Byte

每天数据业务字节数

22,000,000,000

Byte

中央数据仓库原始容量测算如下：

数据仓库原始数据容量估算

每周期

存储量

设计存储

周期

设计存储量

单位

基础仓库层容量

（12+1）个月语音话单存储量

648.20

13

8,426.61

Gbyte

（12+1）个月数据业务话单存储量

614.67

13

7,990.75

Gbyte

（12+1）个月客服记录存储容量

6.05

13

78.70

Gbyte

12个月用户业务历史资料存储容量

18.16

12

217.93

Gbyte

用户静态资料数据量

27.24

1

27.24

Gbyte

12个月综合帐务资料

12.11

12

145.29

Gbyte

小计

1,326.44

16,886.51

Gbyte

中间层容量

7日清单汇总数据量（压缩比0.5）

21.05

7

147.34

Gbyte

6月清单汇总数据量（压缩比0.2）

252.57

3

757.72

Gbyte

7日用户级汇总数据量（放大系数5）

60.54

7

423.75

Gbyte

6月用户级汇总数据量（放大系数5）

60.54

3

181.61

Gbyte

统计临时表容量（比例系数0.2）

78.94

1

78.94

Gbyte

事实表个数

300

个

每月事实表容量（按照每个事实表每月大小200MB）

58.59

24

1406.25

GByte

小计

2,995.61

Gbyte

数据仓库原始数据容量总计

19,882.12

Gbyte

数据挖掘因子考虑为数据仓库的10%

1,988.21

Gbyte

数据原始空间合计

21,870.33

GByte

中央数据仓库数据磁盘空间测算如下：

统计项

参数

指标值

单位

数据原始空间

21,870.33

GByte

数据空间压缩后合计（压缩率30%）

0.30

15,309.23

GByte

数据仓库工作因子为数据仓库的9.3%

0.09

16,732.99

GByte

SPOOL空间考虑为数据空间的20%

0.20

20,079.59

GByte

采用RAID1存储

0.50

40,159.17

GByte

数据磁盘空间

40,159.17

GByte

即：

满足辽宁电信2011年底650万用户数据经营分析需要40,159.17GB的磁盘存储空间。

扩容方案

扩容需求

本期扩容要满足2011年底650万用户数据经营分析的需要，根据测算表计算结果，至少需要40TB的磁盘存储空间。

通过一期经分系统建设，目前已经具备2个2550节点和21.6TB的磁盘容量存储，因此，还需在现有平台基础上新增加2个节点和对等的存储。

配置描述

TERADATA建议新增2个节点的2580并行处理服务器主机，配置72*300磁盘，备份部分扩容，其配置清单如下表。

扩容设备

配置描述

节点

2n2580，每节点配置2颗四核CPU、48GB内存，2块内置146GB硬盘，SUSELinux10操作系统

磁盘阵列

配置72*300GB硬盘，磁盘容量21,600GB，数据库空间约9880GB

数据库软件

Teradata12数据库引擎及工具包

备份部分

扩容SL500，增加2*LTO4驱动器，100盘LTO4磁带；

增加1台备份服务器，配置1颗四核CPU，4G内存，2块内置146GB硬盘，SUSELinux10操作系统

增加NetVault备份软件相应License

扩容后中央数据仓库系统

数据仓库扩容后，系统共包括4台节点，144*300GB的硬盘，磁盘容量43,200GB，数据库空间可以达到19,760GB。

以下是系统扩容扩容前后的比较：

扩容前

增加

扩容后

节点

2n2550

2n2580

2550+2n5580

Cores/CPU

16/4

16/4

32/8

内存

64

96

160

磁盘阵列

72×300GB

72×300GB

144×300GB

磁盘空间（GB）

21,600

21,600

43,200

数据库可见空间（GB）

9,880

9,880

19,760

数据库软件

Teradata