广西移动深度运营平台数据建模设计文档.docx
- 文档编号:30595989
- 上传时间:2023-08-18
- 格式:DOCX
- 页数:44
- 大小:129.38KB
广西移动深度运营平台数据建模设计文档.docx
《广西移动深度运营平台数据建模设计文档.docx》由会员分享,可在线阅读,更多相关《广西移动深度运营平台数据建模设计文档.docx(44页珍藏版)》请在冰豆网上搜索。
广西移动深度运营平台数据建模设计文档
广西移动深度运营平台Project
数据建模设计文档
CurrentVersion:
1.0
Owner:
DateLastUpdated:
2007-12-20
LastUpdatedBy:
Author:
LIBoYuan
DateCreated:
2007-12-20
ApprovedBy:
ApprovalDate:
RevisionHistory
VersionNumber
DateUpdated
RevisionAuthor
BriefDescriptionofChanges
1.0
2007-12-20
LiBoYuan
CreateRevision
TableofContents
1数据建模设计介绍
在数据仓库/商业智能的项目中,主要涉及的任务和它们之间的关系如下图所示。
数据建模在其中比较重要,是数据映射、以及以后的ETL和前端的开发工作的基础。
在这一章就对广西移动深度运营项目中的数据建模设计做一个介绍。
1.1数据建模设计原则
本项目的系统架构如下图所示,需要本项目数据建模的模块是ods和DataMart。
数据模型的设计是一个迭代、调优的过程,是平衡业务需求、已有的数据、系统的性能等因素的过程。
这个过程中采用的一些设计原则,是接下来开展各期项目的一个参考。
1.1.1ODS数据的主要功能模块
ods的数据有不同的功能,因此分为不同的模块。
在本期项目中,ods内部的数据,按照它们的功能可以分为如下的几块:
1.1.2ODS数据模型设计原则
ODS系统的特征,要求在设计数据模型时,要坚持2个基本的出发点:
1.面向主题的、集成的、可变的、当前的细节数据集合。
2.用于支持企业对即时性、操作性、集成的全体信息的需求
ODS的数据特征,要求数据模型坚持如下的2个要点:
1.在业务系统与数据仓库系统之间形成一个隔离层
2.转移一部分业务系统细节查询功能
3.完成数据仓库中不能完成的一些功能
基于以上原则设计的ODS模型,从不同的角度来讲,也有一些缺点:
∙对于业务用户来说,这个模型与业务系统的模型差不多
∙查询的性能会因为多个join受影响.
∙保存周期时间短,不利于历史查询
1.1.3ODS数据模型设计步骤
ODS数据模型的设计步骤,借鉴数据仓库之父BillInmon的方法。
根据广西移动的具体状况,具体的大步骤有2个。
第一个步骤是建立业务实体之间的关系;第二步是根据ODS的特殊需求,进行调优的过程;具体如下:
∙建立描述基本业务关系的ER模型
o根据本期项目范围的数据需要确定主题域.
o在主题域中确定需要的实体.
o确定实体之间的关系
o增加属性.
o确认模型的结构.
o确认模型的内容.
∙基于基本的ER模型,根据ODS的特征,增强模型
o分析需求
▪增加需要的数据
▪增加时间因素,确定数据传输周期
▪增加时间因素,确定数据保存周期
▪增加时间因素、确定数据增量全量传输
▪增加导出的数据
▪确定数据的粒度
o系统性能需求
▪汇总数据
▪合并实体
▪如果对一个业务流程总体进行分析,将多个实体字段组合成一个实体(如Order流程)
▪如果数据量太大,数据分区(如partition)
1.2数据建模命名规范
数据模型中的对象的命名规范,以SGM已有的规范为标准:
数据模型的对象命名采用英文,基于如下原则:
格式:
XX_NAME_YYY(如无必要,前缀、后缀可无)
XX:
前缀
Name:
有意义的单词或简称
YY:
后缀
数据库表名称采用英文大写,多个单词之间使用下划线连接
字段名称采用英文小写,多个单词之间使用下划线连接
一些主要的前缀,列表如下:
TM
MasterDataTABLE
TT
TransactionDataTable
TR
RELATIONSHIPTABLE
TA
AGGREGATIONTABLE
TC
CODELISTTABLE
TI
InterfaceTable
TS
SystemadministrationTable
TL
LogTable
TG
StaGingTable
TD
DIMENSIONTABLE
TF
FACTTABLE
TU
UserMaintainedTable
PK
PRIMARYKEY
FK
ForeignKey
AK
ALTERNATIVEKEY
UK
UNIQUEKEY
CK
CheckConstraints
IN
Index
JB
Job
SQ
SEQUENCE
VW
VIEW
MV
MATERIALIZEDVIEW
FN
Function
SP
STOREDPROCEDURE
后缀有:
HIS
HistoryDataTable
这些对象在以后的项目过程中,可以进一步地丰富和优化。
1.3简写、缩写规则和简写列表样例
简写、缩写各个系统、项目和个人都不一样。
这里是一个推荐方案,以后的项目过程中,可以进一步地丰富和优化。
模型中的对象可以用英文的全称、简写或缩写。
如果采用简写或缩写时,可以参考下面的规范。
用以下的步骤来生成词汇的简写:
∙删除不必要的元音字母
∙删除所有不是开头的元音字母
∙如果“Y“在一个词的开头或结尾,需保留
∙如果“E“在一个词的结尾并使词发音为”s”,需保留。
例如:
piece
∙删除不必要的辅音,例如双辅音
∙如有可能,把词的前缀和后缀替代掉
简写规则
∙在一个业务方面或整个企业中简写尽量保持是唯一的。
来达到这种唯一的目标,建立并维护一个词汇简写清单和它们的定义。
∙避免用一个简写来代表两个不同的词汇或两个不同的简写来代表同一个词。
∙一些常用的词组可以有简写。
例如:
有效日期"EffectiveDate"可以简化为"effdt"。
∙企业现有的简写,即使不符合规则也可以使用。
∙使用简写的前提是读者可以不用数据字典就能理解。
∙当类别词(“name”和“date”)是被用做类别词的时候才可以简化。
当它们用与列名称的其它地方,不需简化。
(举例:
name_suffix_txt)。
缩写是在一个企业、行业中能够被普遍理解和接受的。
∙缩写绝大多数是从标准的业务或行业的用途中来的。
例如:
MBA是指“MastersofBusinessAdministration”,NYSE是指“NewYorkStockExchange”,ATM是指“automatedtellermachine”。
∙当缩写比全名用得更广泛的时候,尽量用缩写。
例如:
IBM要比全称InternationalBusinessMachines用得更为普遍。
∙缩写是由业务惯用语中每个重要的词汇的第一个字母组成的。
缩写通常是为组织、产品、业务主题的名字创造的。
例如:
IBM
∙缩写可能有多种意义。
如果一个缩写有多种涵义,它的定义必须通过上下文来表达清楚。
如果缩写的定义不能从上下文中表达清楚,就不能使用它。
主题和限定词可以用来组成上下文。
例如:
ATM在银行业中指自动取款机,在网络通讯业中指一种通讯的协议。
用ATM_DEPOSITS_MTD_QTY要比用ATM_SALES_MTD_QTY的涵义更为清楚。
1.4简写列表样例
有2类单词需要简写,一种是经常使用的字段,在ERWin模型中成为Class的那一部分;另一类就是普通的单词。
这2类单词的简写,RalphKimball在他的书TheDataWarehouseLifeCycleToolkit中给出样例列表,推荐使用。
SGM可以基于这个列表,逐渐积累完善成为一个较适用和完备的列表。
Class简写(RalphKimball推荐)
Category
ClassWord
Abbreviation
Measurement
amount
amnt
Label
code
code
Chronology
date
date
Description
description
desc
Label
identifier
id
Label
indicator
ind
Label
name
name
Label
number
num
Measurement
quantity
qty
Measurement
rate
rate
Description
text
txt
Chronology
time
tm
普通单词的简写样表:
(RalphKimball推荐)
2ODS模型说明
2.1ODS数据模型
2.2ODSSubjectArea说明
SubjectAreaName
01-101XX系列接口表
数据来源:
来自boss客户管理接口对照
主要描述:
描述了客户、集团客户、vip客户、用户账本、用户关系、用户积分、信用等信息
接口文档:
01-客户管理接口对照new.xls
01-205xx系列表
数据来源:
boss话费清单
主要描述:
包含GSM通话清单、漫游清单、短信清单等各类计费帐务
接口文档:
05-计费帐务接口对照.xls
01-306xx系列表
数据来源:
来自boss
主要描述:
各类业务的网间结算清单包含全球通与神州行语音国内清单、短信结算清单、国际漫游结算清单、呼叫转移结算清单等
接口文档:
BOSS接口映射-06-网间结算.xls
01-408xx系列表
数据来源:
来自boss系列接口
主要描述:
主要包含各类表的基础数据记录,包含客户、集团、证件、所有制、入网方式、品牌、账本、科目等
接口文档:
08-参数配置与计算原则.xls
01-640xx系列表
数据来源:
来自飞信平台数据接口
主要描述:
记录了飞信平台的日活跃明细数据、月活跃明细数据、用户功能开通与关闭、飞信用户登陆与好友信息等。
接口文档:
经营分析系统下发飞信数据的接口内容.doc
01-798xxx系列表
数据来源:
来自广西经营分析彩铃平台
主要描述:
描述了来自彩铃平台的个人信息、个人信息库、彩铃信息库、集团彩铃信息、业务类的数据、音乐盒的数据、音乐盒成员的数据、sp信息、日志类的(彩铃的开通取消数据、彩铃下载数据、彩铃变更数据、彩铃业务话单、彩铃diy上传数据)
接口文档:
彩铃平台接口实施细则(基于B0版本).doc
01-999xxx系列表
数据来源:
来自misc数据
主要描述:
包含了来自MISC平台与sp有关的业务接口、包含梦网用户、sp类的业务、1862业务日志、sso业务日志、wwwportal日志、WTBSPORTAL日志类、运行日志类(服务定购请求消息、服务定购响应消息、鉴权批价消息)、参数类的。
接口文档:
DSMP平台接口实施细则060803(包含详细的sp代码分类).doc
01-1010xxx系列表
数据来源:
来自boss系统其他的经营业务的数据
主要描述:
描述了集团中个人账单、异常类的话单、营业厅的受理业务信息、大客户经理促销方面的月汇总、用户密码功能设置。
接口文档:
10-其他经营分析系统需要的数据.xls
巡检模型
数据来源:
来自wap与梦网短信的信息汇总信息
主要描述:
主要对巡检记录wap访日日志信息、梦网短信的日汇总信息
接口文档:
wap日志梦网短信日志
2.3ODS数据库表的说明
SubjectAreaName
TableName
TableComment
01-101XX系列接口表
01001
来自接口客户关系--01001客户更新时间
(每日0点-1点30全量提供)
01-101XX系列接口表
01002
来自接口客户管理01002集团客户
更新时间(每日0点全量提供)
01-101XX系列接口表
01003
来自于boss01003客户关系定义
BOSS1.5(每日0点全量提供)
01-101XX系列接口表
01004
来自于boss接口表01004大客户
BOSS1.5(每日0点全量提供)
01-101XX系列接口表
01007
来自于boss01007用户
BOSS1.5(每日全量提供)
01-101XX系列接口表
01019
来自于boss01019帐本
BOSS1.5(每日增量提供)
01-101XX系列接口表
01020
来自于boss01020用户-套餐关系
BOSS1.5(每日全量提供)
01-101XX系列接口表
01022
来自接口表01022用户积分累计
BOSS1.5(每日全量提供)
01-101XX系列接口表
01032
来自于boss接口表01032用户-功能关系历史表
每日根据expire_date增量提供
数据质量问题取不到唯一索引只能在程序中进行避免
01-101XX系列接口表
01036
来自于boss接口表01036
每月提供数据
01-205xx系列表
05001
来自于boss接口的05001GSM清单该表可以区分SP类型通过对端号码解析7位编码后两位即可区分
每半个小时提供一次数据_增量传输,平台这边处理每天一次
01-205xx系列表
05002
来自boss接口表05002GPRS国际漫游清单
BOSS1.5(每半小时提供)
01-205xx系列表
05003
来自于boss接口表05003移动梦网短信清单
BOSS1.5(每半小时提供)
01-205xx系列表
05004
来自于boss05004移动梦网WAP清单
BOSS1.5(每半小时提供)
01-205xx系列表
05005
来自于boss05005普通短信清单
BOSS1.5(每半小时提供)
01-205xx系列表
05007
来自于boss接口表05007智能网神州行短信清单
BOSS1.5(每半小时提供)
01-205xx系列表
05009
来自boss05009智能网VPMN清单
(每半小时提供)
01-205xx系列表
05010
来自于boss05010神州行梦网短信清单
BOSS1.5(每半小时提供)
01-205xx系列表
05011
来自boss05011神州行互联短信清单
BOSS1.5(每半小时提供)
01-205xx系列表
05016
来自于boss05016联通互联短信清单
BOSS1.5(每半小时提供)
01-205xx系列表
05017
来自于bos05017WLAN清单
BOSS1.5(每半小时提供)增量提供
01-205xx系列表
05018
来自于bos05018
BOSS1.5(每半小时提供)
01-205xx系列表
05021
来自于bos05021用户明细帐单
BOSS1.5(每日提供)
01-205xx系列表
05034
来自于bos05034促销定购信息表
BOSS1.5(每日根据create_date增量提供)
01-205xx系列表
05036
来自boss05036智能网帐单
BOSS1.5(接口同1.0,暂时未变,每日2点根据条件判断提供)增量提供
01-205xx系列表
05038
来自boss05038用户月帐单
BOSS1.5(每月提供)
01-205xx系列表
05050
来源boss接口05050GPRS省际和国际来访清单
更新时间(每半小时提供)
01-205xx系列表
05051
来源boss05051GPRS彩信核减清单
(每半小时提供)
01-205xx系列表
05054
来自boss05054促销定购信息历史表
BOSS1.5(每日根据expire_date增量提供)
01-205xx系列表
05064
来自boss05064GPRS省际-本地漫游清单
05064GPRS省际-本地漫游清单增量提供半个小时提供一次
01-306xx系列表
06014
来自boss06014全球通与神州行移动梦网短信结算清单
每半个小时提供一次
01-306xx系列表
06026
来自于boss06026全球通与神州行(本地)移动梦网短信结算清单
每半个小时提供一次
01-306xx系列表
06029
来自于boss接口表06029SP信息费结算清单
每月5日凌晨提供
01-408xx系列表
08013
来自于boss08013用户类型
每月2日凌晨5点提供数据
01-408xx系列表
08018
来自于boss08018服务品牌类型
每月2日0点5分提供
01-408xx系列表
08020
来自于boss08020缴费途径类型
每月2日0点5分提供
01-408xx系列表
08023
来自boss08023明细帐目类型
每日根据该表的sts_time判断有无新记录来决定是否提供
01-408xx系列表
08038
来自于boss08038营业费用类型
每日根据该表的sts_time判断有无新记录来决定是否提供
01-408xx系列表
08039
来自于boss参数配置与计算原则08039地域
每月月初提供数据
01-408xx系列表
08042
来自于boss08042营业网点
每日0点5分提供
01-408xx系列表
08057
来自于boss08057费用类型
每月2日0点5分提供
01-408xx系列表
08059
来源boss08059套餐
更新日期每月2日0点5分提供
01-408xx系列表
08072
来自于BOSS的参数配置接口08072通话类型
记录了
0主叫
1被叫
2有条件呼转
3无条件呼转
4短信发送
5短信接受
\
每日根据该表的modify_date判断有无新记录来决定是否提供
01-408xx系列表
08073
来自于boss08073计费业务代码
每日根据该表的modify_date判断有无新记录来决定是否提供
01-408xx系列表
08074
来自boss08074漫游类型
更新日期每日根据该表的modify_date判断有无新记录来决定是否提供
01-408xx系列表
08075
来自于boss08075计费费用类型
更新日期每月2日0点5分提供
01-408xx系列表
08091
来自boss08091营业受理业务定义表
更新日期每月2日0点5分提供
01-408xx系列表
08104
来自于boss08104本地语音杂志和移动沙龙
更新日期每月2日0点5分提供
01-640xx系列表
40001
来自经营分析下载飞信数据日活跃用户明细
截至当日24时,当日有过订购关系的用户且登录过PC客户端或手机客户端或WAP客户端或发送过上行短信或使用过IVR通话的用户
01-640xx系列表
40003
来自接口表日用户开通/关闭操作记录
记录每日00时00分00秒到24时00分00秒,飞信用户开通/关闭操作记录
01-640xx系列表
40098
来自接口表飞信字典代码定义
本接口定义业务数据接口单元中字段取值对应字典所包含的代码项目
每日全量抽取
01-798xxx系列表
98001
接口单元名称:
彩铃个人用户信息
接口单元编码:
98001
接口单元说明:
记录彩铃用户基本信息。
初始加载时,全量抽取彩铃个人用户信息,以后每日提取一次全量。
01-798xxx系列表
98002
接口单元名称:
彩铃用户个人铃音库信息
接口单元编码:
98002
接口单元说明:
记录彩铃用户个人铃音库信息。
初始加载时,全量抽取当前在网用户定制的全部铃音信息,以后每月抽取一次全量(每月3日抽取)。
说明:
只提供月全量,增量部分由98010彩铃变更数据接口提供
01-798xxx系列表
98003
接口单元名称:
彩铃用户铃音设置信息
接口单元编码:
98003
接口单元说明:
彩铃用户铃音设置信息。
包括集团彩铃和个人用户彩铃设置。
初始加载时,全量抽取当前在网用户定制的全部铃音设置信息,以后每月抽取一次全量(每月3日抽取)。
01-798xxx系列表
98009
接口单元名称:
彩铃开通/取消数据
接口单元编码:
98009
接口单元说明:
彩铃开通/取消数据。
初始加载时,全量抽取彩铃用户开通/取消的信息,以后每日提取一次增量。
01-798xxx系列表
98010
接口单元名称:
彩铃下载数据
接口单元编码:
98010
接口单元说明:
记录彩铃下载数据。
初始加载时,全量抽取彩铃下载的信息,以后每日提取一次增量。
01-999xxx系列表
99004
接口单元名称:
SP企业代码
接口单元编码:
99004
接口单元说明:
SP企业代码是网络中SP地址和身份的标识,地址翻译、计费、结算等均以企业代码为依据。
各个省MISC的SP数据包含全网本地接入SP、本地SP、全网SP数据(无本地接入)的全部数据。
初始加载时传送全部非下线状态的SP企业代码。
每月全量传送。
01-999xxx系列表
99005
接口单元名称:
SP企业代码变更流水
接口单元编码:
99005
接口单元说明:
记录每日SP的新增、以及关键属性的变化信息,关键属性指SP企业代码、SP状态、短信接入号、离线标志。
当SP企业代码发生变化时,会首先将原先的SP企业代码状态置为"下线",再新增一个SP企业代码,并在"原SP企业代码"字段中记录原SP企业代码,这种情况的一个业务实例就是"全网SP新增本地接入点"时。
每日增量传送。
01-999xxx系列表
99006
接口单元名称:
SP业务代码
接口单元编码:
99006
接口单元说明:
记录SP提供的各种业务代码、业务分类等数据。
各个省DSMP平台记录了各省本地SP提供的业务数据、无本地接入的全网SP的业务数据、全网SP本地接入的业务数据。
初始加载时传送全部当前未下线的SP业务信息。
每月全量抽取。
01-999xxx系列表
99007
接口单元名称:
SP业务代码变更流水
接口单元编码:
99007
接口单元说明:
记录每日
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 广西 移动 深度 运营 平台 数据 建模 设计 文档
![提示](https://static.bdocx.com/images/bang_tan.gif)