202X年大数据中心项目可行性研究报告word版.docx
- 文档编号:7527856
- 上传时间:2023-01-24
- 格式:DOCX
- 页数:56
- 大小:446.63KB
202X年大数据中心项目可行性研究报告word版.docx
《202X年大数据中心项目可行性研究报告word版.docx》由会员分享,可在线阅读,更多相关《202X年大数据中心项目可行性研究报告word版.docx(56页珍藏版)》请在冰豆网上搜索。
202X年大数据中心项目可行性研究报告word版
大数据中心项目可行性研究报告
(本文档为word格式,下载后可修改编辑!
)
第1章、总论目录
1
1.1概述1
1.2建设背景1
1.3建设必要性和可行性2
1.4建设目标与任务2
第2章、需求分析4
2.1用户需求4
2.2数据需求4
2.3系统及应用需求分析7
2.3.1节点管理8
2.3.2主题管理8
2.3.3元数据管理8
2.3.4公共代码管理9
2.3.5数据采集9
2.3.6数据整理比对9
2.3.7数据交换9
2.3.8数据访问10
2.3.9数据备份与恢复10
2.3.10标准管理10
2.3.11应用支持10
2.3.12运行管理10
2.4性能需求分析11
2.4.1业务处理量分析11
2.5安全及保障机制需求分析12
2.5.1系统安全可靠性需求12
2.5.2数据安全保密性需求12
2.5.3数据完整性需求13
2.5.4实体的可鉴别性需求13
2.5.5
2.5.6
2.5.7
2.5.8
2.5.9
第3章、
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3.2
3.2.1
3.2.2
3.2.3
3.2.4
3.2.5
不可否认性需求13
对象和行为的可授权性需求13
统一信任与授权策略需求13
数据中心统一安全监管性需求14
保障机制需求分析14
数据中心设计方案15
设计原则15
统一建设15
相对独立15
共建共享15
安全可靠15
数据中心平台设计16
平台总体架构16
数据资源规划16
3.2.2.1数据资源规划的总体思路16
3.2.2.2数据资源体系结构1.7
3.2.2.3共享数据一致性的保证.18
3.2.2.4共享数据库的建立过程19
数据支撑平台20
3.2.3.1数据共享交换子系统20
3.2.3.2目录管理服务子系统23
3.2.3.3共享数据管理子系统23
3.2.3.4共享业务管理子系统24
3.2.3.5系统配置管理子系统24
3.2.3.6系统安全管理子系统24
数据共享交换平台25
3.2.4.1交换网络结构25
3.2.4.2交换概念模型27
3.2.4.3交换体系结构28
共享数据管理系统30
325.1功能设计30
325.2逻辑结构32
3.2.6数据接口系统32
3.2.7服务器系统设计33
3.2.7.1设计原贝U33
3.2.7.2服务器系统选择的依据34
3.2.7.3需求分析35
3.2.7.4性能测算35
3.2.8存储系统设计36
3.2.8.1设计原贝U36
3.2.8.2主流存储技术比较及建议37
3.2.8.3Raid类型配置建议39
3.2.9灾备系统设计39
3.2.9.1设计原贝U39
3.2.9.2灾备技术比较40
3.2.9.3灾备解决方案42
3.2.9.4备份策略43
3.2.10网络系统设计43
3.2.10.1设计原贝U43
3.2.10.2网络系统设计44
3.2.11安全保障体系44
3.2.11.1物理安全45
3.2.11.2网络安全45
3.2.11.3系统安全46
3.2.11.4应用程序安全46
3.2.11.5数据安全46
3.2.11.5.1核心数据加密47
3.2.11.5.2数据访问控希947
3.2.11.5.3数据传播和复制48
3212
第4章、
4.1
4.2
4.3
4.4
第5章、
5.1
5.2
第6章、
第7章、
7.1
7.2
3.2.11.6整体安全策略的说明48
数据中心典型应用49
3.2.12.1政务数据交换平台49
3.2.12.1.1运行模型49
3.2.12.1.2信息共享交换50
3.2.12.1.3共享目录检索50
3.2.12.1.4共享数据查询服务体系51
3.2.12.1.5业务数据整理51
3.2.12.1.6决策支持系统52
3.2.12.2企业基础信息共享系统52
3.2.12.3社会保障信息共享系统52
3.2.12.4人事档案托管系统53
运营及保障机制54
运营机制54
运行管理机制54
信息资源管理机制54
运行管理制度55
数据中心预算预算经费56
总投资概算56
投资概算明细56
风险分析及控制59
经济及社会效益61
经济效益61
社会效益61
第1章、总论
1.1概述
今年是"十三五"计划的第一年,在"十三五"期间我们预期HZ浙江乃至其他周边区域进一步发展高新产业园、大力扶持高新企业,在这样的大背景下必将有很多政府、企业眼光转向大数据服务平台寻求从外部快速、低成本地获取IT资源和管理能力而不只是采用自己搭建IT平台这一缓慢的办法。
受政策和数据安全方面的约束,政府和企业不能或不会考虑国外的公有云平台和混合云平台。
而目前在国内,进入大数据的企业由于其自身能力的限制大多仍然停留在大数据的底层设施(硬件、存储、网络)及其基本软件的层级,很少能够有能力建立自有知识产权的可以容易被用户使用的面向服务的大数据平台。
1.2建设背景
2017年10月,国家发改委、工业和信息化部下发《关于做好大数据服务创新发展试点示范工作的通知》,选择在北京、上海、深圳、HZ、无锡等五个城
市开展大数据创新发展试点示范工作,《通知》要求大数据创新发展试点示范工作要与区域产业发展优势相结合,推动国内信息服务企业针对政府、大中小企业和个人等不同用户需求,积极探索各类大数据服务;以企业为主体,产学研用联合,加强大数据核心技术研发和产业化;推进大数据中心(平台)建设,为提升信息服务水平、培育战略性新兴产业、调整经济结构、转变发展方式提供有力支撑。
“十三五”期间,我市电子商务建设的主要目标是:
建成标准统一、功能完善、安全可靠的政务信息平台,发挥支持作用;重点业务系统建设取得显著成效;基础性、战略性政务信息库建设取得重大进展,数据资源共享程度明显提高;初步形成电子商务网络与信息安全保障体系,建立规范的培训制度,与电子商务相关的法规和标准逐步完善。
1.3建设必要性和可行性
IDC预计,从2016年底到2020年底,四年期间,大数据将为全球带来8000亿美元的新业务收入,其中为中国带来超过11050亿人民币约合1590亿美元的
新净业务收入。
2018年1月18日,在宁召开的“打造中国云一大数据促进产业转型升级”研讨会中国工程院院士、大数据专家李德毅报告中指出“大数据是物联网发展的基石。
在中国,大数据已经走过概念炒作阶段,进入实际应用部署的阶段。
”未来3年,大数据应用将以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点,在中国市场逐步被越来越多的企业和机构采用,市场规模
也将从2016年的92亿元增长到2019年的606亿元。
1.4建设目标与任务
数据中心的建设是为了解决政府部门间信息共享,实现业务部门之间的数据交换与数据共享,促进HZ市电子商务的发展。
具体目标如下:
建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设,实现数据的交换、保存、更新、共享、备份、分发和存证等功能,并扩展容灾、备份、挖掘、分析等功能。
(一)建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设,实现社会保障数据的交换、保存、更新、共享、备份、分发和存证等功能,并扩展容灾、备份、挖掘、分析等功能。
(二)建立全市自然人、法人、公共信息库等共享数据库,为宏观决策提供数据支持。
对基础数据进行集中管理,保证基础数据的一致性、准确性和完整性,为各业务部门提供基础数据支持;
(三)建立数据交换共享和更新维护机制。
实现各业务部门之间的数据交换与共享,以及基础数据的标准化、一致化,保证相关数据的及时更新和安全管理,方便业务部门开展工作;
(四)建立数据共享和交换技术标准和相关管理规范,实现各部门业务应用系统的规范建设和业务协同;
(五)为公共服务中心提供数据服务支持,实现面向社会公众的一站式服务;
(六)根据统计数据标准汇集各业务部门的原始个案或统计数据,根据决策支持的需要,整理相关数据,并提供统计分析功能,为领导决策提供数据支持;
(七)为监督部门提供必要的数据通道,方便实现对业务部门以及业务对象的监管,逐步实现有效的业务监管支持;
(八)为业务数据库的备份提供存储和备份手段支持,提高业务应用系统的可靠性。
第2章、需求分析
2.1用户需求
从与数据中心交互的组织机构、人员方面进行说明
与数据中心交互的单位机构
各业务部门
通过接口系统向数据中心提供数据或使用数据中心提供的数据;业务部门之间可直接交换数据。
各业务系统单位
遵循标准规范进行业务系统建设和改造,实现业务系统与数据中心的对接。
与数据中心交互的人员
数据中心系统管理
员
负责数据中心系统管理、监控、系统维护
数据中心数据管理
员
负责数据的整理、比对、数据一致性的保证,并且与区县级数据中心、省数据中心数据管理员协同工作,执行数据标准。
业务部门数据管理
员
一般与同级数据中心数据管理员协同工作
2.2数据需求
HZ市数据中心必须满足电子商务平台进行数据交换的需要,同时还必须满
足在平台上建立的各业务系统进行综合业务处理的要求。
为门户系统提供各种静
态和动态的数据、信息。
所谓静态信息是指对电子商务的运行中不经常变化,供各个业务系统查询、处理的数据或信息:
政策、法规、元数据、资料库、各种多媒体数据等,它们会随着时间而逐步增大。
所谓动态数据是指随着运行而增加、修改的数据:
并联审批中文件流转状态数据,反映企业、个人所处状态的数据,国民经济运行状态的数据等。
动态数据同各个局委办的信息密切相关,但又是面向主题的,如XX市社会保险这个主题,实际上同保险、工资、税务和银行密切相关;个人信用使用主题,它的数据与银行、税务、个人消费、个人收入密切相关。
而数据仓库显然也有面向主题的定义,但这些主题是较长时间的,具有战略定义的主题。
因此,数据中心的建设,首先要解决数据库异构信息类型的分类存储和检索体系以及针对不同类型数据模型的设计这一基本问题。
另一方面,数据中心管理着大量的结构化和非结构化信息。
所谓非结构化信息,是相对于那些有清晰的结构和类型定义以及有数据相关性的明确描述的信息类型而言的。
比如,在财税分析系统中,财政收支情况的月度数据,可以理解为一种有清晰结构的信息;而一份综合性包含了文字、报表、分析图形的财政收支分析报告则是一种非结构化的信息。
网站上发布的信息,如新闻动态、政务公开等等,一般也是非结构化的信息。
此外,非结构化信息中还包括了一类对象数据信息。
所谓对象数据信息,是
指一个包含了内敛结构的专门数据块,这个数据块单独无法建立与别的数据项的关联关系,并且需要工作在特定的工作模块下。
比如:
GIS空间定义信息数据、
多媒体的声像数据等,均为对象类型的数据。
在政府决策应用中,非结构化信息将占到相当的比例。
所有的政府文件均属于非结构化信息,政策法规属于非结构化信息,一些决策分析的综合性资料也是非结构化信息。
与结构化信息相比,非结构化信息的管理利用存在一些难点,就是:
(1)定义管理的难度
“非结构”化表明了没有一种象关系数据库规范那样的定义模型来对非结构化信息进行定义管理。
虽然你可以强制对一个非结构化的信息块进行解构,将其
分成类似头、中、尾这样的半结构。
但是这种解构只有在制定了具有普遍含义的结构描述定义后才有真正的意义。
对非结构化信息进行定义管理的另一个难点在于数据元类型无法穷举。
不象关系型数据系统中,对数据元类型有完整清晰的定义。
在非结构化信息中,包含了错综复杂的数据元类型。
比如,仅文档类型就包括Text、WordPDFExcel、WordPro等等,还有各种图片文件格式、多媒体压缩信息格式等等。
此外,在象网页这样的非结构化信息中,所有的信息都是文字类型,设定时间、数字等类型的信息元并不具有运算上的意义。
(2)存储管理的难度
对信息进行存储管理的前提是能够建立有效的数据定义,然后才能进行非结构化信息的组织存放。
而前面已经提到了在非结构化信息的数据定义方面存在的难度,因此也就造成了在非结构化信息存储管理方面的困难。
当然,对非结构化信息最简单的存储方式是直接存放在文件系统中。
这样做避免了依据主题等分类因素对非结构化信息进行管理的问题,但也是最最低效的一种存储管理方式。
在非结构化信息的存储管理中还涉及到一个问题,由于这些信息元(如果对
非结构化信息进行一定的半结构化处理后)的数据可能来自关系型数据系统(比
如Oracle)、对象数据系统(多媒体数据或空间数据)乃至文档数据系统(比如Notes),所以一个非结构化信息的存储管理系统将充当一个数据的汇整者,需要
具备联合各个外部数据系统的功能。
缺乏对非结构化信息的有效管理造成的直接结果就是无法对非结构化信息进行有效检索。
(3)信息检索的难度
由于不能像关系数据库那样建立起清晰定义的数据主题,非结构化信息的检索依照的只能是机械的全文内容检索。
这是对信息检索非常不利的一点。
虽然对信息内容的全文检索可以做到资料检索的遍历,但其检索的效率和命中率是很低的。
由于不象关系数据库那样有一种象SQL(结构化查询语言)那样强大的关联检索工具,并且在定义数据时也没有建立数据项之间的关联关系,要具有针对性地查询非结构化信息的内容,必须
要依靠应用程序中设置对特定非结构化信息类型进行专门处理的功能内容,才可
能提高信息检索的强度和效率。
但另一方面讲,一种专用于理解特定非结构化信息类型的处理模块,无论在运行效率还是在可维护性上,都是非常不现实的。
非结构化信息检索的另一个难度也是与数据元类型的多样性有关的。
比如,不同的文档类型结构需要不同的全文索引工作模块。
这也无形中加大了对非结构化信息进行检索的难度。
因此,数据中心的建设,还必须从技术体系上解决如何对非结构化信息进行有效定义、有效管理和有效利用的基本问题。
2.3系统及应用需求分析
数据中心的主要业务包括:
从基层或业务部门采集数据,包括基础数据和部分共享业务数据,支持基础
和共享数据的更新维护模式;
对采集到的数据进行校验和比对,发现冲突时按照共同制订的数据处理规范进行处理,保证数据的一致性和准确性;
受理业务部门或基层单位的基础数据使用申请;
将整理后的基础数据分发或按需提供给有关部门或单位使用;
以中介的方式处理共享业务数据使用申请,并进行备案;
对共享业务数据在征得业务部门同意的情况,通过数据中心进行存储转发;将共享元数据的信息发布给各业务部门,提供浏览与订阅申请,方便其共享必要信息;
提供数据交换平台和接口系统,使数据中心与各部门的数据管理员可以对共享和交换过程进行管理;
通过数据交换平台存储和管理公共服务数据,并与外网同步,提供一站式服务;
存储和管理统计数据,根据决策支持的需要,整理相关数据,并提供统计分析功能,对数据进行统计和分析,方便领导及时掌握有关情况。
定期对业务数据库进行容灾备份;
与此相对应,业务部门与数据中心发生的相关业务包括:
提供数据或共享元数据给数据中心;
申请使用数据中心的基础数据,校准本单位的基础数据;
通过数据中心提供的共享元数据信息获取其他单位的数据;
审批其他单位的业务数据使用申请,并将数据提供出去;
与数据中心交换公共服务数据;
提供监督部门直接访问业务数据库的通道;
提供统计分析数据或原始个案给数据中心,方便主管领导查询;
定期将业务数据库备份到数据中心;
根据数据中心与各业务部门的主要业务,数据中心应提供如下功能:
231节点管理
实现与数据中心相连的各个节点的信息管理、配置管理,包括业务部门、区县数据中心等。
2.3.2主题管理
数据采集、数据发布、数据共享、数据交换、公共服务以及决策支持均以主题的方式进行,因此必须实现对主题的管理。
主题是元数据的集合。
233元数据管理
元数据是关于数据的数据。
元数据描述了数据的结构和意义,同时也可以描述应用程序和流程的结构和意义。
构造数据中心数据库的重要步骤之一,就是定义和创建元数据(Metadata)。
元数据提供一个目录,列出数据中心有什么数据。
所有进入数据中心的数据,必须在元数据中有所表述。
数据中心的数据管理系统必须提供储存和管理元数据的方法。
以元数据管理为核心,建立数据中心的数据资源目录体系,提供给业务部门参考使用。
数据中心的元数据包括基础数据元和共享数据元,由数据中心统一管理。
基
础数据元由数据中心定义,共享数据元由业务部门定义并注册到数据中心。
业务部门进入数据中心的元数据管理中心好比进了一个“超市”,可以方便地知道可
以获取和使用哪些数据,并进行数据使用申请的定制。
234公共代码管理
对公共代码需要有统一的标准规范,数据中心必须提供公共代码的管理。
基于数据中心的公共代码规范,各部门和区县数据中心可以通过数据转换将各种不同含义的编码和标准规范的编码之间进行双向的转换。
235数据采集
与各业务部门形成数据采集机制,通过数据共享交换平台从各业务部门汇总数据,对原始数据进行缓存、存储。
236数据整理比对
从各业务部门采集共享数据后,进行数据转换,对全市自然人和法人基本数据进行数据比对、冲突检测处理并入库。
237数据交换
实现业务部门与数据中心之间以及业务部门之间的数据交换业务,形成高效、安全、可靠、稳定的数据交换网络。
提供定时批量、实时按需的数据交换,提供点对点、一对多的数据交换支持,对数据交换进行管理和监控。
238数据访问
在统一的权限管理系统之上,实现对自然人和法人的建档、调档、阅档等业务。
对社保卡系统、公共服务中心系统、业务系统提供数据访问。
对决策支持系统、业务监管提供数据支持。
239数据备份与恢复
恢复管理是对数据进行备份、导入导出以及数据库恢复等。
数据是数据中心核心的资源。
全面的容灾方式应该是数据备份+数据复制+远程容灾。
对系统中的数据要定期进行系统备份。
采用本地备份与异地备份相结合的方式。
2.3.10标准管理
进行数据中心的标准规范尤其是数据标准的审核制定、升级维护与发布实施等管理功能。
在数据中心的建立之初,由于标准规范处于不断完善的过程,应建立标准的版本管理机制,方便业务部门的查询和使用。
2.3.11应用支持
对相关业务应用系统、公共服务系统、业务监管系统和决策支持系统提供提供数据、通道和平台等支持。
2.3.12运行管理
为方便对数据中心的管理和维护,需要一套功能完整的运行管理与监控维护系统。
运行管理系统主要提供给数据中心的系统管理人员使用,用于保证数据中
心的安全可靠和高效运行。
其功能主要包括面向安全性的用户管理、权限管理、密码管理和日志管理等;面向性能优化的性能监控等。
面向可用性的节点管理、交换规则管理和状态监控;其中节点管理包括对业务部门的信息管理。
2.4性能需求分析
241业务处理量分析
数据中心的主要业务包括:
(1)基础数据的采集、转换、比对以及分发
这是数据中心的主要负载压力所在。
(2)业务数据交换的备案或存储转发
在数据中心建设初期,业务数据在业务部门之间交换;当业务部门的接口系统难以承受数据交换的负载时,才可能通过数据中心存储转发。
所以这部分业务不会对负载造成负载压力。
(3)元数据库和公共代码库的管理和共享
由于元数据库和公共代码库相对稳定,并且数据量不是很大,所以不会对数据中心造成负载压力。
(4)与业务部门交换公共服务数据
由于业务不停地在发生,即使采用定时批量的交换方式,也会对数据中心造成较大的负载压力。
(5)汇集统计数据,并提供查询
统计数据一般按月提供,而且提交的一般为结果数据,在数据交换方面不会构成太大压力。
领导的数据查询会形成少量的负载。
(6)提供业务部门的容灾备份
容灾备份不需通过数据库服务器处理,所以不会对数据中心的负载构成压力。
数据中心的主要负载压力在于两个方面,一是基础数据的采集、维护和使用;
二是数据中心与业务部门之间的公共服务数据交换。
下面我们分别进行分析
基础数据的变动将引起数据中心的负载。
首先业务部门需将变动数据交换给数据中心,数据中心采集后进行转换和比对,然后进行发布,分发给有需要的部门使用。
数据中心提供对公共服务系统的支持。
各业务部门的公共服务业务数据通过统一的数据共享与交换平台即时或定时的交换到数据中心,保存到公共服务数据库。
再与外网的公共服务数据库同步。
估计数据中心采集一次数据变动相当于2笔数据库交易;进行转换和比对相当于3笔数据库交易,然后再将基础数据分发给10个左右的业务单位共享使用,每分发一次相当于1笔数据库交易。
根据我们以上对数据中心的变动次数的估计,每年的业务量约为:
(500+100)*(2+3+1*10)=9000万笔数据库交易。
按一年250个工作日,每个工作日8小时计算,每分钟的业务量约为:
9000万笔/(250*8*60)=750笔/分钟
依据“80-20”估算方法,峰值的业务处理量为:
3000笔/分钟。
2.5安全及保障机制需求分析
2.5.1系统安全可靠性需求
数据中心如果遇到破坏,或无法正常工作,将造成无法估量的损失。
需要保
护的资源不仅有物理资源(设备、设施)、数据资源(数据、数据库软件等),而且还有网络资源(通信链路、网络接入等)。
2.5.2数据安全保密性需求
满足在数据存储、传输过程中的安全保密性需求。
社会保障工作中涉及大量的敏感数据,在其处理过程中,特别是与各级单位数据交换过程中,要进行数据加密传输和存储,要保证数据的安全保密性。
2.5.3数据完整性需求
满足在数据存储、传输过程中的完整性需求。
在内部要保证数据存储和传输过程中不被篡改和破坏;在与各级单位数据传输的过程中,要保证数据不被篡改和破坏。
2.5.4实体的可鉴别性需求
满足数据中心系统对用户及数据交换服务器的可鉴别性需求。
系统要实现监管及其他方面的需求,其必要条件是实现实体的可鉴别性,包括用户及数据交换服务器具有可鉴别性等。
2.5.5不可否认性需求
满足数据中心用户行为和系统行为不可抵赖性的需求。
用户每天都利用数据
中心处理大量的事务,事务处理过程的可管理、效率的可审计、行为的可审计等,需要行为的不可抵赖性来解决,本项目建设中要保证在所有数据处理过程中,办
公人员行为和系统行为的不可抵赖,以便审计和监督。
2.5.6对象和行为的可授权性需求
实现对数据资源的自主授权和访问控制的功能。
针对数据交换共享工作的特点,要求数据中心具有对对象灵活授权的功能,包括用户对用户的授权、系统对
用户的授权、系统对系统的授权等,以及授权过程的审计监督。
2.5.7统一信任与授权策略需求
对于涉及十多个业务部门、若干业务系统的数据中心而言,安全性的实现不仅体现在各个部门、各个业务系
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 202 数据中心 项目 可行性研究 报告 word