重庆三峡银行大数据项目Word文件下载.docx
- 文档编号:14760936
- 上传时间:2022-10-24
- 格式:DOCX
- 页数:26
- 大小:38.49KB
重庆三峡银行大数据项目Word文件下载.docx
《重庆三峡银行大数据项目Word文件下载.docx》由会员分享,可在线阅读,更多相关《重庆三峡银行大数据项目Word文件下载.docx(26页珍藏版)》请在冰豆网上搜索。
●重视数据战略,认识数据价值,强调数据驱动创新,要整合内外部数据为我所用;
●面向业务,基于主题,构建丰富的数据模型和应用。
三、总体要求
(一)实施范围要求
本项目属全新建项目,需按我行需求制定系统架构和详细的实施方案。
(二)人员要求
投标人必须列出项目组成员名单以及简历,如下表:
姓名
性别
职务/职称
在本项目中的分工
工作经历(学历、资历、参与过的系统工程项目)
参与相关项目工作经验时间
相关认证
备注
此表所列人员应为项目组主要成员,投标人应承诺未征得我行书面同意的情况下不得更换上述成员。
所有项目成员要求参与过至少一个大数据项目和三年以上相关工作经历。
项目经理要求担任过至少两个大数据项目(集群节点不少于20个)的项目经理和7年以上相关工作经历,有PMP认证更优。
项目主架构师要求担任过至少两个大数据项目(集群节点不少于20个)的主架构师和5年以上相关工作经历,并且熟悉Hadoop生态架构和分布式架构。
所有成员必须为投标人单位员工,不得外包其他单位员工,如有发现,招标方有权要求更换项目成员或者解除合同。
投标人在“备注”栏说明所列人员的工作比重或具体时长。
“在本项目中的分工”一栏中应说明项目中的角色和承担的职责。
我行将对所提供的人员进行考核,达不到我行要求的将要求替换。
如进行人员替换后仍无法达到邀标人要求,邀标人将有权终止合同。
(三)项目实施要求
在本项目实施周期内,如遇到原系统功能与需求不符,需要及时调整实施方案,满足我行的要求,并征得我行同意方可变更。
投标人在项目实施过程中,需按照我行项目管理规范提供相应文档(所有提交文档必须为中文),并提供相关软件产品的源代码。
禁止应用软件部署使用的安装码或授权码与其运行的基础环境(如:
硬盘序列号、CPU序列号或网卡序列号等)进行绑定。
投标人应该具有丰富的国内类似案例的实施经验,具备先进的项目实施方法论。
要求提供详细的系统建设总体实施方案,包括但不限于系统架构、系统集成方案以及相关技术方案,并应充分考虑结合我行当前基础设施建设现状以及后续项目的可持续性、可扩展性的总体要求。
包括但不限于项目管理、项目组成员及职责、实施计划、质量管理、配置管理等。
主要要求如下:
1.投标人须对本次项目成立专门的实施团队,并明确实施人员的角色和分工,提供项目实施的组织及资源保障
2.投标人须对本次项目实施提出明确的实施策略和实施计划,包括项目各阶段的划分、各阶段主要实施内容和关键交付物
3.因本次项目实施涉及多方协作,投标人在项目实施过程中须配合招标人对整体项目实施的管理和协调
4.投标人实施团队在实施现场须规划管理,实施人员应服从项目组的安排、管理和协调,遵守双方约定的日常工作纪律
5.投标人应在项目实施过程中对邀标人方人员进行相关的技术和业务培训,须有明确的培训方案和计划,包括培训组织、培训内容、培训课时等安排。
6.本次项目实施不允许任何形式的全部或者部分再转包。
(四)知识产权要求
如无特殊说明,项目实施过程中产生、加工、交互的一切项目信息、资料和知识产权均归招标人所有。
未经招标人事先书面同意,投标人不得将前述属于招标人知识产权的全部或部分转让给任何第三方,也不得进行任何形式的复制、改编、编译或衍生开发或者许可他人使用。
项目中使用的投标人自有知识产权的软件组件、产品等须提供当前使用版本的完整源代码及相关文档,并承诺允许招标人无限期使用,使用方式包括但不限于:
编译、运行、修改、再发布等,后续版本的知识产权归属、授权问题双方可协商确定。
投标人应承诺在项目中用到的各种工具、产品、组件、文档无任何知识产权问题,如果因此而产生纠纷、第三方索赔或其他问题,投标人要负责承担全部赔偿责任和所发生的一切费用(包括但不限于诉讼费、仲裁费、招标人支付的律师费、差旅住宿费、公证费、鉴定费、调解费及仲裁裁决、法院判决或调解协议中由招标人承担的赔偿金)。
禁止使用本项目所涉及行方所有的知识产权,为银行、第三方金融以及证券等金融机构提供咨询、开发、人员派遣或者项目管理等服务。
中标人商务活动中涉及上述情况,应事先通知招标人并获得招标人许可。
中标人单位或者项目团队成员不得以技术交流、案例展示、教学研究或其他任何名义泄露本项目所产生的全部交付内容及开发成果(含源代码,系统技术文档,软件,数据等)。
第二篇业务需求
我行大数据项目围绕大数据基础平台、数据接入与整合、数据应用三方面展开,具体范围如下:
一、大数据基础平台
(一)大数据平台基础功能
Hadoop底层平台为基本Hadoop集群服务,提供上层所有应用资源管控集群管理,提供分布式存储与计算的平台,支持集群管理、资源控管、文件数据分布管理等基本集群的服务能力。
根据我行大数据平台规划和数据量预测,本次项目规划的Hadoop集群节点数为7个。
要求Hadoop发行版本的提供商具有平台开发和运维实力以及控制力,能够掌控Hadoop核心技术,对Hadoop生态有深刻理解:
1)对Hadoop开源社区拥有较强影响力,对Hadoop代码有一定贡献度。
2)具有一定数量的HadoopCommitter成员。
3)对技术走向有影响力且得到社区认可,对开源Hadoop社区有项目级别的贡献,并被Apache基金会认可并接纳。
1.组件基本要求
Hadoop功能组件能够支持更新到社区同等的最新稳定版本。
Hadoop及相当架构系统企业版包括Hadoop及相当架构系统(HDFS/MapRedure/Yarn)、HBase、Impala、Solr、Zookeeper、Spark、Kafka、Sqoop、Flume、Sentry、Hue、Oozie,其中最低版本要求:
组件
组件描述
版本要求
Avro
通过网络来存储和传输数据的串行化系统
v1.7.6
Crunch
撰写,测试,运行MapReduce和Spark管道的Java库框架
v0.11.0
DataFu
ApachePig的用户定义功能(UDFs)库
v1.1.0
Flume
收集和聚合日志和事件数据,实时流写入HDFS或HBase的分布式框架
v1.6.0
Hadoop
可靠的,可扩展的,分布式的存储和计算平台
v2.6.0
HBase
实时读写访问的可扩展的记录和表的存储
v1.0
Hive
具备类SQL接口和ODBC/JDBC驱动的元数据知识库连接BI应用和Hadoop
v1.1
Hue
遵循Apache许可协议的基于浏览器的桌面Hadoop接口
v3.9.0
Impala
遵循Apache许可协议的、针对存放在HDFS和HBase数据的实时SQL查询引擎
v2.6
Kafka
高度可扩展的、容错的发布订阅制消息系统
v1.3.0
Mahout
Hadoop的机器算法的库
v0.9
Oozie
协调Hadoop活动的工作流程引擎
v4.1.0
Parquet
遵循Apache许可协议的列式文件格式
v1.5.0
Pig
处理存放在Hadoop里的数据的高级数据流语言
v0.12.0
Solr
文本、模糊数学和分面搜索引擎
v4.10.3
Sentry
为Impala和Hive提供精细化的基于角色授权的模块
v1.5.1
Spark
支持循环数据流和内存计算的高速通用数据处理引擎
Sqoop
为集成Hadoop和关系数据库的数据传输引擎
v1.4.6
Sqoop2
Sqoop的并发和服务支持
v1.99.5
Zookeeper
高可靠的分布式协同服务
v3.4.5
2.分布式存储功能
提供高可靠的分布式文件系统:
1)基于业内广泛使用的高效分布式存储架构,可存储任意容量,任意数据类型的数据;
2)提供成熟的高可用性方案,并可以直接图形化配置;
3)支持分层,多种存储介质的异构分布式存储架构,有效利用内存,SSD等存储介质的性能优势以及传统磁盘的容量成本优势;
4)支持将热点数据缓存到内存,加快读写性能;
5)支持多种访问模式,包括NFS,HTTP,原生API等;
6)提供完善的图形化文件系统工具,具有查看,编辑,删除等功能;
7)提供快照功能,防止误删除文件;
8)提供对海量小文件(亿级)的高效存储和随机访问,删除,修改的能力。
3.分布式计算框架
1)支持YARN,MapReduce计算框架;
2)支持Hive,Pig等批处理技术;
3)统一的资源管理:
具有统一的资源管理器,实现统一的资源监控、分配与部署管理,在不同组件间进行资源分配;
4)动态资源管理:
支持多租户情况下资源动态分配。
4.实时流处理
支持流数据的处理:
1)提供高性能,低延时的分布式流处理能力,延时可以降低到毫秒级别,同时提供线性扩展能力,增加节点可以线性提高流处理容量;
2)基于数据总线的消息服务机制,提供对不同服务的消息订阅,发布,管理等完善的处理能力;
3)提供定制多路复杂工作流处理消息的能力,并可以重用关键处理节点;
4)流处理引擎支持对新增数据进行实时统计分析,数据挖掘等复杂计算。
5.快速数据快速处理
支持快速数据快速处理:
1)提供同时支持高性能,低延时的全表数据扫描和随机访问,同时提供线性扩展能力,增加节点可以线性提高处理性能,简化基于HBase的随机访问,HDFS的全表扫描的复杂混合架构;
2)支持数据索引功能以及增加、删除和修改;
3)提供标准API方式的访问和Hadoop之上的多引擎(Impala/Hive/Spark)的访问能力支持;
4)支持流式数据的实时写入,并可以进行实时统计分析与随机查询。
6.NoSQL数据库HBase
1)提供高速并发写入和高并发查询;
2)灵活的表结构,可动态改变和增加每一行的列,保证新旧数据共存;
3)数据自动切分和分布,可通过增加服务器动态扩容,扩容过程中无需停机可持续服务。
7.数据分析和机器学习
1)提供各类数据挖
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 重庆 三峡 银行 数据 项目