XXX大数据平台技术白皮书.docx
- 文档编号:29249927
- 上传时间:2023-07-21
- 格式:DOCX
- 页数:12
- 大小:44.97KB
XXX大数据平台技术白皮书.docx
《XXX大数据平台技术白皮书.docx》由会员分享,可在线阅读,更多相关《XXX大数据平台技术白皮书.docx(12页珍藏版)》请在冰豆网上搜索。
XXX大数据平台技术白皮书
XXX大数据平台技术白皮书
xxxx大数据平台技术白皮书
文档版本号:
文档密级:
编写人:
文档编号:
归
属部门/项目:
编写日期:
产品部
XXXX有限公司
修订记录:
版本号v修订人修订日期修订描述
XX版权所有XXXX科技有限公司保留所有权利版权
声明:
档著作权XXXX科技有限公司享有。
文中涉及XXXX科技有限公司的专有信息,未经XXXX科技有限公司书面许可,
任何单位和个人不得使用和泄漏该文档以及该文档包含的任何图片、表格、数据及其他信息。
档中的信息随着XXXX科技有限公司产品和技术的进步将不断更新,XXXX科技有限公司不再通知此类信息的更新。
第1章产品概
述
系统架
4第3章数据存
储
5
分布式集群存储分布式文件系
统
6HBase-分布列式数据
库
7
Hive-数据仓
库
9GraphDB-大规模分布式并行图数据
库
12第4章数据总
线
13
数据采集与交
换
15
理
16
则
过
滤
规
ETL
17
疋
制
化
19
擎
第
5
早
计算
引
21
能
21
成
23
23
25
29
29
30
功能特
30效果展
示
31第8章运维管理平
.……33
系统监控界
面
……33系统配置界
面
……33
SQL查询分
析
……34批量数据导入导
出
格
35
标....
产
品
指
模....
.....35
平
台
规
力....
35
系
统
能
营....
35
系
统
运
境....
36
硬
件
环
境
36参考配置
36
第1章产品概述
XX大数据引擎平台UDE是一款大数据通用平台软件产品,支持海量数据的采集、过滤、转换、存储、搜索、查询、统计、分析、可视化与安全管理等大数据全生命周期管理,各种行业应用和最终用户,可以通过平台提供的丰富的接口,完成大规模行业数据的挖掘分析和应用对接管理。
对外提供大容量数据分析和查询能力,为解决各大企业的以下需求:
软硬件国产自主可控多源异构数据接入数据关
联融合、统一访问大规模、高性能、可扩展高可靠、咼可用
XXXX在开源Hadoop版本的基础上对HBaseHDFS和MapReduce等组件增加了HA查询和分析功能,并进行了性能优化。
产品定位如图1-1所示:
第2章系统架构
图2-1XX系统架构图
如上图所示,XX是一款大数据管理分析平台,基于底层的基础平台,自下而上可以分四层,依次是数据存储层、数据总线、数据处理层以及业务适配层。
同时具有高性能和高可用的特征。
数据存储层:
支持海量异构数据的统一可靠的存储管理,对外提供统一的分布式调用接
口。
数据总线:
支持数据采集、过滤、缓存、中转分发调度等。
数据总线是计算与存储的枢
纽,同时是内外数据交换的通道,完成数据在组件间及层次间中转、缓冲及调度。
数据处理层:
基于支持多种计
算模型的分布式计算框架,为上层业务系统提供专业的计
算处理库,包括文本处理、搜索引擎、数据挖掘等。
业务适配层:
为上层业务系统提供各种不同协议和标准的访问接口。
高性能高可用保障:
通过软硬件多方优化配置和深度研究,保证整个平台的高可用和高
性能。
产品特点:
面向网络内容及社会计算领域,通过多年积累数据处
理层的特有业务处理引擎深度业务适配及衍生的垂直解
决方案
以数据总线为中心进行数据全生命周期调度及价值实现的数据流驱动视角
第3章数据存储
XX为用户提供企业级大数据平台软件一体化解决方案;并支持特殊应用场景下的定制化硬件加速。
面对结构复杂、需求多变的异构数据处理业务,XX不仅提供统一、稳定、高
效的存储子系统,还整合了先进的分布式集群资源管理和进程调度方案、高性能数据总线技术、全并行架构分布式关系数据库、面向图计算的并行图数据库、分布式KV存数据库,
以及面向用户业务的各类工具软件和库支持。
基于XX平台,
用户可以以非常低的时间代价构建大规模企业大数据一体化解决方案。
文档数据库图片音视频流式数据DB邮件消息多维数据GraphDB关系型数据Hbase非关系型数据HDFSDSC龙威集群存储(申威国产平台)图3-1:
XX数据存储子系统结构图
上图是XX存储组件的结构图,主要包括如下功能组件:
分布式集群存储:
基于对象的高性能分布式文件存储系统。
TBase:
分布式Key-Value数据库。
DSQL:
分布式关系数
据库。
GraphDB:
并行图数据库。
分布式集群存储分布式文件系统
分布式集群存储是一款针对海量数据存储应用而设计的大规模通用集群存储系统,采用通用硬件设备作为基本的构建单元,为应用提供全局统一的系统映像和完全POSIX兼
容的API接口
分布式集群存储系统采用了存储服务器集群和元数据
服务器集群通过千兆以太网络/万兆以太网络/Infiniband
网络构建,具备极高的扩展性和可靠性。
利用分布式集群存储的相关软件功能消除集群内的单点故障,避免因为故障而导致服务中断或者数据丢失等影响,并且打破了传统存储系统架构上的限制。
其基本架构如图3-2所示。
图3-2:
分布式集群存储系统架构
图3-2:
分布式集群存储系统架构分布式集群存储为异
构数据提供统一的存储方案;不仅对大文件应用场景提供良好的性能支持,元数据集群、高效检索、横向扩展等特性使得它在复杂的大数据应用场景中有更好的表现。
除了100%
POSIX兼容外,还提供完全的HadoopAPI兼容。
这意味着
Hadoop生态群的计算框架和组件可以透明运行于分布式集群存储之上。
分布式集群存储提供如下关键特性:
元数
据集群
多个元数据服务器组成集群提供互备HA及动态负载分
担,可有效分载对目录树热点区域的访问,同时可在线扩展对元数据高密集型应用提供支撑。
并发数据恢复
消除传统RAID恢复技术中单盘性能瓶颈,采用多对多的方式,从所有节点的所有磁盘并发进行数据恢复,可提供
极高的聚合恢复带宽,从而有效缩短因设备出错导致的全系
统降级运行时间。
兼容POSIX/Hadoop
通过提供hadoop接口,可使数据分析直接基于在线生产环境进行,避免大量的数据迁移操作。
动态扩展&容量均衡
分布式集群存储提供在线的容量及处理能力扩展,包括数据存储节点及元数据处理节点,并自动在扩容后对全系统容量和热点访问进行均衡。
分布式EC
数据可靠性方面,分布式集群存储除了提供副本方式之外还提供基于Erasurecode技术的冗余方式,包括Raid5
及N+1等多种策略。
其数据分布也是跨节点跨磁盘的。
HBase-分布列式数据库
HBase是适合大数据场景的一款海量分布式列数据库产品。
其架构上兼容了Hadoop体系的高可扩展性,可支持大
于几十个节点,PB存储规模的scale-out;性能上其针对具体大数据应用场景进行深度定制和调优,尤其对于高吞吐率入库和实时检索场景;功能上除了支持标准的K-V访问接口
之外,XXBase还可较好的兼容SQL标准及JDBC接口,可以很好的与既有数据分析业务对接。
尤其在索引性能优化及对后缀和全文索引的支持上XXBase都有显著优势。
图3-3:
TBase系统架构
在应用场景方面,TBase常被用作全量基础数据的组织
和存储,同时提供对此全量数据的实时查询;此外TBase可
兼容传统数据仓库OLAP场景,对复杂SQL分析可提供近实时的分析性能。
从而可同时支持对大数据的实时查询和复杂离线分析。
TBase底层架构在HDFS和MapReduce之上,功能层分别提供数据压缩/解压缩、数据导入、索引、计算、SQL访问以及访问控制和应用隔离等主要功能。
其系统架构如下图所示。
图3-4:
TBase基于HBase的优化增强TBase架构基于分布式列存模型进行扩展。
其实现参考开源Hbase的技术架构,并在其基础上针对应用场景进行了深度性能调优,并基于业务场景的实际需求对功能进行了扩展增强。
其优化点涉及从客户端到底层存储的各个环节,如图3-3所示。
TBase提供如下关键特性:
SQL实时短查询
对全量数据的实时简单查询,包括单表多条件的组合查
询SQL长查询@OLAP
XXXX大数据平台技术白皮书
文档版本号:
文档密级:
编写人:
文档编号:
归
属部门/项目:
编写日期:
产品部
XXXX有限公司
修订记录:
版本号v修订人修订日期修订描述
XX版权所有XXXX科技有限公司保留所有权利版权
声明:
档著作权XXXX科技有限公司享有。
文中涉及XXXX科技
有限公司的专有信息,未经XXXX科技有限公司书面许可,
任何单位和个人不得使用和泄漏该文档以及该文档包含的任何图片、表格、数据及其他信息。
档中的信息随着XXXX科技有限公司产品和技术的进步
将不断更新,XXXX科技有限公司不再通知此类信息的更新
第1章
述
5
统
6HBase-分布列式数据
库
Hive-数据仓
库
9GraphDB-大规模分布式并行图数据
库
12第4章
线
13
数据采集
换
・・
15
数
据
理..…
16
规
滤
17
ETL
19
第5章
擎
21
能
21
成
21
架
23
专用算子及分析
模
板
25
第6
早
高
性
能高
可
29
29
30
30
30
31
33
33
SQL
34
35
35
模
力
35
系
统
能
营
35
系
统
运
境
36
硬
件
环
36
软
件
环
境
36
参
考
配
置.….…
36
第1章产品概述
XX大数据引擎平台UDE是一款大数据通用平台软件产
品,支持海量数据的采集、过滤、转换、存储、搜索、查询、
统计、分析、可视化与安全管理等大数据全生命周期管理,
各种行业应用和最终用户,可以通过平台提供的丰富的接
口,完成大规模行业数据的挖掘分析和应用对接管理。
对外
提供大容量数据分析和查询能力,为解决各大企业的以下需求:
软硬件国产自主可控多源异构数据接入数据关
联融合、统一访问大规模、高性能、可扩展高可靠、
咼可用
XXXX在开源Hadoop版本的基础上对HBaseHDFS和
MapReduce等组件增加了HA查询和分析功能,并进行了性能优化。
产品定位如图1-1所示:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- XXX 数据 平台 技术 白皮书
![提示](https://static.bdocx.com/images/bang_tan.gif)