CDHHDPMAPRDKH星环组件比较Word文档下载推荐.docx

CDHHDPMAPRDKH星环组件比较Word文档下载推荐.docx

《CDHHDPMAPRDKH星环组件比较Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《CDHHDPMAPRDKH星环组件比较Word文档下载推荐.docx（7页珍藏版）》请在冰豆网上搜索。

2

HBase

3

Zookeeper

4

Spark

5

Hive

6

Hue

7

Impala

8

Sqoop

9

Flume

10

Oozie

11

Solr

12

Isilon

13

KVindexer

14

ClouderaManager

15

kafka

16

Storm

17

Elasticsearch

18

DK-ESSQL

19

DK-NLP

20

DK-SPIDER

21

DKM

22

DK-DMYSQL

23

Falcon

24

Knox

25

Phoenix

26

Pig

27

Ranger

28

Slider

29

Tez

30

Drill

31

MapR-DB

32

MapRStreams

33

Mahout

34

HttpFS

35

Sentry

36

Sahara

37

Myriad

38

TranswarpInceptor

39

TranswarpHyperbase

40

TranswarpStream

41

Ambari

二、组件简介：

1、Hadoop

简介：

集群基础组件，分为存储（HDFS）和计算（Mapreduce）两大部分。

apache社区开源。

技术来源于Google的GFS和Mapreduce。

2、Hbase

键-值非关系型数据库，apache社区开源。

是Google的Bigtable一个开源的实现。

3、Zookeeper

集群协调组件，已开源。

是Google的Chubby一个开源的实现。

4、Spark

内存计算框架，伯克利首先提出，现已开源。

5、Hive

基于HDFS的SQL工具，facebook开发，后开源。

6、Hue

图形化集群工具，cloudera开发，后开源。

7、Impala

基于HDFS的SQL工具，cloudera开发，后开源。

8、Sqoop

用于关系型数据库与NOSQL数据库之间的数据导入导出。

Cloudera开发，已开源。

9、Flume

用于数据流的导入，Cloudera开发，已开源。

10、Oozie

工作流系统，用于提交、监控集群作业。

11、Solr

基于Lucene的全文搜索服务器。

已开源。

12、Isilon

基于OneFs操作系统的存储产品，美国赛龙公司开发，后属于EMC，一种集群存储方案。

13、K-Vstoreindexer

为HBase到solr的索引中间件，为NGDATA公司开发，已开源。

14、ClouderaManager

CDH集群安装管理工具。

Cloudera开发。

15、kafka

消息队列组件。

已经开源。

16、Storm

流数据处理组件。

17、Elasticsearch

18、ESSQL

基于Elasticsearch的SQL工具，大快开发。

19、DK-NLP

自然语言处理组件。

大快开发，已开源。

20、DK-SPIDER

分布式爬虫组件。

大快开发。

21、DKM

集群安装管理工具。

22、DK-DMYSQL

分布式MYSQL组件，大快改写。

23、ApacheFalcon

Falcon是一个面向Hadoop的、新的数据处理和管理平台,设计用于数据移动、数据管道协调、生命周期管理和数据发现。

24、ApacheKnox

Apacheknox是一个访问hadoop集群的restapi网关，它为所有rest访问提供了一个简单的访问接口点。

25、ApachePhoenix

Phoenix是HBase的SQL驱动。

26、ApachePig

Pig定义了数据流语言PigLatin，它是MapReduce编程抽象。

27、ApacheRanger

ranger是一个hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的hadoop生态圈的所有数据权限。

28、ApacheSlider

Slider是一个YARN应用，用于发布已有的分布式应用到YARN上，并对这些应用进行监控以及根据需要调整规模。

29、Tez

Tez支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分形成一个大的DAG作业。

30、ApacheDrill

ApacheDrill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSISQL兼容语法。

31、MapR-DB

MapR开发

32、MapRStreams

33、Mahout

机器学习算法库，现已停止更新。

34、HttpFS

Cloudera开发的基于http协议的HDFS操作组件。

35、Sentry

ApacheSentry是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。

36、Sahara

Sahara旨在为用户提供简单部署Hadoop集群的能力，提供在OpenStack上快速配置和部署Hadoop集群的能力。

37、Myriad0.1.0

Myriad是一个Mesos框架用来动态扩展YARN集群，并支持运行Hadoop应用，如Spark和非Hadoop应用，如Node.js、Memcached、RoR等。

38、TranswarpInceptor

由ApacheSpark改写，TranswarpInceptor交互式分析引擎提供高速SQL分析和R语言数据挖掘能力，可帮助企业建立高速可扩展的数据仓库和/或数据集市，结合多种报表工具提供交互式数据分析、即时报表和可视化能力。

星环开发。

39、TranswarpHyperbase

TranswarpHyperbase实时数据库是建立在ApacheHBase基础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。

40、TranswarpStream

TranswarpStream实时流处理引擎提供了强大的流计算表达能力，支持复杂的应用逻辑，生产系统的消息通过实时消息队列进入计算集群，在集群内以流水线方式被依次处理，完成数据转换、特征提取、策略检查、分析告警等复杂服务计算，最终输出到Hyperbase等存储集群，实时生成告警页面、实时展示页面等。

41、ApacheAmbari

Ambari创建、管理、监视Hadoop的集群，是为了让Hadoop以及相关的大数据软件更容易使用的一个web工具。