最美不过初相见好程序员教你Hadoop的正确打开方式1.docx
- 文档编号:27504480
- 上传时间:2023-07-02
- 格式:DOCX
- 页数:2
- 大小:31.16KB
最美不过初相见好程序员教你Hadoop的正确打开方式1.docx
《最美不过初相见好程序员教你Hadoop的正确打开方式1.docx》由会员分享,可在线阅读,更多相关《最美不过初相见好程序员教你Hadoop的正确打开方式1.docx(2页珍藏版)》请在冰豆网上搜索。
最美不过初相见好程序员教你Hadoop的正确打开方式1
最美不过初相见好程序员教你Hadoop的正确打开方式1
最美不过初相见好程序员教你Hadoop的正确打开方式?
最美不过初相见,我和大数据Hadoop的开始始于好程序员。
经历了上一阶段的学习,对Java的了解逐渐加深,潜移默化中树立了足够大的自信,并投入到Hadoop的学习。
从前辈那里得知这一部分知识是整个大数据培训中的重中之重,因此,更是不敢有一点怠慢。
Hadoop的初识便带着十分的专注。
近期的知识点总结,已足以验证我的努力与付出,以下是我的部分总结,愿和大家一同分享。
方式一、 Hadoop 是什么?
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构, 主要解决,海量数据的存储和海量数据的分析计算问题。
广义上来说,HADOOP 一般是指一个更广泛的概念——HADOOP 生态圈。
方式二、Hadoop 的优势
1 .高可靠性:
Hadoop 假设计算元素和存储会出现故障,它维护多个工作数据副本,在出现故障时能够对失败的节点重新分布处理。
2.高扩展性:
在集群间分配任务数据,可方便的扩展数以千计的节点。
3.高效性:
在 MapReduce 的思想下,Hadoop 是并行工作的,以加快任务处理速度。
4.高容错性:
自动保存多份副本数据,而且能够自动将失败的任务重新分配。
方式三、 Hadoop的 组成
1.HadoopHDFS:
一个高可靠、高吞吐量的分布式文件系统。
2.HadoopMapReduce:
一个分布式的离线并行计算框架。
3.HadoopYARN:
作业调度与集群资源管理的框架。
4.HadoopCommon:
支持其它模块的工具模块(Configuration、RPC、序列化机制、日志操作)。
方式四、YARN 架构概述
1. ResourceManager(rm):
处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度;
2. NodeManager(nm):
单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令;
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 不过 相见 程序员 Hadoop 正确 打开 方式
![提示](https://static.bdocx.com/images/bang_tan.gif)