Windows环境搭建Haddop281Word格式文档下载.docx
- 文档编号:19334818
- 上传时间:2023-01-05
- 格式:DOCX
- 页数:10
- 大小:662.75KB
Windows环境搭建Haddop281Word格式文档下载.docx
《Windows环境搭建Haddop281Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《Windows环境搭建Haddop281Word格式文档下载.docx(10页珍藏版)》请在冰豆网上搜索。
http:
//hadoop.apache.org/releases.html
Hadoop2.8.1下载地址:
//www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz
如下图:
点击任何一个链接下载即可。
2.JDK下载jdk-8u121-windows-x64,暂时不提供,网上自己搜索
3.HADOOP在Windows上运行的包
二、环境配置
1.Hadoop2.8.1下载解压到本地,改名为HADOOP,解压后的机构如下图
2.环境变量配置HADOOP_HOME=D:
\hadoop;
3.修改PATH,增加HADOOP的Bin,为DOS窗口执行命令
4.安装jdk-8u121-windows-x64,安装位置不要选择默认C:
\ProgramFiles\Java,因为路径之间有空格,hadoop启动的时候会报错,我安装在了D:
\app\JAVA,配置JAVA_HOME.
5.也可以修改:
D:
\hadoop\etc\hadoop目录下的haoop-env.cmd
6.将下载的压缩包hadoop-utils解压,拷贝hadoop.dll,winutils到D:
\hadoop\bin,hadoop.dll等文件不要与hadoop冲突。
为了不出现依赖性错误可以将hadoop.dll放到c:
/windows/System32下一份。
7.hadoop环境测试,起一个cmd窗口,输入java–version,hadoopversion,显示如下:
8.Hadoop配置文件修改,打开hadoop/etc/hadoop下文件core-site.xml/hdfs-site.xml/mapred-site.xml/yarn-site.xml,修改
Core-site.xml
<
configuration>
property>
name>
fs.defaultFS<
/name>
value>
hdfs:
//localhost:
9000<
/value>
/property>
/configuration>
hdfs-site.xml:
dfs.replication<
1<
dfs.namenode.name.dir<
file:
/hadoop/hadoop2017/data/dfs/namenode<
dfs.datanode.data.dir<
/hadoop/hadoop2017/data/dfs/datanode<
mapred-site.xml:
没有,可以把mapred-site.xml.template重命名为mapred-site.xml
mapreduce.framework.name<
yarn<
yarn-site.xml:
yarn.nodemanager.aux-services<
mapreduce_shuffle<
yarn.nodemanager.aux-services.mapreduce.shuffle.class<
org.apache.hadoop.mapred.ShuffleHandler<
9.格式化系统文件
hadoop/bin下执行
三、启动
1.切换路径的hadoop/sbin下执行start-dfs启动hadoop
2.启动后会弹出hadoopnamenode和hadoopdatenode
3.IE访问:
50070
4.也可以在启动start-all命令
5.除了启动了dfs也启动了yarn窗口,访问http:
8088可查看资源、节点管理
四、HDFS命令操作操作
1、创建目录:
用于输入和输出,linux上是/user/用户名/xxwindows上可能没具体要求,我创建也是按照liunx目录方式的
2、hadoop执行Mapreduce例子
\hadoop\bin>
hadoopjarD:
\hadoop\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.8.1.jargrep/user/yinxy/input/user/yinxy/output'
dfs[a-z.]+'
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Windows 环境 搭建 Haddop281