hadoop单机环境运行wordcount实例.docx
- 文档编号:12472501
- 上传时间:2023-04-19
- 格式:DOCX
- 页数:5
- 大小:321.33KB
hadoop单机环境运行wordcount实例.docx
《hadoop单机环境运行wordcount实例.docx》由会员分享,可在线阅读,更多相关《hadoop单机环境运行wordcount实例.docx(5页珍藏版)》请在冰豆网上搜索。
hadoop单机环境运行wordcount实例
hadoop单机运行实例
2017年3月22日
11:
09
4.26日
0.添加环境变量。
1.创建输入文件夹。
2.创建数据文件。
3.运行实例。
4.查看实例运行结果。
5.完成实验文档的编写。
0.添加环境变量
vi/etc/profile添加如下内容:
保存退出。
运行source/etc/profile使修改生效
1.创建输入文件夹。
1.1进入hadoop-2.2.0/sbin目录。
查看hadoop命令
在sbin目录下运行hdfsdfs-mkdir/input。
2.创建wordcount实例目录和数据文件。
2.1我们需要找到wordcount实例的位置,首先需要找到hadoop-2.2.0文件夹,然后依照下面路径:
/tmp/hadoop-2.2.0/share/hadoop/mapreduce会看到如下图:
2.2创建文件worcount并输入内容。
vi/usr/wordcount
输入以下内容
hellohadoop
hellomaster
helloslave
helloyarn
whatisyarn
2.3将本地文件上传到HDFS中
查看上传后的文件情况,执行如下命令
hdfsdfs-ls/input
查看上传文件的内容:
3.运行实例。
hadoopjar/tmp/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount/input/wordcount/output
output是结果输出目录。
运行过程如下:
4.查看运行结果。
4.1在运行的过程中会自动创建output输出目录,为了存放运行输出结果文件。
使用hdfsdfs-ls/output查看输出目录
4.2使用hdfsdfs-catpart-r-00000查看输出文件
4.3可以利用web界面监控和获取yarn的作业信息
http:
//syn:
8088
5.完成实验文档的编写。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 单机 环境 运行 wordcount 实例