eclipse 搭建hadoop运行环境.docx
- 文档编号:11536968
- 上传时间:2023-03-19
- 格式:DOCX
- 页数:12
- 大小:672.68KB
eclipse 搭建hadoop运行环境.docx
《eclipse 搭建hadoop运行环境.docx》由会员分享,可在线阅读,更多相关《eclipse 搭建hadoop运行环境.docx(12页珍藏版)》请在冰豆网上搜索。
eclipse搭建hadoop运行环境
一.基本运行框架
二.对上述项目做如下修改
1.文件夹改为HadoopMR
2..projectname改为HadoopMR
3.Pom.xml
4.用eclipse导入本项目
5.修改项目tools.jar的引用目录
6.重新命名package
三.添加hadoop的依赖库
四.
五.添加hadoopeclipse插件
将其放置D:
\eclipse-jee-luna-SR2-win32-x86_64\eclipse\plugins下,然后重启eclipse
六.配置hadoop目录
七.配置hadoop开发环境
将其解压放置hadoopbin目录下面
设置hadoop系统环境变量
此处需要重启系统。
。
。
。
。
。
如果不想重启添加
将远程机器的hadoop配置文件拷贝下来,放置本机上
注意此处需要将lzo相关的配置删除,不然会在上传jar时候报错
修改winhosts文件
八.尝试运行wordcount
利用maven打包
添加运行参数
九.运行结果
参数跳过maven打包环节,使用ejob进行打包,实现自动化打包,且可以将jar容量降低
因此附上使用ejob后代码
如果想运行hadoopjar来运行jar那么得移除初始化的过程等操作
因为hadoopjar的指令会解压jar,此外还会说类找不到等错误
因此修改
并用java自带的工具进行打包
下面步骤的要求是仅仅打包一个类(WorkCount.java)
运行ok,上面介绍了三种方案:
一个是利用maven打包,用eclipse提交运行。
一个是用ejob简单打包用eclipse提交运行。
一个是直接打包在hadoop集群上运行。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- eclipse 搭建hadoop运行环境 搭建 hadoop 运行 环境