hadoop121的详细配置汇总Word文档下载推荐.docx
- 文档编号:19235012
- 上传时间:2023-01-04
- 格式:DOCX
- 页数:16
- 大小:775.52KB
hadoop121的详细配置汇总Word文档下载推荐.docx
《hadoop121的详细配置汇总Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《hadoop121的详细配置汇总Word文档下载推荐.docx(16页珍藏版)》请在冰豆网上搜索。
5.2使用tar–zxvffilename【绝对路径或者相对路径,后者需要在apps目录下操作】解压文件sudotar–zxvf/usr/apps/jdk-7u45-linux-i586.tar.gz
文件解压中途中断
查看复制到虚拟机中文件的属性,看看是不是与当前系统中的文件大小一样,不一样就反复复制,知道一样大小为止
5.3配置环境变量sudovi/etc/profile,然后按i是插入,按Esc+:
,再输入wq!
是退出并保存;
也可以使用sudogedit/etc/profile,前提是已经安装gedit,如果没有安装就sudoapt-getinstallgedit
配置文件内容:
exportJAVA_HOME=/usr/apps/jdk1.7.0_45
exportCLASSPATH=$CLASSPATH:
$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
exportPATH=$PATH:
$JAVA_HOME/bin:
$HOME/bin
5.4同时加入ubuntu的sbin的path,因为有的系统的很多命令在sbin下面,不能直接用,配在path中,就可以不用到目录sbin下执行;
/sbin
5.5使配置文件立即生效,如果重启电脑会自动生效的。
输入命令source/etc/profile或者./etc/profile
5.6测试jdk是否正确安装java–version,查看是否是自己配置的jdk的版本
没有输出版本信息(系统已近安装有,现在有两个了,不能识别)
输入:
update-alternatives--install/usr/bin/javajava/usr/apps/jdk1.7.0_45/bin/java300
update-alternatives--install/usr/bin/javacjavac/usr/apps/jdk1.7.0_45/bin/javac300
5.7网络上提供的自动安装方法(不建议,担心找不到安装目录,对后面的配置不利)
sudoapt-getinstallpython-software-properties
sudoadd-apt-repositoryppa:
webupd8team/java
sudoapt-getupdate
sudoapt-getinstalloracle-java6-installer
6ssh的安装
直接执行sudoapt-getinstallopenssh-server
如果行不通就先升级部分软件
sudoapt-getupgrade
sudoapt-getinstallopenssh-server
7创建hadoop用户
sudoaddgrouphadoop
sudoadduser--ingrouphadoophduser
sudogedit/etc/sudoers编辑文件,在rootALL=(ALL:
ALL)ALL行下添加hduserALL=(ALL:
ALL)ALL。
如果不添加这行,hduser将不能执行sudo操作。
8clone系统
为了不破坏模板,都不在原系统上操作了,后面所有的操作都在clone版上做,计划三台机器,也就是clone三个。
clone时需要关闭模版机器(sudoshutdown–Pnow)
9网络配置
9.1使用bridge的方式也是可以的。
只要虚拟机中所有的linux的ip都设置为静态的,使用与主机同一个网段的地址中没有被用过的就行了。
9.2使用nat方式,选用Vnet8对其进行配置,其ip地址可以自定义,同时注意Vnet8的ip地址与其网管不要弄得一样,dns服务器就与本机的设置为一样,备用的设为本机网段的dns地址。
在本地连接中的以太网属性的共享中,将Vnet8设置为其共享对象,同时打上勾。
禁用再启用Vnet8,网络就可用了。
特别注意,要在真实系统的管理中将VMnet的服务打开。
方式一(我使用的,配置后可以访问internet)
9.2.1打开
,选择
配置VMnet8
右键
选择属性
然后选择
进行ip配置
注意DNS需要与自己主机中ip的DNS一样,我的主机的配置为
关键的一步:
将本地连接共享给VMnet8
选择属性,在网络中选中,
,这样可以保证即使nat配置不成功,我们也可以选用bridge的方式上网更新系统或者安装文件。
再选择共享
这样就可以在VMnet8中看到通网了
方式二(可以保证nat配通,没有试过是否可以访问internet)
9.2.2在VMwareWorkstation选择Edit中的VirtualNetworkEditor
现在VMnet8
在NATSettings中配置好网关
9.3在VM中选择setting,设置VirtualMachineSettings,选择NetworkAdapter,设置为nat。
三台clone的机器都需要这个操作。
接在虚拟机中ubuntu上设置静态ip,计划配置为
192.168.1.100master
192.168.1.101date1
192.168.1.102date2
sudogedit/etc/network/interfaces或者sudovi/etc/network/interfaces
下面是master的配置,data1与data2的配置一样,只是address对应自己的就是
在
autolo
ifaceloinetloopback
后面加上
ifaceeth0inetstatic
address192.168.1.100
netmask255.255.255.0
gateway192.168.1.254
dns-nameservers192.168.1.254
autoeth0
重启ubuntu的网卡:
/etc/init.d/networkingrestart最好是重启电脑,做完主机名的修改再重新起动
9.4配置主机名与网络名
修改sudogedit/etc/hostname下的主机名;
分别为master、data1、data2
修改sudogedit/etc/hosts文件
master
data1
data2
9.5重启电脑,查看ip地址,输入命令ifconfig,查看三台clone的系统是否可以互访,例如在master中ping–c4192.168.1.101,如果网络名配置成功,可以直接ping–c4data1
10配置无密码登录(使用前面建立的用户hduser登陆)
10.1在/home/hduser下新建文件mkdir.ssh(shell的工作目录因该是/home/hduser,如果不是,调整方式cd/home/hduser)
10.2echo"
"
>
.ssh/authorized_keys
10.3ssh-keygen(后面全部enter就是了)
10.4cat.ssh/id_rsa.pub>
>
.ssh/authorized_keys
10.5cat~/.ssh/id_rsa.pub>
~/.ssh/authorized_keys
注意:
10.1-10.5需要在每台机器上都执行,下面的步骤只需要在master上执行
10.6上面条命令是把其他slave节点的公钥拷贝到master节点中的authorized_keys,有几个data节点就执行几次(本文只有两个data节点)
ssh192.168.1.101cat~/.ssh/id_rsa.pub>
ssh192.168.1.102cat~/.ssh/id_rsa.pub>
10.7把authorized_keys文件拷贝回每一个节点,同样,有几个data节点就执行几次
scp~/.ssh/authorized_keys192.168.1.101:
~/.ssh/authorized_keys
scp~/.ssh/authorized_keys192.168.1.102:
10.8测试(特别小心,需要在每台机器上都测试是否能与其余的机器进行无密匙登陆,因为第一次是需要密码登陆的,只有用过密码登陆后,以后才不用密码的,不然在后面启动hadoop时,会提示错误,导致livenode节点数为0,也就是说配置不成功)
例如在master上测试data1:
sshdata1(如果网络名没有配通,用ssh192.168.1.101)
11hadoop的安装
11.1自动下载(童谣可以去官网下载好后再放到虚拟机中)
下载Hadoop1.2.1版本(自动下载hadoop)
cd/home/hduser
$wget
$tarzxfhadoop-1.2.1.tar.gz
$mvhadoop-1.2.1hadoop#文件重命名
11.2手动配置(只用在master中配置,配置好再复制就行了)
11.2.1把.tar.gz的JDK文件复制到/home/hduser下面的一个新建的文件中,使用tar–zxvffilename解压文件,mvhadoop-1.2.1hadoop#文件重命名(也可以不重新命名)
11.2.2配置conf/hadoop-env.sh文件,加入JAVA_HOME(找到自己配置JDK的地点)
11.2.3配置/conf/core-site.xml
需要在/home/hduser/hadoop/hadoop下新建目录temp
11.2.4配置/conf/mapred-site.xml
11.2.5配置/conf/hdfs-site.xml
此处的name和data等目录不能提前创建,如果提前创建会出问题。
11.2.6配置masters和slaves主从节点(如果网络名称配置正确,可以使用网络名称的,建议直接使用ip地址,免得带来不必要的麻烦)
11.3把配置好的hadoop文件夹拷贝到其他集群的机器中
scp-r/home/hduser/hadoop192.168.1.101:
/home/hduser/
scp-r/home/hduser/hadoop192.168.1.102:
11.4启动+测试+关闭
11.4.1在初次运行Hadoop的时候需要初始化Hadoop文件系统,命令如下:
cd/home/hduser/hadoop/hadoop
bin/hadoop
namenode
-format
#格式化文件系统
格式成功界面
11.4.2启动所有节点
bin/start-all.sh
11.4.3查看集群的状态
hadoop
dfsadmin
–report
或者http:
//master:
50070/(网络名没有配通请使用http:
//192.168.1.100:
50070/),在界面中能看到livenodes不是0,或者用输入jps查看输出(不建议)(前面的配置是2个data节点,所以livenodes是2)
11.5测试
测试系统吞吐量:
使用10个map任务写10个文件,每个500m。
命令:
hadoopjar$HADOOP_HOME/hadoop-test-*.jarTestDFSIO-write-nrFiles10-fileSize1000
在运行的最后,结果被写入控制台并记录到当前路径TestDFSIO_results.log。
数据默认写入/benchmarks/TestDFSIO目录下
一个节点的:
两个节点的:
节点数由1变为2,系统吞吐量降低了。
可能由于虚拟机带两个节点带不起的原因。
遇到的其他
问题1:
操作一些文件后,有时在启动Ubuntu时停在Checkingbatterystate……,一直进不去
1.在停止的界面按下Ctrl+Alt+F1
2.输入账户名
3.输入密码(输入时请注意,看看小键盘有没有打开)
4.输入:
sudo/etc/init.d/lightdmrestart
遇到问题2:
在解压文件时,或执行一些命令时,要注意在正确的目录下,相应的目录下。
遇到问题3:
要想在windows和linux虚拟机之间共享文件夹,虚拟机得先安装VMwarestools
遇到问题4:
格式化成功,start-all.sh启动出错,提示认证失败
前面在配置ssh的时候已经提到,需要在每台机器上都是用ssh登陆一次其他的节点,因为第一次是需要密码的
遇到问题5:
前面的配置是有两个data节点,在想测试只有一个data节点时(需要将slaves中的节点注释掉一个,如果是用data1,那么在data1中也要做相同的配置),启动出错
删除hadoop(我只是在master上操作的)下新建的temp目录,再新建temp目录,重新格式化
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop121 详细 配置 汇总