hadoop全分布.docx
- 文档编号:3635174
- 上传时间:2022-11-24
- 格式:DOCX
- 页数:13
- 大小:140.26KB
hadoop全分布.docx
《hadoop全分布.docx》由会员分享,可在线阅读,更多相关《hadoop全分布.docx(13页珍藏版)》请在冰豆网上搜索。
hadoop全分布
前期准备
主机名更改
1.1修改主机名
#vim/etc/sysconfig/network
HOSTNAME=master
1.2修改主机名和IP的映射关系(hosts)
#vim/etc/hosts
例如添加:
192.168.111.131master
:
wq!
#保存退出
reboot#重启系统后重新显示
关闭防火墙
serviceiptablesstop(关闭防火墙)
serviceiptablesstatus(查看防火墙状态)
chkconfigiptablesoff(永久关闭防火墙)
关闭selinux
vietc/selinux/config
添加SELINUX=disabled
重启之后命令getenforce
显示disabled
添加用户
useraddHadoop
passwdHadoop
配置java(root权限下)
上传
mkdir/usr/java
exportJAVA_HOME=/usr/java/jdk1.8.0_65
exportJRE_HOME=$JAVA_HOME/jre
exportCLASS_HOME=$JAVA_HOME/lib
exportPATH=$PATH:
$JAVA_HOME/bin
修改hadoop所属/hadoop/hadoop1.2.1
chown–Rhadoop:
hadoop/hadoop
chmod–R755/hadoop
su–hadoop切换到hadoop下
添加hadoop用户环境变量
在hadoop用户下配置环境变量vi.bash_profile
Hadoop1*用户环境变量
添加
HADOOP_HOME=/hadoop/hadoop-1.2.1
PATH=$PATH:
$HADOOP_HOME/bin
刷新
source.bash_profile
hadoop2*用户环境变量
vi.bash_profile
添加
HADOOP_HOME=/usr/hadoop/hadoop-2.6.2
PATH=$PATH:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin
HADOOP_LOG_DIR=$HADOOP_HOME/logs
YARN_LOG_DIR=$HADOOP_LOG_DIR
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
hadoop用户下建立.ssh
*.pub>>(一定要两个>>表示追加)
并建立所有的ssh公钥互信
用户权限下
传输文件scp-r文件夹主机:
目录
用户权限下
hadoop1.*配置
修改配置文件
第一个:
hadoop-env.sh
vimhadoop-env.sh
第二个:
core-site.xml
vimcore-site.xml
//主机名(或IP):
9000
第三个:
hdfs-site.xml(第二个是namenode节点存储hadoop文件系统信息的本地系统路径,可修改
第三个是datanode节点被指定要存储数据的本地系统路径,可修改)
vimhdfs-site.xml
第四个:
mapred-site.xml
vimmapred-site.xml
9001
第五个:
master(单机测试不修改slave即可,成功后在修改)
第六个:
slave
将nemenode和secondarynamenode分离
在core-site.xml中添加
在hdfs-site.xml中添加
50090
50070
Theaddressandthebaseportwherethedfsnamenodewebuiwilllistenon.
Iftheportis0thentheserverwillstartonafreeport.
并修改master文件
jps测试线程
master显示
namenode
secondarynamenode
jobtracker
slave显示
datanode
tasktracker
查看hadoop集群的状态
hadoopdfsadmin-report
hadoop2.*配置
修改配置文件/etc/hadoop
第一个:
hadoop-env.sh
vimhadoop-env.sh
–$JAVA_HOME=/usr/java/jdk1.8.0_65
yarn-env.sh
vimyarn-env.sh
–$JAVA_HOME
第二个:
core-site.xml
vimcore-site.xml
//主机名(或IP):
9000
可选配置
第三个:
hdfs-site.xml
vimhdfs-site.xml
9001
///usr/hadoop/hadoop-2.6.2/hdfs/name
///usr/hadoop/hadoop-2.6.2/hdfs/data
可选配置
50020
50075
50070
50090
///usr/hadoop/hadoop-2.6.2/hdfs/namesecondary
第四个:
mapred-site.xml
vimmapred-site.xml
10020
10021
第五个:
yarn-site.xml
vimyarn-site.xml
8030
8031
8032
8033
第六个:
slave(单机测试不修改slave即可,成功后在修改)
将nemenode和secondarynamenode分离
在hdfs-site.xml中添加
50090
50070
Theaddressandthebaseportwherethedfsnamenodewebuiwilllistenon.
Iftheportis0thentheserverwillstartonafreeport.
///usr/hadoop/hadoop-2.6.2/hdfs/namesecondary
并修改master文件
jps测试线程
master显示
SecondaryNameNode
ResourceManager
NameNode
slave显示
NodeManager
DataNode
查看hadoop集群的状态
hadoopdfsadmin–report
特有问题
打开debug
exportHADOOP_ROOT_LOGGER=DEBUG,console
在执行hadoopfs-ls
ll/lib64/libc.so.6
显示/lib64/libc.so.6->libc-2.12.so
(也可用ldd--version
)
所以版本不同2.12和2.14的区别
解决方案
手动升级libc64到2.14版本
glibc-2.14自己下载放到/mnt/
yuminstallgcc
yuminstallntpdate
yuminstall-ygcc-c++
yuminstallgperf(会在makeinstall时出现错误:
gperf)
mkdir/usr/build
cp-r/mnt/glibc-2.14/usr/build
cd/usr/build
mkdirglibc-2.14-build
cdglibc-2.14-build/
ls
exportCFLAGS="-g-o2"
../glibc-2.14/configure--prefix=/usr
make
file/lib64/libc.so.6
ll/lib64/libc.so.6
makeinstall(后续错误自己排除)
Datanode错误
解决方案
如果机器都能互相ssh
则是因为文件损坏
时间同步
ntp是时间服务器
ntpdate是时间客户端
ntpdate(时间服务器)与windows同步
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 分布