hadoop全分布Word格式.docx
- 文档编号:16540086
- 上传时间:2022-11-24
- 格式:DOCX
- 页数:13
- 大小:140.26KB
hadoop全分布Word格式.docx
《hadoop全分布Word格式.docx》由会员分享,可在线阅读,更多相关《hadoop全分布Word格式.docx(13页珍藏版)》请在冰豆网上搜索。
useraddHadoop
passwdHadoop
配置java(root权限下)
上传
mkdir/usr/java
exportJAVA_HOME=/usr/java/jdk1.8.0_65
exportJRE_HOME=$JAVA_HOME/jre
exportCLASS_HOME=$JAVA_HOME/lib
exportPATH=$PATH:
$JAVA_HOME/bin
修改hadoop所属/hadoop/hadoop1.2.1
chown–Rhadoop:
hadoop/hadoop
chmod–R755/hadoop
su–hadoop切换到hadoop下
添加hadoop用户环境变量
在hadoop用户下配置环境变量vi.bash_profile
Hadoop1*用户环境变量
添加
HADOOP_HOME=/hadoop/hadoop-1.2.1
PATH=$PATH:
$HADOOP_HOME/bin
刷新
source.bash_profile
hadoop2*用户环境变量
vi.bash_profile
HADOOP_HOME=/usr/hadoop/hadoop-2.6.2
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin
HADOOP_LOG_DIR=$HADOOP_HOME/logs
YARN_LOG_DIR=$HADOOP_LOG_DIR
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
HADOOP_OPTS="
-Djava.library.path=$HADOOP_HOME/lib"
hadoop用户下建立.ssh
*.pub>
>
(一定要两个>
表示追加)
并建立所有的ssh公钥互信
用户权限下
传输文件scp-r文件夹主机:
目录
hadoop1.*配置
修改配置文件
第一个:
hadoop-env.sh
vimhadoop-env.sh
第二个:
core-site.xml
vimcore-site.xml
<
configuration>
<
property>
<
name>
fs.default.name<
/name>
value>
hdfs:
//主机名(或IP):
9000<
/value>
/property>
hadoop.tmp.dir<
(hadoop绝对路径)/tmp<
/configuration>
第三个:
hdfs-site.xml(第二个是namenode节点存储hadoop文件系统信息的本地系统路径,可修改
第三个是datanode节点被指定要存储数据的本地系统路径,可修改)
vimhdfs-site.xml
dfs.replication<
3<
dfs.name.dir<
(hadoop.tmp.dir可自己更改,但要写绝对路径,并赋予写的权限)
dfs.data.dir<
第四个:
mapred-site.xml
vimmapred-site.xml
mapred.job.tracker<
(master主机名或jobteacker的主机名):
9001<
第五个:
master(单机测试不修改slave即可,成功后在修改)
第六个:
slave
将nemenode和secondarynamenode分离
在core-site.xml中添加
fs.checkpoint.period<
3600<
description>
同步时间<
/description>
fs.checkpoint.size<
67108864<
块大小<
fs.checkpoint.dir<
/……………./hdfs/namesecondary<
secondarynamenode所在目录<
在hdfs-site.xml中添加
dfs.secondary.http.address<
(secondarynamenode的主机名):
50090<
dfs.http.address<
(namenode的主机名):
50070<
Theaddressandthebaseportwherethedfsnamenodewebuiwilllistenon.
Iftheportis0thentheserverwillstartonafreeport.
并修改master文件
jps测试线程
master显示
namenode
secondarynamenode
jobtracker
slave显示
datanode
tasktracker
查看hadoop集群的状态
hadoopdfsadmin-report
hadoop2.*配置
修改配置文件/etc/hadoop
–$JAVA_HOME=/usr/java/jdk1.8.0_65
yarn-env.sh
vimyarn-env.sh
–$JAVA_HOME
第二个:
fs.defaultFS<
io.file.buffer.size<
131072<
可选配置
hadoop.proxyuser.hduser.hosts<
*<
hadoop.proxyuser.hduser.groups<
第三个:
hdfs-site.xml
2<
dfs.webhdfs.enabled<
true<
dfs.namenode.secondary.http-address<
(mastersecondary主机名):
dfs.namenode.name.dir<
file:
///usr/hadoop/hadoop-2.6.2/hdfs/name<
dfs.datanode.data.dir<
///usr/hadoop/hadoop-2.6.2/hdfs/data<
*dfs.datanode.ipc.address<
0.0.0.0:
50020<
*dfs.datanode.http.address<
50075<
dfs.namenode.http-address<
dfs.namenode.checkpoint.dir<
///usr/hadoop/hadoop-2.6.2/hdfs/namesecondary<
dfs.namenode.checkpoint.period<
第四个:
mapreduce.framework.name<
yarn<
mapreduce.jobhistory.address<
10020<
maoreduce.jobhistory.webapp.address<
10021<
第五个:
yarn-site.xml
vimyarn-site.xml
yarn.nodemanager.aux-services<
mapreduce_shuffle<
yarn.nodemanager.aux-services.mapreduce.shuffle.class<
org.apache.hadoop.mapred.ShuffleHandler<
yarn.resourcemanager.scheduler.address<
8030<
yarn.resourcemanager.resource-tracker.address<
8031<
yarn.resourcemanager.address<
8032<
yarn.resourcemanager.admin.address<
8033<
第六个:
slave(单机测试不修改slave即可,成功后在修改)
SecondaryNameNode
ResourceManager
NameNode
NodeManager
DataNode
hadoopdfsadmin–report
特有问题
打开debug
exportHADOOP_ROOT_LOGGER=DEBUG,console
在执行hadoopfs-ls
ll/lib64/libc.so.6
显示/lib64/libc.so.6->
libc-2.12.so
(也可用ldd--version
)
所以版本不同2.12和2.14的区别
解决方案
手动升级libc64到2.14版本
glibc-2.14自己下载放到/mnt/
yuminstallgcc
yuminstallntpdate
yuminstall-ygcc-c++
yuminstallgperf(会在makeinstall时出现错误:
gperf)
mkdir/usr/build
cp-r/mnt/glibc-2.14/usr/build
cd/usr/build
mkdirglibc-2.14-build
cdglibc-2.14-build/
ls
exportCFLAGS="
-g-o2"
../glibc-2.14/configure--prefix=/usr
make
file/lib64/libc.so.6
makeinstall(后续错误自己排除)
Datanode错误
如果机器都能互相ssh
则是因为文件损坏
时间同步
ntp是时间服务器
ntpdate是时间客户端
ntpdate(时间服务器)与windows同步
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 分布