虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf
- 文档编号:3215128
- 上传时间:2022-11-20
- 格式:PDF
- 页数:11
- 大小:1.04MB
虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf
《虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf》由会员分享,可在线阅读,更多相关《虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf(11页珍藏版)》请在冰豆网上搜索。
大数据技术大数据技术平台搭建之平台搭建之HadoopHadoop1.1.Hadoop(Hadoop(伪分布式伪分布式)平台平台搭建搭建详细过程详细过程1.11.1工具工具VMware12CentOS6.4JDK-6u24-Linux-i586.binHadoop-1.1.2.tar.gzScala-2.9.3.tgzSpark-1.4.0-bin-hadoop1.tgzWin10系统环境1.21.2详细搭建过程详细搭建过程1.2.11.2.1安装虚拟机安装虚拟机VMwareVMwareWWorkstationorkstation12Pro12Pro图1.1VMwareWorkstation12Pro软件开始界面1.2.21.2.2在虚拟机环境上安装在虚拟机环境上安装LinuxLinux系统系统
(1)点击创建新的虚拟机按钮选择典型配置安装图1.2新建虚拟机向导
(2)选择Linux镜像文件,开始虚拟安装图1.3选择安装镜像文件(3)为新建的虚拟机命名,并选择安装目录图1.4命名、选择安装目录(4)指定虚拟机磁盘大小图1.5指定磁盘大小(5)设置硬件、网络类型等虚拟机配置图1.6自定义虚拟机硬件(6)点击完成按钮完成虚拟机安装图1.7CentOS_Linux虚拟机系统安装成功1.2.1.2.33配置配置LinuxLinux环境,为安装环境,为安装HadoopHadoop做准备做准备
(1)关闭防火墙执行命令serviceiptablesstatus可以查看防火墙状态执行命令serviceiptablesstop关闭防火墙图1.8关闭防火墙并检验执行命令chkconfigiptablesoff,关闭防火墙某些功能自启动图1.9关闭防火墙自启功能并检验
(2)设置网络连接宿主机(Windows)和客户机(虚拟机中的Linux)采用host-only方式建立网络连接,具体步骤:
右击桌面右上角网络连接图标,选择编辑网络连接,如下图1.10虚拟机网络设置窗口接着点击按钮,设置IPv4地址,注意要和主机IP在同一网段192.168.80.X图1.11设置ip窗口点击Apply完成设置,并在虚拟机终端窗口输入servicenetworkrestart,使设置生效图1.12在终端窗口执行命令使设置生效输入ifconfig查看设置是否生效图1.13在终端窗口检验设置是否生效修改主机网络设置,打开网络共享中心将以下两个适配器的地址设置为192.168.80网段。
图1.14Windows网络适配器窗口检验:
主机(Windows)ping客户机(linux)IP图1.15ping检验窗口(3)修改hostname由于设置好了主机和客户机之间的网络连接,我们可以使用工具PieTTY在Windows环境下就可以快捷登录虚拟机,对其配置进行修改,如下面来修改虚拟机的hostname为hadoop:
图1.16修改hostname指令(4)执行vi/etc/hosts,在打开的文件中添加ip和主机名,绑定Linux虚拟机的主机名和ip图1.17绑定ip指令(5)设置SSH自动登录执行命令ssh-keygentrsa产生秘钥,位于/.ssh文件夹下面图1.18产生加密的秘钥执行命令cp/.ssh/id_rsa.pub/.ssh/authorized_keys图1.19复制到authorized_keys文件下验证,输入sshlocalhost图1.20验证免密登录结果(6)安装JDK拷贝(借助winSCP软件实现主机和虚拟机之间文件共享)安装文件至虚拟机/usr/local目录下,并解压(命令:
./jdk-6u24-linux-i586.bin):
图1.21拷贝并解压JDK安装文件解压完成:
图1.22解压后的/usr/local目录配置JDK环境变量:
执行命令vi/etc/profile打开配置文件加入JAVA_HOMEPATH两个环境变量JAVA_HOMEJAVA_HOME=/usr/local/jdk;PATHPATH=.:
$JAVA_HOME/bin:
$PATH图1.23配置JDK环境变量执行source/etc/profile使配置生效,并检验。
图1.24检验JDK环境变量配置成功1.2.1.2.44安装安装HadoopHadoop执行命令tar-zxvfhadoop-1.1.2.tar.gz进行解压缩hadoop安装包,并执行命令mvhadoop-1.1.2hadoop重命名文件夹图1.25解压缩并重命名hadoop安装文件配置hadoop环境变量,执行vi/etc/profile打开配置文件,并添加HADOOP_HOME和PATH:
图1.26配置hadoop环境变量执行命令source/etc/profile使配置生效。
修改四个hadoop配置文件,位于$HADOOP_HOME/conf目录下(利用winSCP软件直接打开对应文件进行修改),分别是:
hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml如下:
hadoop-env.shexportJAVA_HOME=/usr/local/jdk/exportJAVA_HOME=/usr/local/jdk/图1.27修改hadoop-env.sh配置文件core-site.xmlfs.default.namefs.default.namehdfs:
/hadoop0:
9000hdfs:
/hadoop0:
9000changeyourownhostnamechangeyourownhostnamehadoop.tmp.dirhadoop.tmp.dir/usr/local/hadoop/tmp/usr/local/hadoop/tmp图1.28修改core-site.xml配置文件hdfs-site.xmldfs.replicationdfs.replication11dfs.permissionsdfs.permissionsfalsefalse图1.29修改hdfs-site.xml配置文件mapred-site.xmlmapred.job.trackermapred.job.trackerhadoop0:
9001hadoop0:
9001changeyourownhostname图1.30修改mapred-site.xml配置文件接下来,对hadoop进行格式化,执行命令:
hadoopnamenode-format图1.31hadoop格式化成功执行命令start-all.sh启动hadoop图1.32完全启动hadoop,并检验java进程(5个)注:
注:
hadoophadoop启动的启动的几种几种方式方式start-all.sh启动所有的Hadoop守护进程。
(包括NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTrack)stop-all.sh停止所有的Hadoop守护进程。
start-dfs.sh启动HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNodestop-dfs.sh停止HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNodehadoop-daemons.shstartnamenode单独启动NameNode守护进程hadoop-daemons.shstopnamenode单独停止NameNode守护进程hadoop-daemons.shstartdatanode单独启动DataNode守护进程hadoop-daemons.shstopdatanode单独停止DataNode守护进程hadoop-daemons.shstartsecondarynamenode单独启动SecondaryNameNode守护进程hadoop-daemons.shstopsecondarynamenode单独停止SecondaryNameNode守护进程start-mapred.sh启动HadoopMapReduce守护进程JobTracker和TaskTrackerstop-mapred.sh停止HadoopMapReduce守护进程JobTracker和TaskTrackerhadoop-daemons.shstartjobtracker单独启动JobTracker守护进程hadoop-daemons.shstopjobtracker单独停止JobTracker守护进程hadoop-daemons.shstarttasktracker单独启动TaskTracker守护进程hadoop-daemons.shstoptasktracker单独启动TaskTracker守护进程至此,hadoop伪分布式平台就已经搭建完成了,我们可以在web浏览器查看访问该平台下的服务器节点:
图1.33浏览器访问NameNodewebservices节点图1.34浏览器访问MapReducewebservices节点
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 虚拟机 环境 Hadoop 分布式 平台 搭建 详细 过程