Hadoop伪分布安装配置.docx
- 文档编号:25475956
- 上传时间:2023-06-09
- 格式:DOCX
- 页数:10
- 大小:1.11MB
Hadoop伪分布安装配置.docx
《Hadoop伪分布安装配置.docx》由会员分享,可在线阅读,更多相关《Hadoop伪分布安装配置.docx(10页珍藏版)》请在冰豆网上搜索。
Hadoop伪分布安装配置
西北师范大学计算机科学与工程学院学生实验报告
学号:
2014710301292016年10月18日
系别
计算机
专业
计算机
班级
14卓越
姓名
吴铠年
课程名称
云计算技术
课程类型
实验课
学时数
实验名称
Hadoop伪分布安装配置
实验目的和要求:
1.掌握Hadoop安装过程
2.理解Hadoop工作原理
3.测试Hadoop系统的可扩展性
4.测试Hadoop系统的稳定性
5.测试Hadoop系统的可靠性
实验内容:
一.Hadoop伪分布模式安装配置
1.环境准备
JDKforLinux1.8.x
Hadoop2.7.3
2.环境配置
<1>将JDK和Hadoop解压到/usr/local下
<2>配置Hadoop的Java环境
修改hadoop安装路径下,etc/hadoop/hadoop-env.sh
exportJAVA_HOME=/usr/java/latest
<3>编辑etc/hadoop/core-site.xml
//localhost:
9000
<4>编辑etc/hadoop/hdfs-site.xml
<5>配置ssh
$sudoapt-getinstallssh
$sudoapt-getinstallrsync
$sshlocalhost
$ssh-keygen-trsa-P‘’-f~/.ssh/id_rsa
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$chmod0600~/.ssh/authorized_keys
<6>格式化HDFS
$bin/hdfsnamenode–format
$sbin/start-dfs.sh
3.配置结果
配置成功:
启动:
进入实验目录:
二.HDFSShell命令使用
1.hdfsdfs-ls/
hdfsdfs-lsr///递进
2.复制文件到HDFS:
hdfsdfs-copyFromLocal
3.复制文件到本地
hdfsdfs-copyToLocal[-ignorecrc][-crc]URI
4.统计文件(夹)个数
hdfsdfs-count[-q]
5.下载文件到本地
hdfsdfs-get[-ignorecrc][-crc]
6.上传文件到本地
hdfsdfs-put
7.剪切
dfs-moveFromLocal
hdfsdfs-moveToLocal[-crc]
可以看到,本地文件不复存在。
8.创建文件夹
hdfsdfs-mkdir
9.删除文件
hdfsdfs-rm[-skipTrash]URI[URI...]
10.删除空白文件夹
hdfsdfs-rmr[-skipTrash]URI[URI...]
11.HDFS文件系统间文件复制
hdfsdfs-cp[-f]URI[URI...]
实验总结:
通过本次实验,学会了在Linux环境下Hadoop的配置与安装与配置,熟悉了HDFSShell命令使用,对Hadoop及HDSF有了更深刻的认识。
成绩
批阅教师
批阅日期
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hadoop 分布 安装 配置
![提示](https://static.bdocx.com/images/bang_tan.gif)