hadoop 命令手册.docx
- 文档编号:4903230
- 上传时间:2022-12-11
- 格式:DOCX
- 页数:9
- 大小:18.84KB
hadoop 命令手册.docx
《hadoop 命令手册.docx》由会员分享,可在线阅读,更多相关《hadoop 命令手册.docx(9页珍藏版)》请在冰豆网上搜索。
hadoop命令手册
hadoop命令手册
∙概述
o常规选项
∙用户命令
oarchive
odistcp
ofs
ofsck
ojar
ojob
opipes
oversion
oCLASSNAME
∙管理命令
obalancer
odaemonlog
odatanode
odfsadmin
ojobtracker
onamenode
osecondarynamenode
otasktracker
概述
所有的hadoop命令均由bin/hadoop脚本引发。
不指定参数运行hadoop脚本会打印所有命令的描述。
用法:
hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS]
Hadoop有一个选项解析框架用于解析一般的选项和运行类。
命令选项
描述
--configconfdir
覆盖缺省配置目录。
缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS
多个命令都支持的通用选项。
COMMAND
命令选项S
各种各样的命令和它们的选项会在下面提到。
这些命令被分为用户命令管理命令两组。
常规选项
下面的选项被dfsadmin,fs,fsck和job支持。
应用程序要实现Tool来支持常规选项。
GENERIC_OPTION
描述
-conf
指定应用程序的配置文件。
-D
为指定property指定值value。
-fs port> 指定namenode。 -jt port> 指定jobtracker。 只适用于job。 -files<逗号分隔的文件列表> 指定要拷贝到mapreduce集群的文件的逗号分隔的列表。 只适用于job。 -libjars<逗号分隔的jar列表> 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job。 -archives<逗号分隔的archive列表> 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。 用户命令 hadoop集群用户的常用命令。 archive 创建一个hadoop档案文件。 参考HadoopArchives. 用法: hadooparchive-archiveNameNAME 命令选项 描述 -archiveNameNAME 要创建的档案的名字。 src 文件系统的路径名,和通常含正则表达的一样。 dest 保存档案文件的目标目录。 distcp 递归地拷贝文件或目录。 参考DistCp指南以获取等多信息。 用法: hadoopdistcp 命令选项 描述 srcurl 源Url desturl 目标Url fs 用法: hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS] 运行一个常规的文件系统客户端。 各种命令选项可以参考HDFSShell指南。 fsck 运行HDFS文件系统检查工具。 参考Fsck了解更多。 用法: hadoopfsck[GENERIC_OPTIONS] 命令选项 描述 检查的起始目录。 -move 移动受损文件到/lost+found -delete 删除受损文件。 -openforwrite 打印出写打开的文件。 -files 打印出正被检查的文件。 -blocks 打印出块信息报告。 -locations 打印出每个块的位置信息。 -racks 打印出data-node的网络拓扑结构。 jar 运行jar文件。 用户可以把他们的MapReduce代码捆绑到jar文件中,使用这个命令执行。 用法: hadoopjar streaming作业是通过这个命令执行的。 参考Streamingexamples中的例子。 Wordcount例子也是通过jar命令运行的。 参考Wordcountexample。 job 用于和MapReduce作业交互和命令。 用法: hadoopjob[GENERIC_OPTIONS][-submit 命令选项 描述 -submit 提交作业 -status 打印map和reduce完成百分比和所有计数器。 -counter 打印计数器的值。 -kill 杀死指定作业。 -events 打印给定范围内jobtracker接收到的事件细节。 -history[all] -history 更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。 -list[all] -listall显示所有作业。 -list只显示将要完成的作业。 -kill-task 杀死任务。 被杀死的任务不会不利于失败尝试。 -fail-task 使任务失败。 被失败的任务会对失败尝试不利。 pipes 运行pipes作业。 用法: hadooppipes[-conf 命令选项 描述 -conf 作业的配置 -jobconf 增加/覆盖作业的配置项 -input 输入目录 -output 输出目录 -jar Jar文件名 -inputformat InputFormat类 -map JavaMap类 -partitioner JavaPartitioner -reduce JavaReduce类 -writer JavaRecordWriter -program 可执行程序的URI -reduces reduce个数 version 打印版本信息。 用法: hadoopversion CLASSNAME hadoop脚本可用于调调用任何类。 用法: hadoopCLASSNAME 运行名字为CLASSNAME的类。 管理命令 hadoop集群管理员常用的命令。 balancer 运行集群平衡工具。 管理员可以简单的按Ctrl-C来停止平衡过程。 参考Rebalancer了解更多。 用法: hadoopbalancer[-threshold 命令选项 描述 -threshold 磁盘容量的百分比。 这会覆盖缺省的阀值。 daemonlog 获取或设置每个守护进程的日志级别。 用法: hadoopdaemonlog-getlevel port> 用法: hadoopdaemonlog-setlevel port> 命令选项 描述 -getlevel port> 打印运行在 port>的守护进程的日志级别。 这个命令内部会连接http: // port>/logLevel? log= -setlevel port> 设置运行在 port>的守护进程的日志级别。 这个命令内部会连接http: // port>/logLevel? log= datanode 运行一个HDFS的datanode。 用法: hadoopdatanode[-rollback] 命令选项 描述 -rollback 将datanode回滚到前一个版本。 这需要在停止datanode,分发老的hadoop版本之后使用。 dfsadmin 运行一个HDFS的dfsadmin客户端。 用法: hadoopdfsadmin[GENERIC_OPTIONS][-report][-safemodeenter|leave|get|wait][-refreshNodes][-finalizeUpgrade][-upgradeProgressstatus|details|force][-metasavefilename][-setQuota 命令选项 描述 -report 报告文件系统的基本信息和统计信息。 -safemodeenter|leave|get|wait 安全模式维护命令。 安全模式是Namenode的一个状态,这种状态下,Namenode 1.不接受对名字空间的更改(只读) 2.不复制或删除块 Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。 安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。 -refreshNodes 重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。 -finalizeUpgrade 终结HDFS的升级操作。 Datanode删除前一个版本的工作目录,之后Namenode也这样做。 这个操作完结整个升级过程。 -upgradeProgressstatus|details|force 请求当前系统的升级状态,状态的细节,或者强制升级操作进行。 -metasavefilename 保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的 对于下面的每一项, 1.Namenode收到的Datanode的心跳信号 2.等待被复制的块 3.正在被复制的块 4.等待被删除的块 -setQuota 为每个目录 目录配额是一个长整型整数,强制限定了目录树下的名字个数。 命令会在这个目录上工作良好,以下情况会报错: 1.N不是一个正整数,或者 2.用户不是管理员,或者 3.这个目录不存在或是文件,或者 4.目录会马上超出新设定的配额。 -clrQuota 为每一个目录 命令会在这个目录上工作良好,以下情况会报错: 1.这个目录不存在或是文件,或者 2.用户不是管理员。 如果目录原来没有配额不会报错。 -help[cmd] 显示给定命令的帮助信息,如果没有给定命令,则显示所有命令的帮助信息。 jobtracker 运行MapReducejobTracker节点。 用法: hadoopjobtracker namenode 运行namenode。 有关升级,回滚,升级终结的更多信息请参考升级和回滚。 用法: hadoopnamenode[-format]|[-upgrade]|[-rollback]|[-finalize]|[-importCheckpoint] 命令选项 描述 -format 格式化namenode。 它启动namenode,格式化namenode,之后关闭namenode。 -upgrade 分发新版本的hadoop后,namenode应以upgrade选项启动。 -rollback 将namenode回滚到前一版本。 这个选项要在停止集群,分发老的hadoop版本后使用。 -finalize finalize会删除文件系统的前一状态。 最近的升级会被持久化,rollback选项将再不可用,升级终结操作之后,它会停掉namenode。 -importCheckpoint 从检查点目录装载镜像并保存到当前检查点目录,检查点目录由fs.checkpoint.dir指定。 secondarynamenode 运行HDFS的secondarynamenode。 参考SecondaryNamenode了解更多。 用法: hadoopsecondarynamenode[-checkpoint[force]]|[-geteditsize] 命令选项 描述 -checkpoint[force] 如果EditLog的大小>=fs.checkpoint.size,启动Secondarynamenode的检查点过程。 如果使用了-force,将不考虑EditLog的大小。 -geteditsize 打印EditLog大小。 tasktracker 运行MapReduce的taskTracker节点。 用法: hadooptasktracker
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 命令手册 命令 手册
![提示](https://static.bdocx.com/images/bang_tan.gif)