hadoop中使用MapReduce编程实例.docx
- 文档编号:2266064
- 上传时间:2022-10-28
- 格式:DOCX
- 页数:50
- 大小:2.01MB
hadoop中使用MapReduce编程实例.docx
《hadoop中使用MapReduce编程实例.docx》由会员分享,可在线阅读,更多相关《hadoop中使用MapReduce编程实例.docx(50页珍藏版)》请在冰豆网上搜索。
hadoop中使用MapReduce编程实例
hadoop中使用MapReduce编程实例
从网上搜到的一篇hadoop的编程实例,对于初学者真是帮助太大了,看过以后对MapReduce编程基本有了大概的了解。
看了以后受益匪浅啊,赶紧保存起来。
1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。
统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。
下面就进入这个实例的MapReduce程序设计。
1.1实例描述
对数据文件中的数据进行去重。
数据文件中的每行都是一个数据。
样例输入如下所示:
1)file1:
2012-3-1a
2012-3-2b
2012-3-3c
2012-3-4d
2012-3-5a
2012-3-6b
2012-3-7c
2012-3-3c
2)file2:
2012-3-1b
2012-3-2a
2012-3-3b
2012-3-4d
2012-3-5a
2012-3-6c
2012-3-7d
2012-3-3c
样例输出如下所示:
2012-3-1a
2012-3-1b
2012-3-2a
2012-3-2b
2012-3-3b
2012-3-3c
2012-3-4d
2012-3-5a
2012-3-6b
2012-3-6c
2012-3-7c
2012-3-7d
1.2设计思路
数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。
我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器,无论这个数据出现多少次,只要在最终结果中输出一次就可以了。
具体就是reduce的输入应该以数据作为key,而对value-list则没有要求。
当reduce接收到一个
在MapReduce流程中,map的输出
所以从设计好的reduce输入可以反推出map的输出key应为数据,value任意。
继续反推,map输出数据的key为数据,而在这个实例中每个数据代表输入文件中的一行内容,所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后,将value设置为key,并直接输出(输出中的value任意)。
map中的结果经过shuffle过程之后交给reduce。
reduce阶段不会管每个key有多少个value,它直接将输入的key复制为输出的key,并输出就可以了(输出中的value被设置成空了)。
1.3程序代码
程序代码如下所示:
packagecom.hebut.mr;
importjava.io.IOException;
importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.fs.Path;
importorg.apache.hadoop.io.IntWritable;
importorg.apache.hadoop.io.Text;
importorg.apache.hadoop.mapreduce.Job;
importorg.apache.hadoop.mapreduce.Mapper;
importorg.apache.hadoop.mapreduce.Reducer;
importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;
importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
importorg.apache.hadoop.util.GenericOptionsParser;
publicclassDedup{
//map将输入中的value复制到输出数据的key上,并直接输出
publicstaticclassMapextendsMapper
privatestaticTextline=newText();//每行数据
//实现map函数
publicvoidmap(Objectkey,Textvalue,Contextcontext)
throwsIOException,InterruptedException{
line=value;
context.write(line,newText(""));
}
}
//reduce将输入中的key复制到输出数据的key上,并直接输出
publicstaticclassReduceextendsReducer
//实现reduce函数
publicvoidreduce(Textkey,Iterable
throwsIOException,InterruptedException{
context.write(key,newText(""));
}
}
publicstaticvoidmain(String[]args)throwsException{
Configurationconf=newConfiguration();
//这句话很关键
conf.set("mapred.job.tracker","192.168.1.2:
9001");
String[]ioArgs=newString[]{"dedup_in","dedup_out"};
String[]otherArgs=newGenericOptionsParser(conf,ioArgs).getRemainingArgs();
if(otherArgs.length!
=2){
System.err.println("Usage:
DataDeduplication
System.exit
(2);
}
Jobjob=newJob(conf,"DataDeduplication");
job.setJarByClass(Dedup.class);
//设置Map、Combine和Reduce处理类
job.setMapperClass(Map.class);
job.setCombinerClass(Reduce.class);
job.setReducerClass(Reduce.class);
//设置输出类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
//设置输入和输出目录
FileInputFormat.addInputPath(job,newPath(otherArgs[0]));
FileOutputFormat.setOutputPath(job,newPath(otherArgs[1]));
System.exit(job.waitForCompletion(true)?
0:
1);
}
}
1.4代码结果
1)准备测试数据
通过Eclipse下面的"DFSLocations"在"/user/hadoop"目录下创建输入文件"dedup_in"文件夹(备注:
"dedup_out"不需要创建。
)如图1.4-1所示,已经成功创建。
图1.4-1创建"dedup_in"图1.4.2上传"file*.txt"
然后在本地建立两个txt文件,通过Eclipse上传到"/user/hadoop/dedup_in"文件夹中,两个txt文件的内容如"实例描述"那两个文件一样。
如图1.4-2所示,成功上传之后。
从SecureCRT远处查看"Master.Hadoop"的也能证实我们上传的两个文件。
查看两个文件的内容如图1.4-3所示:
图1.4-3文件"file*.txt"内容
2)查看运行结果
这时我们右击Eclipse的"DFSLocations"中"/user/hadoop"文件夹进行刷新,这时会发现多出一个"dedup_out"文件夹,且里面有3个文件,然后打开双其"part-r-00000"文件,会在Eclipse中间把内容显示出来。
如图1.4-4所示。
图1.4-4运行结果
此时,你可以对比一下和我们之前预期的结果是否一致。
2、数据排序
"数据排序"是许多实际任务执行时要完成的第一项工作,比如学生成绩评比、数据建立索引等。
这个实例和数据去重类似,都是先对原始数据进行初步处理,为进一步的数据操作打好基础。
下面进入这个示例。
2.1实例描述
对输入文件中数据进行排序。
输入文件中的每行内容均为一个数字,即一个数据。
要求在输出中每行有两个间隔的数字,其中,第一个代表原始数据在原始数据集中的位次,第二个代表原始数据。
样例输入:
1)file1:
2
32
654
32
15
756
65223
2)file2:
5956
22
650
92
3)file3:
26
54
6
样例输出:
12
26
315
422
526
632
732
854
992
10650
11654
12756
135956
1465223
2.2设计思路
这个实例仅仅要求对输入数据进行排序,熟悉MapReduce过程的读者会很快想到在MapReduce过程中就有排序,是否可以利用这个默认的排序,而不需要自己再实现具体的排序呢?
答案是肯定的。
但是在使用之前首先需要了解它的默认排序规则。
它是按照key值进行排序的,如果key为封装int的IntWritable类型,那么MapReduce按照数字大小对key排序,如果key为封装为String的Text类型,那么MapReduce按照字典顺序对字符串排序。
了解了这个细节,我们就知道应该使用封装int的IntWritable型数据结构了。
也就是在map中将读入的数据转化成IntWritable型,然后作为key值输出(value任意)。
reduce拿到
输出的key(即代码中的linenum)是一个全局变量,它统计当前key的位次。
需要注意的是这个程序中没有配置Combiner,也就是在MapReduce过程中不使用Combiner。
这主要是因为使用map和reduce就已经能够完成任务了。
2.3程序代码
程序代码如下所示:
packagecom.hebut.mr;
importjava.io.IOException;
importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.fs.Path;
importorg.apache.hadoop.io.IntWritable;
importorg.apache.hadoop.io.Text;
importorg.apache.hadoop.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 使用 MapReduce 编程 实例
![提示](https://static.bdocx.com/images/bang_tan.gif)