基于hadoop海量数据分析系统设计与实现毕业论文文档格式.doc

基于hadoop海量数据分析系统设计与实现毕业论文文档格式.doc

《基于hadoop海量数据分析系统设计与实现毕业论文文档格式.doc》由会员分享，可在线阅读，更多相关《基于hadoop海量数据分析系统设计与实现毕业论文文档格式.doc（59页珍藏版）》请在冰豆网上搜索。

的说明并表示了谢意。

申请学位论文与资料若有不实之处，本人承担一切的法律责任。

本人签名：

日期

关于论文使用授权的说明

本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：

研究

生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。

学校有权保

留送交论文的复印件，允许查阅和借阅论文；

学校可以公布论文的全部或部分内

容，可以允许采用影印、缩印或其它复制手段保存论文。

同时本人保证，毕业后

结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。

（保密的论文在解密后遵守此规定）

本学位论文属于保密，在

导师签名：

年解密后适用本授权书。

日期

摘要

随着互联网的不断发展，国内大型互联网公司业务的不断复杂化，分析核心

数据成为了公司发展的关键点，但是公司内部的核心数据原始文件庞大，目前大

部分是通过人工分析得出结论，因此分析处理海量数据成为亟待解决的问题。

本文研究了海量数据处理的国内外现状，阐述了分布式MapReduce的编程思

想，介绍了Hadoop的相关技术和HDFS文件系统，分析了企业的需求，使用了

spring-mvc和hibernate等Web开发框架对系统进行了分层设计，将系统分成了展

现层、业务逻辑层、数据对象实体层、底层数据层和原始资源层。

然后对系统结

构展开设计和实现，结合实际业务设计了分布式Hadoop计算模块、数据结果存

储模块和业务系统逻辑模块三个模块，最后对各个模块进行了测试，实现海量数

据分析系统。

本文所做工作被用于大型互联网公司系统的开发。

实践表明，采用本文所设

计的系统后，提高了数据分析的效率，改变了人工计算海量数据的情况，实现了

数据分析统计的高效性和集中性。

关键词：

HadoopMapReduce数据分析

Abstract

WiththecontinuousdevelopmentoftheInternet,businessofalargedomestic

companyisgoingtobemoreandmorecomplex.Analysisofcoredatabecomesakey

pointofthedevelopmentofthecompany,buttheinternalcorerawdatafilesarehuge.

Theygettheconclusionbymanualanalysis.Therefore,analysisandprocessing

massivedatabecomeproblemstobesolved.

Inthispaper,weresearchthehomeandabroadstatusformassivedata

processing.TheMapReducedistributedprogrammingideaiselaborated.We

introducetechnologiesaboutHadoopandtheHDFSfilesystem,analysisoftheneeds

ofenterprises.Spirng-MvcandHibernatewebdevelopmentframeworkareappliedto

hierarchicaldesigninginthesystem.Thesystemisdividedintofivelayers:

view

layer，businesslogiclayer，dataobjectlayer，underlyingdatalayerandoriginal

resourcelayer.Thenweexpandthedesignandimplementationofthesystem

structure.Hadoopcalculationmodule,datastoragemoduleandbusinesssystem

modulearedesignedwithactualbusiness.Finally,eachmoduleistested,Massdata

analysissystemisfinished.

Theworkinthispapermakesuseofthedevelopmentofasystemofalarge

Internetcompany.Practiceshowsthatthesystemdesignedinthispaperimprovesthe

efficiencyofdataanalysis，itchangesthestatusofartificiallycalculatingthemass

dataandmakesthestatisticaldataanalysisefficientandcentralized.

Keyword:



Hadoop

MapReduce

DataAnalysis

目录

第一章

绪论...........................................................................................................1

1.1论文背景及意义........................................................................................1

1.2国内外研究现状........................................................................................2

1.3本文研究内容............................................................................................3

1.4章节安排....................................................................................................3

第二章

基于Hadoop的分布式技术....................................................................5

2.1分布式计算的思想....................................................................................5

2.2分布式计算的技术....................................................................................7

2.2.1Hadoop原理....................................................................................7

2.2.2Hadoop应用....................................................................................8

2.3本章小结....................................................................................................9

第三章

基于Hadoop的海量数据分析系统的目标应用..................................11

3.1目标应用的需求分析...............................................................................11

3.2目标应用的设计架构...............................................................................12

3.2.1目标应用的总体架构....................................................................12

3.2.2目标应用的流程分析....................................................................17

3.3本章小结...................................................................................................18

第四章

基于Hadoop的海量数据分析系统的设计实现..................................21

4.1总体设计...................................................................................................21

4.2数据结构设计..........................................................................................23

4.3模块详细设计...........................................................................................29

4.3.1分布式Hadoop计算模块.............................................................29

4.3.2数据结果存储模块........................................................................32

4.3.3业务系统逻辑模块.......