Spark实验报告.docx
- 文档编号:26304075
- 上传时间:2023-06-17
- 格式:DOCX
- 页数:10
- 大小:689.51KB
Spark实验报告.docx
《Spark实验报告.docx》由会员分享,可在线阅读,更多相关《Spark实验报告.docx(10页珍藏版)》请在冰豆网上搜索。
Spark实验报告
Spark报告
金航
1510122526
Spark实验报告
一、环境搭建
1、下载scala2.11.4版本下载地址为:
http:
//www.scala-lang.org/download/2.11.4.html
2、解压和安装:
解压:
tar-xvfscala-2.11.4.tgz
安装:
mvscala-2.11.4~/opt/
3、编辑~/.bash_profile文件增加SCALA_HOME环境变量配置,
exportJAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
exportCLASSPATH=.:
$JAVA_HOME/jre/lib:
$JAVA_HOME/lib:
$JAVA_HOME/lib/tools.jar
exportSCALA_HOME=/home/spark/opt/scala-2.11.4
exportHADOOP_HOME=/home/spark/opt/hadoop-2.6.0
PATH=$PATH:
$HOME/bin:
$JAVA_HOME/bin:
${SCALA_HOME}/bin
立即生效source~/.bash_profile
4、验证scala:
scala-version
5、copy到slave机器scp~/.bash_profilespark@10.126.45.56:
~/.bash_profile
6、下载spark,wget
7、在master主机配置spark:
将下载的spark-1.2.0-bin-hadoop2.4.tgz解压到~/opt/即~/opt/spark-1.2.0-bin-hadoop2.4,配置环境变量SPARK_HOME
#set javaenv
exportJAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
exportCLASSPATH=.:
$JAVA_HOME/jre/lib:
$JAVA_HOME/lib:
$JAVA_HOME/lib/tools.jar
exportSCALA_HOME=/home/spark/opt/scala-2.11.4
exportHADOOP_HOME=/home/spark/opt/hadoop-2.6.0
exportSPARK_HOME=/home/spark/opt/spark-1.2.0-bin-hadoop2.4
PATH=$PATH:
$HOME/bin:
$JAVA_HOME/bin:
${SCALA_HOME}/bin:
${SPARK_HOME}/bin:
${HADOOP_HOME}/bin
配置完成后使用source命令使配置生效
进入sparkconf目录:
[spark@S1PA11opt]$cdspark-1.2.0-bin-hadoop2.4/
[spark@S1PA11spark-1.2.0-bin-hadoop2.4]$ls
bin conf data ec2 examples lib LICENSE logs NOTICE python README.md RELEASE sbin work
[spark@S1PA11spark-1.2.0-bin-hadoop2.4]$cdconf/
[spark@S1PA11conf]$ls
fairscheduler.xml.template metrics.properties.template slaves.template spark-env.sh
log4j.properties.template slaves spark-defaults.conf.template spark-env.sh.template
first:
修改slaves文件,增加两个slave节点S1PA11、S1PA222
[spark@S1PA11conf]$vislaves
S1PA11
S1PA222
second:
配置spark-env.sh
首先把spark-env.sh.templatecopy spark-env.sh
vi spark-env.sh文件在最下面增加:
exportJAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
exportSCALA_HOME=/home/spark/opt/scala-2.11.4
exportSPARK_MASTER_IP=10.58.44.47
exportSPARK_WORKER_MEMORY=2g
exportHADOOP_CONF_DIR=/home/spark/opt/hadoop-2.6.0/etc/hadoop
HADOOP_CONF_DIR是Hadoop配置文件目录,SPARK_MASTER_IP主机IP地址,SPARK_WORKER_MEMORY是worker使用的最大内存
完成配置后,将spark目录copyslave机器scp-r~/opt/spark-1.2.0-bin-hadoop2.4 spark@10.126.45.56:
~/opt/
8、启动spark分布式集群并查看信息
[spark@S1PA11sbin]$./start-all.sh
查看:
[spark@S1PA11sbin]$jps
31233ResourceManager
27201Jps
30498NameNode
30733SecondaryNameNode
5648Worker
5399Master
15888JobHistoryServer
如果HDFS没有启动,启动起来.
查看slave节点:
[spark@S1PA222scala]$jps
20352Bootstrap
30737NodeManager
7219Jps
30482DataNode
29500Bootstrap
757Worker
9、页面查看集群状况:
进去spark集群的web管理页面,访问
因为我们看到两个worker节点,因为master和slave都是worker节点
我们进入spark的bin目录,启动spark-shell控制台
访问http:
//master:
4040/,我们可以看到sparkWEBUI页面
spark集群环境搭建成功了
10、运行spark-shell测试
之前我们在/tmp目录上传了一个README.txt文件,我们现在就用spark读取hdfs中README.txt文件
取得hdfs文件:
count下READM.txt文件中文字总数,
我们过滤README.txt
包括The单词有多个
我们算出来一共有4个The单词
我们通过wc也算出来有4个The单词
我们再实现下Hadoopwordcount功能:
首先对读取的readmeFile执行以下命令:
其次使用collect命令提交并执行job:
我们看下WEBUI界面执行效果:
二、统计单词个数例子,使用sparkapi
WordCount:
步骤1:
valsc=newSparkContext(args(0),“WordCount”,System.getenv(“SPARK_HOME”),Seq(System.getenv(“SPARK_TEST_JAR”)))
valtextFile=sc.textFile(args
(1))
valinputFormatClass=classOf[SequenceFileInputFormat[Text,Text]]
varhadoopRdd=sc.hadoopRDD(conf,inputFormatClass,classOf[Text],classOf[Text])
步骤3:
valresult=hadoopRdd.flatMap{
case(key,value)=>value.toString().split(“\\s+”);}.map(word=>(word,1)).reduceByKey(_+_)
将产生的RDD数据集保存到HDFS上。
可以使用SparkContext中的saveAsTextFile哈数将数据集保存到HDFS目录下,默认采用Hadoop提供的TextOutputFormat,每条记录以“(key,value)”的形式打印输出,你也可以采用saveAsSequenceFile函数将数据保存为SequenceFile格式等,result.saveAsSequenceFile(args
(2))当然,一般我们写Spark程序时,需要包含以下两个头文件:
importorg.apache.spark._importSparkContext.需要注意的是,指定输入输出文件时,需要指定hdfs的URI,比如输入目录是hdfs:
//hadoop-test/tmp/input,输出目录是hdfs:
//hadoop-test/tmp/output,其中,“hdfs:
//hadoop-test”是由Hadoop配置文件core-site.xml中参数fs.default.name指定的,具体替换成你的配置即可。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Spark 实验 报告