华工srp结题报告模板.docx
- 文档编号:3057480
- 上传时间:2022-11-17
- 格式:DOCX
- 页数:5
- 大小:19.94KB
华工srp结题报告模板.docx
《华工srp结题报告模板.docx》由会员分享,可在线阅读,更多相关《华工srp结题报告模板.docx(5页珍藏版)》请在冰豆网上搜索。
华工srp结题报告模板
华工srp结题报告模板
篇一:
(格式)SRP结题报告书格式
****大学
“学生研究计划”(SRP)项目结题报告书
项目编号:
项目名称:
起止时间:
学生姓名:
学院专业:
联系电话:
电子信箱:
指导教师:
华南理工大学广州学院教务处制
年月日
篇二:
SRP结题报告——唐伟志
SRP结题报告
基于分布式存储的实验数据采集和管理系统
1.绪论
研究背景
在信息技术不断发展下,人们认识到了数据本身的价值,“大数据”在商业应用中取得了巨大的成功。
在智能信息处理的研究中,我们主要通过算法对数据进行理解和感知,在研究过程中会采集和产生大量数据,如声音、视频、算法结果等,以往这些数据大部分会被作为无用数据丢弃,只保留部分实验结果。
本项目拟使用当前非关系数据库、分布式文件系统等技术,建立智能信息处理中实验产生数据的采集及存储平台,将数据存储,以便后续更强大的算法和计算资源进行分析处理。
学生参与研究主要内容
开发基于分布式存储的实验数据采集和管理系统,用于采集和存储各类试验中产生的数据,方便随时获取和查阅,同时为后续更大规模的算法统计和处理做准备,详细包括:
(1)、智能信息处理相关研究中各个环节数据的高效、方便的采集;
(2)、采集到数据的智能化处理,如标记、分类、压缩等;
(3)、搭建分布式存储系统,用于存储相关数据,并尽量能适应未来大规模并行算法的一些需求特点;
(4)、开发Web应用,能进行方便的数据查阅和获取。
预期目标
搭建基于分布式存储的实验数据采集和管理系统的小规模示范系统。
2.分布式文件系统概述
分布式文件系统简介
分布式文件系统(DistributedFileSystem)是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
在这样的文件系统中,客户端并非直接访问底层的数据存储区块,而是通过网络,以特定的通信协议和服务器沟通。
借由通信协议的设计,可以让客户端和服务器端都能根据访问控制列表或是授权,来限制对于文件系统的访问。
相对地,在一个分享的磁盘文件系统中,所有节点对数据存储区块都有相同的访问权,在这样的系统中,访问权限就必须由客户端程序来控制。
分布式文件系统可以包含的功能有:
透通的数据复制与容错。
也就是说,即使系统中有一小部份的节点脱机,整体来说系统仍然可以持续运作而不会有数据损失。
综上所述,分布式文件系统所拥有的透通的数据复制以及可靠的容错性,十分适合用于实验数据采集和管理系统。
分布式文件系统的选择
当前比较流行的分布式文件系统包括:
Lustre:
lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护。
该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数量存储系统。
Hadoop:
hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。
NFS:
网络文件系统是FreeBSD支持的文件系统中的一种,也被称为NFS。
NFS允许一个系统在网络上与它人共享目录和文件。
通过使用NFS,用户和程序可以象访问本地文件一样访问远端系统上的文件。
在实际搭建中,主要考虑使用ApacheHadoop,Hadoop可以配合云计算处理OpenStack使用,开源,文档资料比较丰富,现在已经广泛投入生产使用,也能够满足项目后续更大规模的算法统计和处理的要求。
Hadoop简述及安装
关于ApacheHadoop
ApacheHadoop是一款支持数据密集型分布式应用并以Apache许可协议发布的开源软件框架。
它支持在商品硬件构建的大型集群上运行的应用程序。
Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成,由开源社区维护。
Hadoop框架透明地为应用提供可靠性和数据移动。
现在普遍认为整个ApacheHadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有ApacheHive和ApacheHBase等等。
Hadoop基础架构
Hadoop被定位为一个易于使用的平台,以HDFS、MapReduce为基础,能够运行上千台PCServer组成的系统集群,并以一种可靠、容错的方式分布式处理请求。
下图显示Hadoop部署结构示意图
在Hadoop的系统中,会有一台master,主要负责NameNode的工作以及JobTracker的工作。
JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。
还会有多台slave,每一台slave通常具有DataNode的功能并负责TaskTracker的工作。
TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。
Hadoop处理流程
Hadoop主要靠MapReduce进行处理处理。
MapReduce是由Google在一篇论文中提出并广为流传的。
它最早是Google提出的一个软件架构,用于大规模数据集群分布式运算。
任务的分解(Map)与结果的汇总(Reduce)是其主要思想。
Map就是将一个任务分解成多个任务,Reduce就是将分解后多任务分别处理,并将结果汇总为最终结果。
下图所示Hadoop处理流程:
上图就是MapReduce大致的处理流程。
在Map之前,可能还有对输入数据的Split过程以保证任务并行效率;在Map之后可能还有Shuffle过程来提高Reduce的效率以及减小数据传输的压力。
Hadoop的安装
安装环境:
ubuntu++
首先通过虚拟机VirtualBox搭建,然后根据Hadoop官方文档,安装好伪分布式,即可使用jps命令进行安装检测。
若jps命令可以检测出NodeManager、NameNode、SeconderyNameNode、DataNode、ResourceManager等Hadoop相关组件成功启动,即表示Hadoop安装成功。
篇三:
srp结题总结报告
石河子大学第六期SRP项目
3S技术支持下的石河子市
城市森林规划现状调查与分析
指导老师:
奚秀梅
小组组长:
戚孝文
小组组员:
朱凤军袁晓霞张桐艳项目总结报告
3S技术支持下的石市城市森林规划现状调查与分析
项目总结报告
1.课题的提出
课题研究背景及意义
石河子市地处西北内陆,是一座典型的人工绿洲城市,城市以人工森林为主的、大量的广场和开放式公园,建设有多条绿化覆盖率近100%的绿色隧道街,城市森林概念引入到了城市建设之中,使石河子市的城市整体的面貌与其所处的自然地理环境有着截然不同的景观。
先后几次被评为“花园城市”“国家园林城市”的称号,XX年被联合国授予人居环境改善良好范例城市迪拜奖,被建设部授予首届中国人居环境奖。
也是唯一一个被建设部首批授予“最佳人居环境奖”的干旱区城市。
这为3S技术应用到城市森林的调查研究提供了现实依据。
在3S技术支持下,获取石河子市城市森林信息,定性和定量的分析城市森林景观的等级分布、空间结构和功能水平。
并以专题地图、属性数据的形式直观的表示出分析结果。
客观地评价石河子城市森林现状,为合理的城市规划和绿地规划提供依据,对改善城市生态环境和市民生活有重要科学和实践意义,在丰富3S技术在实际中的应用的同时,也巩固了自己所学的理论知识。
在实践的同时也对3S技术有一个更深的认识。
2、课题研究设计
研究目标
1)调查石河子市城市绿地的分布并应用GPS技术准确定位。
2)RS与GPS技术结合对遥感影像解译分析,提取石河子市城市
绿地空间信息。
3)分析石河子市城市规划中绿地的结构与特点。
4)应用GIS技术分析进行石河子市居民区居住适宜性评价。
研究方法与关键的问题
1)遥感影像的控制点采集以及配准。
2)遥感影像的分类以及对研究对象的提取。
3)GIS对研究对象的数据统计与空间分析。
课题研究方法步骤
1)获取石河子市的遥感影像(快鸟)和利用GPS获取实际地物的空
间坐标信息。
2)利用遥感软件进行影像的几何矫正,非监督分类提取出
石河子市城市森林的空间位置信息以及对绿地的统计分析。
3)利用ARCGIS地理信息软件对提取出的城市森林的栅格数据
进行空间分析。
3、课题研究的实施
在项目具体实施过程中主要分为以下三个过程:
控制点采集方法原则与问题以及配准
方法与原则:
1)采集控制点时分布必须均匀,任意两个控制点不宜过近,造成相
互干扰,影响影像校正精度。
2)控制点尽量在空旷地带,可以接收更多颗的卫星信号,提高控制
点精度。
3)基于本遥感影像特点,控制点要选取稳定且无形状变化的目标地
物(如建筑、路灯、交通灯等)。
4)野外采集控制点时,不能选取横截面积过小的目标地物(如电线
杆等)。
配准:
在研究区域内选取了40控制点,但适宜配准的只有36个控制
点。
在ENVI→MAP模块内输入控制点,用ploynomial方
法,选择UTM坐标系统,精度*进行重采样,以及研究区域的界定。
遥感影像在中的分类方法的选择以及分类后处理
分类方法的选择
1)监督分类(maximumlikelihood):
其基本思想是根据类别先验知识确定判别函数和相应的判别准则。
优点:
?
对本已了解的研究区域,波谱较窄时也可以进行精确的分类。
?
训练区的选取可以有针对性,比较符合自己的主观求和客观实
际。
缺点:
基于本遥感影像进行分类所表现出来的不足。
?
在对城市遥感影像进行分类时,地物复杂无法准确其类别。
?
训练区域的选取不全面,导致未分类的比值过高。
?
工作量过大,要有大量的实际调查,每个类别都要有足够的认识。
?
分类结果,误分类过多。
具体表现在道路上的分类上就四种类别,
老城区与开发区的道路类别归属不同,一条道路的中央与周边类别归属不同,主干道与次主干道也类别归属不同,而且绿地与部分道路无法区别。
植被的错误分类就更多。
2)非监督分类(k—means)其思想是在没有类别先验知识的情况
下将所有的样本划分为若干类别的方法。
优点:
?
非监督分类分类仅仅用统计方法对数据集中进行分析,不需要定
义训练去样本。
?
不需要的研究区域有深刻的了解。
?
操作简单,减少人为误差。
不足:
?
对城市遥感影像分类类别不易确定,要经过多次尝试,才能找到
最佳分类。
?
后期的处理同样工作量繁重。
且人为的误差较大,需要更为仔细
认真的工作。
总结:
用非监督(k-me
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 华工 srp 报告 模板