毕业设计论文.docx
- 文档编号:6167686
- 上传时间:2023-01-04
- 格式:DOCX
- 页数:40
- 大小:4.14MB
毕业设计论文.docx
《毕业设计论文.docx》由会员分享,可在线阅读,更多相关《毕业设计论文.docx(40页珍藏版)》请在冰豆网上搜索。
毕业设计论文
毕业设计(论文)说明书
学院软件学院
专业软件工程
年级2007级
姓名刘洪滨
指导教师操晓春
2011年6月15日
毕业设计(论文)任务书
题目:
大规模数据驱动的阴影检测
学生姓名刘洪滨
学院名称软件学院
专业软件工程
学号3007218124
指导教师操晓春
职称研究员
一、原始依据
阴影作为场景光照作用下形成的最为显著的效果之一,为发现场景属性,如:
物体大小、形状和运动,提供了有利线索;但它同时也使视觉识别任务,如:
特征检测、物体识别和场景解析,变得更复杂。
近些年,已经有多个课题组提出方法消除图片中光照的影响,也有课题组提出方法来移除图片中的阴影。
本课题《大规模数据驱动的阴影检测》旨在识别单张图片中的阴影,其研究动机主要来自两个方面:
第一,阴影作为视觉中最普遍存在的场景元素之一,能否对其进行有效识别对后续视觉任务的完成具有重要的影响,现阶段阴影识别技术已取得长足的发展,但其作为视觉领域的一个基础问题仍然是一个值得研究的开放的话题,有许多难题亟待解决;第二,受现阶段大规模数据驱动技术的激励,使用大规模数据驱动技术来解决视觉应用中难以参数化建模的复杂问题开辟了,相对于机器学习来说,一种全新的研究思路,呈现出广阔的研究空间。
本课题需要识别的阴影来自单张日常生活中的图片,由于日常生活场景的复杂性必然导致阴影识别的复杂性,加之用户拍摄图片的环境、设备和方式的差异性将进一步提升阴影检测的难度。
本课题的深入研究必须具备两个条件:
第一,数据资源和设备资源,数据资源就是用于大规模数据驱动的图片,这可以从Flickr、Google、XX等图片网站上获取,这些大多是用户上传的随处可得的日常生活中的照片,预计需要下载百万张图片。
设备资源可以看成是对大规模图片的有效存储和检索,由于数据量较大,在实现过程中需要对数据进行分布式的存储和检索,需要使用4-6台商品计算机;第二,识别方法,数据的获取可能相对较容易,如何利用数据中的信息才是本课题研究的重点,必须充分利用大规模数据中冗余的的场景信息来辅助挖掘单张图片中的场景信息,这也是大规模数据驱动数据的灵魂所在。
本课题主要面向学术研究,具体应用可以在阴影识别的基础上进一步拓展,在暂不做过多的描述。
二、参考文献
[1]Jean-FrancoisLalonde,AlexeiA.Efros,SrinivasaG.Narasimhan:
Detectinggroundshadowsinoutdoorconsumerphotographs[J].In:
EuropeanConferenceonComputerVision,2010.
[2]JiejieZhu,KeganG.G.Samuel,SyedZ.Masood,MarshallF.Tappen:
LearningtoRecognizeShadowsinMonochromaticNaturalImages[J].In:
InternationalConferenceonPatternRecognition,2010.
[3]BryanC.Russell1AlexeiA.Efros,JosefSivic1WilliamT.FreemanAndrewZisserman:
SegmentingScenesbyMatchingImageComposites[J].In:
NeuralInformationProcessingSystems,2009.
[4]ElenaSalvador,AndreaCavallaro,TouradjEbrahimia:
Castshadowsegmentationusinginvariantcolorfeatures[J].In:
ComputerVisionandImageUnderstanding,2004.
[5]CeLiu,JennyYuen,AntonioTorralba:
NonparametricSceneParsing:
LabelTransferviaDenseSceneAlignment[J].In:
InternationalConferenceonPatternRecognition,2009.
三、设计(研究)内容和要求
本课题重点研究单张用户图片中阴影的检测,研究方案为使用大规模数据驱动技术。
研究工作按毕设进度有序进行,最终研究成果必须和EuropeanConferenceonComputerVision2010《Detectinggroundshadowsinoutdoorconsumerpho-tographs》中发表的实验结果进行比较,要求阴影检测的查全率和查准率达到或超过其公布的实验数据。
同时,在整理毕业论文文集之前,须撰写英文论文。
指导教师(签字)
年月日
审题小组组长(签字)
年月日
天津大学本科生毕业设计(论文)开题报告
课题名称
大规模数据驱动的阴影检测
学院名称
软件学院
专业名称
软件工程
学生姓名
刘洪滨
指导教师
操晓春
本课题《大规模数据驱动的阴影检测》是在研读数篇计算机视觉相关领域国际顶级会议论文的基础上,并在操晓春老师的精心指点下确立的,旨在使用大规模数据来检测单张图片中的阴影。
阴影可以说无处不在,人眼可以快速地识别出图片中的阴影,计算机算法的识别效果却不是很理想。
在计算机视觉研究的早期,阴影的出现弱化了许多视觉应用的效果,包括分割、物体检测、场景分析、跟踪等。
尽管现在存在许多标准的方法、软件和评估数据库来完成重要的视觉任务,包括从边检测到人年检测,但在过去的40年里阴影相关的研究却很少。
现在使用多张图片、标有时间的图片序列或者用户输入的阴影方法已经取得了丰硕的成果,但对单张图片自动进行稳定可靠的阴影检测来说仍然是个开放的话题。
这主要是由于户外阴影的形状和外貌依赖于多个隐含因素,如:
颜色、光照的大小和方向、投影物体的几何形状、被投影物体的形状和材料等。
现阶段单张图片阴影检测的大部分工作都是基于光照不变量。
不幸的是,不变量的稳定计算需要高质量的图片(拥有较大的动态变化范围、较高的强度分辨率,并且相机参数、颜色变化能够准确的测量和补偿),这样这些方法就不适合日常生活图片的处理,如:
来自Flickr和Google上的图片。
由于当前计算机视觉的大量研究工作都是基于日常生活中的图片,所以提出一套新颖的高效的阴影检测方法迫在眉睫。
使用大规模数据来解决计算机视觉领域难以参数化建模的相关难题已经成为当前国际上研究的热点。
如:
CarnegieMellonUniversity教授Alexei(Alyosha)Efros长期致力于计算机视觉和计算机图形学领域的研究工作,其当前主要研究兴趣就在于利用互联网上大量存储的并且日益增长的视觉信息,如:
数字相册、网络摄像头、电影等,来学习、理解和合成周围的视觉世界;MassachusettsInstituteofTechnology教授AntonioTorralba及其指导的学生正在使用随处可得的视觉信息来帮助识别场景和物体。
当前国内不少科研团队,如:
微软研究院、清华大学等,在大规模图像和视频检索方面进行了大量的研究并在基于草图的视觉检索、文本视觉信息混合检索、语义检索方面取得了显著的成就。
然而,国内在大规模视觉检索的基础上,利用大规模数据驱动技术解决计算机视觉领域相关难题方面还处在初始发展阶段,见诸发表的文章也相对较
少。
本课题可以看成是使用大规模数据驱动技术进行场景理解方面的一个新尝试。
相机拍下的单张照片中蕴含丰富的场景信息,如:
物体空间位置关系、物体运动趋势、天气状况、阴影等等,所有这信息我们人眼能迅速的识别出来;然而对于计算机来说却不是这样,计算机由于缺乏像人类这样在成长过程中长期知识积累的过程而识别二维平面中蕴含的三位场景信息。
让计算机具备像人类一样的识别能力最直接的方法可以从两个方向去考虑:
第一个方向,让计算机模拟人类成长过程并学习获得场景识别的能力,这是人工智能研究的范畴,这方面已经取得了显著的成就但也遭遇了未解的难题,在此不做过多的讨论;第二个方向,给计算机配备一个知识库,当遇到识别问题时可以直接从知识库中获取知识。
随着互联网的发展渗透以及移动数码设备的广泛使用,互联网上的图片和视频数据正在日益激增并且可以轻松获取。
本课题着重从第二个方向考虑阴影识别问题,通过从互联网上获取大量图片构建初始的图片数据库,然后对图片进行特定的处理形成针对图片阴影识别的知识库辅助计算机识别单张图片中的阴影。
本课题的解决方法主要基于一个日常生活观察和一个统计发现:
日常生活
观察为户外场景中构成地面的材料是有限的,常见的为:
沥青、砖块、石头、泥土、草地和混泥土等,这样地面上的阴影只会在有限的可控制的范围内变化;统计观察为在使用阴影相关描述符对图片数据库进行查询时,数据库对图片中阴影的支持度远远大于对非阴影的支持度,这提供了解决方案的事实基础。
处理过程可以分为两个阶段:
第一阶段,首先对输入图片进行过分割,然后利用阴影相关描述符对分割出的边和数据库中的边(提前分割好)进行匹配,最后根据数据库支持度标识输入片中的边为阴影边或非阴影边;第二阶段,对第一阶段中标识出的阴影边进行聚合得到完整的阴影区域。
现阶段已经具备最新阴影检测的理论基础,提出了上述阴影检测思路并进行了理论上的可行性分析。
同时,实验室工程组已经积累上百万张可供阴影检测的图片,为图片数据库的搭建做好了准备。
现在就毕业设计进度做如下安排:
2011年3月11日—2011年3月12日
开题报告会。
2011年3月13日—2011年3月31日
选择有效的阴影特征描述符、搭建小型数据库对方案可行性进行验证。
2011年4月01日—2011年4月24日
调整实验方案,搭建大规模数据库实现整个方案。
2011年4月25日—2011年4月30日
毕业设计中期报告会。
2011年5月1日—2011年5月22日
对实验方案进行理论提升和公式化,书写英文论文。
2011年5月23日—2011年6月22日
完成论文及答辩。
主要参考文献:
[1]Jean-FrancoisLalonde,AlexeiA.Efros,SrinivasaG.Narasimhan:
Detectinggroundshadowsinoutdoorconsumerphotographs[J].In:
EuropeanConferenceonComputerVision,2010.
[2]JiejieZhu,KeganG.G.Samuel,SyedZ.Masood,MarshallF.Tappen:
LearningtoRecognizeShadowsinMonochromaticNaturalImages[J].In:
InternationalConferenceonPatternRecognition,2010.
[3]BryanC.Russell1AlexeiA.Efros,JosefSivic1WilliamT.FreemanAndrewZisserman:
SegmentingScenesbyMatchingImageComposites[J].In:
NeuralInformation,ProcessingSystems,2009.
[4]ElenaSalvador,AndreaCavallaro,TouradjEbrahimia:
Castshadowsegmentationusinginvariantcolorfeatures[J].In:
ComputerVisionandImageUnderstanding,2004.
[5]CeLiu,JennyYuen,AntonioTorralba:
NonparametricSceneParsing:
LabelTransferviaDenseSceneAlignment[J].In:
InternationalConferenceonPatternRecognition,2009.
选题是否合适:
是□否□
课题能否实现:
能□不能□
指导教师(签字)
年月日
选题是否合适:
是□否□
课题能否实现:
能□不能□
审题小组组长(签字)
年月日
摘 要
阴影常常会扰乱许多计算机视觉算法,如:
图片分割、物体检测、移动物体追踪,等。
有效的图片阴影检测必将显著提高这些视觉算法的性能。
本论文提出了一个全新的基于概率统计方法自动检测单张户外图片地面阴影的方法。
不同于前人的工作,我们的方法不依赖任何几何假设,如:
相机位置、地面/物体几何属性;更重要的是,我们摒弃了现在主流的基于机器学习的阴影检测框架。
该方法基于一个重要的日常观察:
构成户外场景地面的材料通常是相对有限的,最常见的包括沥青、砖块、石头、泥土、草地、混泥土,等。
同时,大规模数据驱动技术作为当前国际研究的热点常被用来解决视觉领域难以参数化建模的相关问题,如果用于阴影检测,则可以有效解决前人工作中遇到的模型选择、参数设置、用户介入过多等相关难题。
基于以上两点,单张图片中的地面阴影不会像常规阴影那样大范围变动,并且可以巧妙地使用大规模的无标注阴影图片库来有效鉴别。
我们的阴影检测系统由四个主要步骤构成,包括:
(a)从图片分割边周围提取阴影敏感特征;(b)使用大规模数据驱动技术进行阴影判别;(c)使用条件随机域最优化方法组合检测到的阴影边构成连续的阴影轮廓;(d)结合现有的单张图片地面检测器。
实验在许多具有不同地面材料和阴影形状的非常有挑战行的图片上的展示了很好的阴影检测效果。
由于许多视觉应用感兴趣的物体(如:
行人、车辆、标识)常常和地面绑连接在一起,我们相信我们提出的自动无参阴影检测器能找到广阔的应用空间。
关键词:
阴影检测;数据驱动;支持度;颜色比;松弛度因子;条件随机域
ABSTRACT
Shadowsoftenconfoundalgorithmsdesignedtosolvecomputervisiontaskssuchasimagesegmentation,objectdetectionandtracking,etc.Detectingshadowsfromimagescansignificantlyimprovetheperformanceofsuchvisionalgorithms.
Inthispaper,wepresentanovelstatisticbasedalgorithmtoautomaticallydetectshadowscastbyobjectsontotheground,fromasignalconsumeroutdoorphotograph.Unlikepreviouswork,ourapproachdoesnotrelyonanygeometricassumption,suchascameraposition,groundsurface/objectgeometry.What'smore,weabandonedthecurrentpopularmachinelearningbasedshadowdetectionframework.Ourkeyobservationisthatthetypesofmaterialsconstructingthegroundinoutdoorisrelativelylimited,mostcommonlyincludingasphalt,brick,stone,mud,grass,concrete,etc.Atthesametime,largescaledata-driventechnologyhasbeenwidelystudiedandmainlyusedforsolvingavarietyofcomputervisiontaskswhicharehardforparametermodelconstruction.Ifusedforshadowdetection,itcaneffectivelysolvetoughproblemsencounteredinpreviouswork,suchasmodelselection,parametersetting,overhumanintervention.Basedonabovepoints,theappearanceofshadowsonthegroundarenotwidelyvaryingasgeneralshadowsandthus,canbeidentifiedtactfullyusingunlabeledlargescalesetofimages.
Ourshadowdetectingsystemconsistsofafour-tierprocessincluding(a)computingshadowsensitivefeaturesaroundeachimageedge,(b)identifyingshadowsusinglargescaledata-driventechnology,(c)aCRF-basedoptimizationtogroupdetectedshadowedgestogeneratecoherentshadowcontours,and(d)incorporatinganyexistingclassifierthatisspecificallytrainedtodetectgroundinimages.Ourresultsdemonstrategooddetectionaccuracyonmanychallengingimageshavingdifferentgroundmaterialsandshadowshapes.
Sincemostobjectsofinteresttovisionapplications(likepedestrians,vehicles,signs)areattachedtotheground,webelieveourshadowdetectionsystemcanfindwideapplicability.
Keywords:
shadowdetection;data-driven;supportratio;colorratio;loosenessfactor;CRF
第一章 绪论
1.1 研究背景和意义
自从电子计算机问世以来,随着硬件和软件技术的不断进步,人类对计算机应用的要求越来越高。
在21世纪的今天,计算机已经在我们的生活中无处不在,从衣食住行的各个方面为我们提供高效便捷的服务。
特别是近二十年来随着互联网和多媒体技术的高速发展,计算机在我们的生活中占据着越来越重要的位置,我们获得的信息量呈几何级数的速度增长,获取信息的方式也越来越方便,并且信息的表现形式也不再局限于原来的文字和静态的图片,而是包括声音、视频、动画等多种媒体形式,所以有人说:
我们生活在一个信息爆炸的时代,或称为信息时代。
人类接收信息的主要来源是视觉,占据了约70%的比重。
我们从视觉系统得到的信息就是图像,简言之,图像是自然界景物的客观反映和人类视觉系统的主观感受相结合的产物。
而计算机视觉则是希望计算机能够从图像或图像序列中获取对世界的描述。
这种信息的获取是以准确的分析和处理数字图像为基础的,也被称为数字图像处理技术。
数字图像处理技术发展到今天,许多技术己日臻成熟。
在各个领域的应用取得了巨大的成功和显著的经济效益。
如在工程领域、工业生产、军事、医学以及科学研究中的应用已十分普遍。
通过分析资源卫星得到的照片可以获得地下矿藏资源的分布及埋藏量;利用红外线、微波遥感技术可侦查到隐蔽的军事设施;X射线CT己广泛应用于临床诊断,由于它可得到人体内部器官的断层图像,因此,可准确地确定病变的位置,为诊断和治疗疾病带来了极大的方便。
在安全保障及监控方面图像处理技术更是不可缺少的基本技术。
阴影是在自然界中普遍存在的一种物理现象,是由于光源被物体遮挡而产生的。
图像中阴影的存在对计算机视觉领域的相关问题有不同的影响,这种影响有有利的也有不利的。
比如我们可以从阴影中得到物体的几何信息、场景空间结构、光源方向等,对三维场景重建、空间物体运动分析有重要的作用;在虚拟现实、3D游戏中为物体添加阴影,可以提高场景的真实感。
但是更多的时候,图像中的阴影会对计算机视觉的相关问题产生不利的影响,如在航空图像中,阴影的存在会影响后继的图像匹配、模式识别和地物提取等多种遥感图像处理操作;在医学成像中,阴影会影响医生对病变图像的分析;在视频监控中,阴影和运动目标结合在一起,导致计算机对目标物体的提取和追踪出现错误。
因此,有必要对图像中的阴影进行检测和分析,并根据需要,进而消除或减弱阴影的影响。
1.2 国内外研究进展
阴影可以说无处不在,人眼可以快速地识别出图片中的阴影,计算机算法的识别效果却不是很理想。
在计算机视觉研究的早期,阴影的出现弱化了许多视觉应用的效果,包括分割、物体检测、场景分析、跟踪等。
尽管现在存在许多标准的方法、软件和评估数据库来完成重要的视觉任务,包括从边检测到人年检测,但在过去的40年里阴影相关的研究却很少。
到目前为止,使用多张图片、标有时间的图片序列或者用户输入的阴影方法已经取得了丰硕的成果,但对单张图片自动进行稳定可靠的阴影检测来说仍然是个开放的话题[]。
这主要是由于户外阴影的形状和外貌依赖于多个隐含因素,如:
颜色、光照的大小和方向、投影物体的几何形状、被投影物体的形状和材料等。
现阶段单张图片阴影检测的大部分工作都是基于光照不变量。
不幸的是,不变量的稳定计算需要高质量的图片(拥有较大的动态变化范围、较高的强度分辨率,并且相机参数、颜色变化能够准确的测量和补偿),这样这些方法就不适合日常生活图片的处理,如:
来自Flickr和Google上的图片。
由于当前计算机视觉的大量研究工作都是基于日常生活中的图片,所以提出一套新颖的高效的阴影检测方法迫在眉睫。
使用大规模数据来解决计算机视觉领域难以参数化建模的相关难题已经成为当前国际上研究的热点。
如:
CarnegieMellonUniversity教授Alexei(Alyosha)Efros长期致力于计算机视觉和计算机图形学领域的研究工作,其当前主要研究兴趣就在于利用互联网上大量存储的并且日益增长的视觉信息,如:
数字相册、网络摄像头、电影等,来学习、理解和合成周围的视觉世界;Ma
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 毕业设计 论文