双目立体视觉中的三维重建docxWord格式文档下载.docx

双目立体视觉中的三维重建docxWord格式文档下载.docx

《双目立体视觉中的三维重建docxWord格式文档下载.docx》由会员分享，可在线阅读，更多相关《双目立体视觉中的三维重建docxWord格式文档下载.docx（40页珍藏版）》请在冰豆网上搜索。

题目

双目立体视觉中的三维重建

任务与要求

本题目要求在搭建双目立体视觉平台的基础上，通过OpenGL和MATLAB联合编程实现三维重建功能。

具体任务分解如下：

1.查找文献，学习和掌握三维重建方法；

2.完成三维重建的MATLAB编程，并对实验数据进行相关分析；

3.通过OpenGL,实例编程实现三维重建；

4.通过OpenGL和MATLAB联合编程，完成三维重建；

开始日期2011年12月10日

完成日期

2012年6月25日

院长（签字）

2012

年12月日

毕业设计（论文）工作计划

学生姓名_吕海斌_指导教师_江祥奎职称_讲师.

院别自动化学院专业测控0802___

题目双目立体视觉中的三维重建

工作进程

起止时间

工作内容

12月10日----12月31日

查阅相关资料，熟悉题目要求，

学习和掌握三维重建。

1月1日---2月26日

搭建双目立体视觉平台，在此基础上实

现三维重建功能。

2月27日---3月9日

学习和掌握基于OpenGLl勺三维重建

3月10日---5月15日

通过实例编程实现基于OpenGL勺三维重建。

5月15日---6月9日

完成实验数据的数学分析和总结。

6月10日一6月25日

撰写毕业论文，准备答辩。

查要参考书目目（资料料）

[1]RichardHartley,AndrewZisseran著，韦穗，杨尚骏,章权兵，等译.计算机视

觉中的多视图几何[M].合肥：

安徽大学出版社，2002.

[2]张广军机器视觉[M].北京：

科学出版社,2005.

[3]吴福朝.计算机视觉中的数学方法[M].北京:

科学出版社,2008.

[4]李玲.基于双目立体视觉的计算机三维重建方法研究.[D].武汉大学,2005.

主要仪器设备及材料

1.PC计算机一台

2.局域网网络环境

3.OpenGl和MATLA语言开发环境。

论文（设计）过程中教师的指导安排

1.每周定时交流和集中答疑；

2.有问题及时E-mail联络；

3.定期解答讨论群的提问。

对计划的说明

毕业设计（论文）开题报告

自动化学院测控技术与仪器专业2008级02班

课题名称：

双目立体视觉中的三维重建

吕海斌学号:

06082042

指导教师：

江祥奎

报告日期：

2012年3月18日

1.本课题所涉及的问题及应用现状综述

1.1涉及的问题

双目立体视觉方法采用两台摄像机模拟人类双眼处理景物的方式，从两个视点

观察同一场景，获得不同视角下的一对图像，然后通过左右图像间的匹配点，恢复出场景中目标物体的几何形状和位置等三维信息。

该项技术在机器人视觉、车辆自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的应用价值。

三维重建一直是计算机视觉的重要研究领域之一。

近年来，三维重建技术的研究取得了巨大的进步，新技术新方法不断涌现。

常用的三维重建方法主要有运动图像序列法、光度立体学方法、纹理恢复形状法和立体视觉方法等。

各种三维重建方法的理论基础不同，在精度、尺寸以及系统价位等方面存在一定的差异，因此适用的应用领域也不尽相同。

立体视觉法由于不需要人为的设置辐射源，只利用场景在自然光照条件下的二维图像来重建物体的三维信息，具有适应性强、实现手段灵活、造价低的优点，是目前研究最多、应用最广泛的技术之一。

1・2应用现状综述

1・2.1国外研究现状

国外对立体视觉的研究起步较早，发展速度快，应用面广。

立体视觉的先决条件是要解决两幅图像匹配基元之间的对应关系即立体匹配，然后由三角测量原理求

得景物的深度信息。

根据约束方式的不同，M.Z.Brown把匹配算法分为两种，一

种是对像素周围小区域进行约束的局部匹配方法，如灰度匹配法、特征匹配法、相位匹配法等;

另一种是对扫描线甚至整个图像行约束的全局匹配方法。

比较而言，特

征匹配具有定位准确、稳定性强、匹配速度快等优点，是目前应用广泛的匹配方法之一，其中主要包括两个子问题：

特征提取和特征匹配。

1）常用的匹配特征有点特征和线特征。

线特征主要是指图像边缘。

Haralick提出了用离散正交多项式对原始图像每一个像素的领域做最佳曲面拟合，在拟合曲面

上求二阶方向导数的零交叉的方法。

Mary-Hildretch提出的LOG算子边缘检测法是对原始图像用Gauss函数平滑，然后检测二阶差分的过零点。

Canny在1986提出Canny最佳边缘检测算子。

点特征主要有零交叉点、角点等。

2）特征匹配以灰度相似性为基础，辅以极线几何约束及其它约束进行搜索。

Beardsley等提取角点作为特征点，运用相关性进行匹配，将匹配的结果用奇异值分解求取了基础矩阵。

M.Pilu提出了一种基于奇异值分解的匹配方法，对包含特征点的Gaussian-weighted距离信息的强度矩阵G进行奇异值分解，通过同维矩阵P中各个元素的值就能判断出对应的特征点是否匹配。

在国外理论技术不断发展的同时，也出现了很多立体视觉系统。

Bhanu提出了一个

用于实际三维物体形状匹配的三维景物分析系统，系统的输入为深度图像。

对物体的描述是数据驱动的，可自动计算，用户不必干预，不足之处在于太依赖于多边形面产生算法的输出一致性，使用的表面数目太大，先验假定条件比较苛刻，对深度数据的获取要求甚高。

PMF系统是英国用立体视觉的局部视差度量产生一个从物体2.5维简图到物体三维表面描述以至实现物体识别的实时处理方法。

Zisserman等完

成的视觉导航系统利用了分层重建的思想，即首先对图像序列做射影重建，再将射影重建逐步提升到仿射重建和欧氏重建。

另外一些系统分别应用于不同的任务场景，例如:

Debevec,Taylor等完成了著名的建筑物重建系统Facade;

HY.Shum等提出了一种人机交互式重建系统；

Faugeras等的系统利用分层重建、自标定等方法从图像序列中重建出建筑物；

Pollefeys等提出的物体表面自动生成系统运用可变内参数下的摄像机自标定技术等。

1.2.2国内研究现状

国内在双目立体视觉的理论和算法实现方面也进行了大量的研究。

ASVS系统

是由北方交通大学信息科学研究所研制的采用立体视觉技术进行三维数据采集、摄

像机标定、物体识别与定位系统。

浙江大学机械系利用透视成像原理，采用双目视觉方法实现了对多自由度机械装置的动态精确位姿检测，仅需从两幅对应图像中抽

取必要的特征点的三维坐标，信息量少，处理速度快，尤其适于动态情况。

与手动系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。

中国科学院自动化研究所研究的三维重建技术，

采用自动关键点匹配、双目重建、表面三角化和三维点拼接技术，经过图像对提取，图像对关键点匹配，图像关键点的重建，三角化以及数据融合生成物体完整的三维结构，在完成重建后，可以从任意视点观察物体，具有立体视觉效果。

1・3双目立体视觉研究存在的问题

立体视觉虽然经过20多年的发展，但是无论从视觉生理角度，还是从实际应用角度来看，现有的立体视觉技术还处于不成熟的阶段。

这不仅仅涉及到技术上的原因，也是因为人类对自身视觉机制还不十分了解，至今人类对自身的视觉系统还没有研究清楚。

计算机视觉的问题本质上都是逆问题，受到物体的几何特征、材料表面性质、颜色、环境光照及摄像机参数等许多因素的影响，问题往往都是非线性的，

其解不具有唯一性，而对噪声或离散量化引起的误差极其敏感，所以计算机视觉本身存在一定的病态性。

基于立体视觉的三维重建技术在一些核心算法上仍然存在有待解决的问题。

立体匹配中如何选择合理的匹配特征，从而克服匹配准确性与恢复视差全面性间的矛盾；

如何选择有效的匹配准则和算法结构，从而解决存在灰度失真、几何畸变、噪声干扰及遮挡景物的匹配问题；

如何建立更加有效的图像表达形式和立体视觉模型，从而更充分地反映景物的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度。

另外，虽然许多三维重建的实施方案和数学模型在理论上是比较完善的，但在实际应用中仍然受到很多限制，比如设备精密程度高、价格昂贵、处理过程复杂等，影响了工程中的应用。

因此，如何既能获得较为满意的处理结果，又能简化操作过程，是目前三维重建研究工作的一个重要内容。

如何更好地利用软、硬件结合方法实现实际应用中的实时处理是目前急需解决的问题。

在软件方面，通过合理的设计算法流程，减少冗余计算，使用适当的约束条件在通用平台上进行快速的立体视觉匹配。

在硬件方面，利用专门的硬件实现算法加速，如数字信号处理器DSP,可重构器件FPGA以及一系列的专用芯片等。

参考文献

[1]刘篙鹤.基于双目立体视觉的安全车距测量技术研究[D].武汉武汉理工大学，

2008.

[2]杜欲.用于导航的立体视觉系统[D].杭州:

浙江大学，2003.

[3]邹凤娇.摄像机标定及相关技术研究[D].成都:

四川大学.2005.

[4]陈西.摄像机标定与三维重建研究[D].北京:

北京化工大学.2007.

⑸章毓晋.图像理解[M].北京:

清华大学出版社，2007.

⑹张力，张祖勋，张剑清.Walks滤波在影像匹配中的应用[J]武汉测绘科技大学学报，1999,24

（1）:

221-237.

[7]白明，庄严，王伟•双目立体匹配算法的研究与进展[J].控制与决策,722-723.

[8]徐奕，周军，周源华.立体视觉匹配技术[J].计算机工程与应用，

2008,23⑺:

2003.34（9）:

112-123.

2.本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行

性分析

2.1关键问题

本课题需要重点研究以下3个关键问题：

1）双目立体视觉平台的构建

立体视觉三维重建的基本原理是从两个视点观察同一景物，以获取在不同视角下的图像，通过三角测量原理计算图像像素间的位置偏差（即视差）来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。

最简单的双目视觉模型是理想的平行放置的双目视觉模型。

两台摄像机完全相同，

按光轴互相平行，x轴互相重合、沿x轴相距b的位置放置。

摄像机光轴平行于z轴，图像平面与xy平面平行，如图1所示。

图1平行双目立体视觉

平行双目立体视觉获取三维信息采用的是视差测距量原理。

2）三维重建方法的研究

空间直线和空间曲线也是组成空间图形的主要基元。

根据空间直线射影变换前后仍是直线的性质，以此来分析空间直线与图像中的直线之间的关系。

空间直线在

CCD上的成像可以这样认为，空间直线与摄像机光心构成的平面与成像平面的交线，两台摄像机有两个这样的平面，这两个平面的交线就是空间直线。

空间二次曲线是空间二次曲面与平面的交线，因此二次曲线的平面曲线，在CCD上的成像可以认为是由空间二次曲线与光心组成的锥面与成像平面的交线。

两台摄像机有两个这样的锥面，求这两个空间锥面的交线，就是空间曲线。

通过上

述算法恢复物体三维坐标后，得到的是一些散乱点，不能直观的显示出来，因此我们借用OpenGL来实现这些散乱数据的三维显示。

3）基于OpenGL对三维重建的实现

在OpenGL中绘制出三维图形景观的基本步骤：

1.根据基本图形单元建立景物模型，并且对所建立的模型进行数学描述。

2•把景物模型放在三维空间中的合适的位置，并且设置视点。

3•计算模型中所有物体的色彩，其中的色彩根据应用要求来确定，同时确定光照条件、纹理粘贴方式等。

4•把景物模型的数学描述及其色彩信息转换至计算机屏幕上的象素，这个过程也就是光栅化。

在这些步骤的执行过程中，OpenGL可能执行其他的一些操作，例如自动消隐处理等，另外，景物光栅化之后被送入帧缓冲器之前还可以根据需要对像素数据进行操作。

2.2解决思路

在MATLAB和OpenGL中均有二维图形的创建以及二维向三维转化的工具或函数。

通过以下步骤进行

1）利用MATLAB与OpenGL进行二维图像的合成如一个圆。

2）利用MATLAB与OpenGL®

行编程，利用MATLABWOpenGL所提供的函数或界面进行二维图像的三位处理尝试，并且将每次处理的结果进行记录分析，摸索

处理过程，处理细节处理方法，处理要素。

最后实现满意的处理结果为止。

3）总结前面的处理经验并分析处理手法为接下来的真正编程做铺垫。

4）用照相机拍摄二维平面照（如桌上的一个水杯）。

5）在前面程序的基础上进行修改，并利用前边所说的二维生成三维的一些具体成像原理进行程序的再设计。

6）调试程序，直到产生令人满意的结果分析其中曾产生的错误，经验教训，思维过程，并认真整理MATLAB与OpenGL在使用过程中各自的优点与缺点。

2.3可行性分析

以上思路是可行的，原因有以下几点：

1）该实验准备充分。

实验之前，我会进行相关实验资料的调查。

并且认真学习MATLAB与OpenGL这两款软件，在编程过程中力求实验处理贴近所想，实现编程的简洁、清晰、高效、易懂以及时间复杂度空间复杂度的降低。

2）该设计过程遵守由简到难的过程，在编程过程中，由于处理物体简单，必将使程序简单有利于二维向三维整体过程的步骤的搭建，减少变成难度，并且也具体处理了一些关键性问题，还是只得到验证，有利益将来进行程序的调节。

3）该设计过程时时总结，分析出错原因，不会导致错误的积累。

并且设计过程呈现阶梯式，为整个实验的完成奠定良好的基础。

3•完成本课题的工作方案

课题完成方案是

1）（2.27—3.16）到图书馆或上网查找具体文献，学习了解什么是双目立体视觉，什么是三维重建。

并且具体了解由二维向三维转变中所要涉及的具体问题要求和器具。

最后，还要了解一下当前学术界对于三维重建的一些看法和意见等等，

递交开题报告；

2）（3.16—4.10）查找资料并学习MATLAB相关软件的具体功能和使用方法，熟

悉并掌握MATLAB编程的一些具体问题和技巧，然后结合前边对双目立体视觉与三维重建部分的了解完成三维重建的MATLAB编程，并对实验数据进行

相关分析，然后查找资料，解决编程后具体数据于估测结果之间差距出现的原

因并设法做出处理或给定解决方法；

3）（4.10-5.20）到图书馆或上网并学习OpenGL相关软件的具体功能和使用方

法，熟悉并掌握OpenGL编程的一些具体问题和技巧，然后结合前边对双目立体视觉与三维重建部分的了解完成三维重建的OpenGL编程；

4）（5.20-6.02）通过OpenGL和MATLAB的分别编程，了解其中的差异、区别以及优势，分别利用OpenGL和MATLAB各自的优势进行联合编程，完成三维重建；

4.指导教师审阅意见

该同学的论文选题较为合理，专业基础扎实，课题具有一定的理论研究价值和实际研究意义，该同学对本课题的国内外研究现状较为熟悉，技术路线分析明确,工作方案比较可行，同意开题。

指导教师（签字）：

江祥奎

2012年3月16日

西安邮电大学毕业设计（论文）成绩评定表

学生姓名

吕海斌性别男学号06082042

专业班级

课题名称

课题类型

科研题难较目度难

毕业设T论文时间

2012年3月8〜2012年6月20日指导教师

江祥奎职称：

课题任务完成情况

论文（千字）；

设计、计算说明书（千字）；

图纸（张）；

其它含附件）:

指导教师意见

分项得分：

开题调研论证分；

课题质量（论文内容）分；

创新分；

论文撰写（规范）分；

学习态度分；

外文翻译分

指导教师审阅成绩指导教师签字：

评阅教师意见

选题分；

开题调研论证分；

课题质量（论文内容分；

论文撰与（规范）分：

评阅成绩：

评阅教师签字：

验收小组

意见

准备情况分；

毕业设计（论文）质量分；

（操作）回答问题分验收成绩_验收教师组长（签字：

答

亠、亠

辩

小

组

意

见

陈述情况分；

回答问题分；

仪表分答辩成绩答辩小组组1签字：

成绩计算方法

（填写本系实用比例

指导教师成绩20（%）评阅成绩30（%）验收成绩30（%）答辩成绩20（%）

学生实得成績分制

指导教师成绩评阅成绩验收成绩

答辩成绩总评

委

员

会

毕业论文设计总评成绩等级：

系答辩委员会主任签宇）：

系（签章）

年月日

备

注

西安邮电大学毕业论文（设计）成绩评定表（续表）

摘要

本文研究了针对不同的视点对同一个场景观测的两幅图像，基于双目立体

视觉，通过提取相关的特征点，对像点进行匹配，从而获取相应的基础矩阵，本文主要采用了FTT傅里叶变换的相关理论，从而实现双目立体视觉中的三维立体重建。

在论文开头，我们需要介绍一些计算机的立体视觉系统的相关理论。

关于双目立体视觉中的三维重建，我们先对双目立体视觉的应用，以及国内外近几十年对双目立体视觉的研究方法，研究成果，研究理论，进行了回顾与展望。

以便于我们对双目立体视觉中的三维重建的研究内容、研究方法以及研究方向

可以进行充分的了解，为后续的编程，思想分析等做出相关的背景知识补充。

对于双目立体视觉的基本原理，我们首先介绍了双目立体视觉，三维重建这些名词背后的意义，以及其基本理论和原理。

由于该技术可以通过像点的匹配来获取相关基础矩阵，从而实现三维立体系统的重建，但是同时有关图像立体匹配的内容也是相关研究中最难以彻底清查解决的问题。

并且，由于不同方法有不同的优缺点，故选取合适的方法，是该实验成败的关键性因素，不可不

本论文的相关图像匹配均采用的是以特征点匹配为基础，进而采用小波变

换来提取图像相关突变特征点的方法来实现的。

本方法与传统的采用角点匹配的方法在性能和结果上截然不同。

在双目立体视觉的匹配方面，引进了一种相对其他方法比较好的特征点提取与特征点匹配的方法。

首先我们采用视差的方

法和区域支持的方法来求取相关的初始匹配，在候选匹配的原则下，卓有成效的提高了相关的匹配精确性，从而可以得到相关的初始匹配点对的集合。

并在此基础上，利用相关的基础矩阵对匹配点对的集合不断进行优化，从而，一方面可以不断来去除误差相对较大或不合逻辑的匹配点对，另一方面我们也得到

了精确且有效的相关基础矩阵。

最后，我们应用MatLab、OpenGL，以及联合编程去完成双目立体视觉中的三维重建程序实现。

并且给出了相关的实验结果和分析，并对部分匹配点对进行了三维重建的分析。

关键词：

立体匹配；

FFT;

MatLab;

OpenGL;

特征点的提取；

三维重建

Abstract

Thispaperstudiestheobservationoftwodifferentperspectivesonthesamesceneimage,basedonbinocularstereovision,throughtheextractionoffeaturepoints,likepointmatching,inordertoobtainthecorrespondingfundamentalmatrix,thispaperusesaFTTFuFouriertransformtheory,inordertoachievethree-dimensionalreconstructionofbinocularstereovision.

Inthepaperatthebeginning,weneedtointroducesomeofthetheoryofcomputerstereovisionsystem.Three-dimensionalreconstructionofthebinocularstereovision,binocularstereovisionapplications,aswellasdomesticandforeignbinocularstereovisionresearchinrecentdecades,researchresults,researchtheoryandconductRetrospectandProspect.Binocularstereovision,3Dreconstructionresearch,researchmethodsandresearchinordertofullyunderstand,andfollow-upprogramming,thoughtandanalysistomaketherelevantbackgroundknowledgeadded.

Thebasicprinciplesofbinocularstereovision,wefirstintroducedthebinocularstereovision,three-dimensionalreconstructionofthemeaningbehindtheseterms,aswellasitsbasictheoryandprinciples.Becausethetechnologycanmatchpointtoobtaintheunderlyingmatrixinordertoachievethereconstructionofthree-dimensionalsystem,butatthesametimerelatedtothecontentsoftheimagematchingisrelatedresearchinthemostdifficultto