光电三维传感.docx

光电三维传感.docx

《光电三维传感.docx》由会员分享，可在线阅读，更多相关《光电三维传感.docx（28页珍藏版）》请在冰豆网上搜索。

光电三维传感

光电三维传感

杨刘洋

摘要：

本文介绍了光电三维传感的一些常用方法，比如三角测量法、相位测量法、飞行时间法等，并对其测量原理和优缺点进行了分析。

列举了三维传感的应用领域，并作了相关方面的重点介绍，以及对未来的展望和应用前景的描述。

关键字：

光学三维传感；光电三维传感；三维识别；视觉测量；传感技术

1.引言

人类生活在一个丰富多彩的真实三维世界中，而整个世界又充满了无数神秘的事物等待着人类去探索。

随着人类文明的进步，人类对世界探索的方法不断提高和创新，探索的领域越来越广，获取的知识量也越来越大，并将多种学科技术应用到各个领域。

人类的记录内容由刚开始的符号、数字记号到后来的图像、文字记录；以前的记录手段都使用手工撰写和手工篆刻方法，而现代科技为人们提供了各种记录手段，有电记录、磁记录、光记录，以及它们的联合记录；随着电脑科技的发展以及激光技术的大力发展，现代的记录、存储、传感等都不断出现自动化、智能化、人性化，以前只能记录二维的数字、文字、符号、图片，然而很多物体本来就具有丰富的三维信息，但由于技术不够发达，不能对其三维信息全都记录下来，只能够丢掉一部分信息，记录其二维信息。

在理论技术条件和实际生成条件都大幅提高之后，获取和记录二维信息已不能满足人类的需要，获取、记录、显示三维信息已经成为当代人类社会发展共同的需要，为社会发展提供技术支持。

自20世纪90年代以来,光学三维传感已逐渐成为当今国际上的热门研究课题之一,美国、日本、德国、加拿大等国在该领域相继提出了许多新的测量原理和方法[1-7],我国目前在这一领域也取得了较大的研究进展。

光学三维传感是指采用光学的手段获取物体三维空间信息的方法和技术，目前主要是指获取物体的表面三维空间信息的方法和技术。

我们相信随着多学科的发展，将来的三维光学传感获取的不仅是物体表面的三维空间信息，还包括物体内部空间的三维信息。

光学三维传感具有大量程、非接触、测量速度快、系统柔性好、精度较高等优点,并且它以现代光学测量技术和计算机技术为技术背景，广泛应用于机器视觉、实物仿形、工业检测、农业生产、生物医学、影视特技、虚拟现实等领域。

为此，国际光学学会在1994年以信息光学的前沿为主题的年会上，首次将光学三维传感列为信息光学前沿七个主要领域和方向之一。

1997年正式启动的数字米开朗基罗计划（TheDigitalMichelangeloproject）就是光学三维传感技术在艺术雕塑和文物保护方面应用的一个成功例子。

该计划的成员由Standford大学和Washington大学的专家和学生组成,目的是对意大利的Michelangelo的雕塑和由他设计的建筑进行三维数字化。

该计划在1998-1999年之间进行,共对10个Michelangelo的雕塑（其中包括最为著名的雕塑David）,两座建筑物的内部,FormaUrbisRoma的1163个外部碎片和一块雕刻在大理石上的古罗马地图进行了三维数字化。

因此，研究三维传感技术对整个社会的发展是具有重大价值和意义的。

2.基本方法的分类及其原理介绍

对于获取三维物体外形信息的基本方法，根据照明方式的不同可以分为两大类：

主动三维传感和被动三维传感。

2.1主动三维传感：

采用结构照明方式。

由于三维面形对结构光场的空间或时间进行调制，可以从携带有三维面形信息的观察光场中解调得到三维面形数据。

由于这种方法具有较高的测量精度，因此大多数以三维面形测量为目的的三维传感系统都采用主动三维传感方式[8-11]。

作为结构照明所采用的光源，原则上可以采用激光光源和普通光源。

激光具有亮度高、方向性和单色性好、易于实现强度调制等优点，所以在很多应用领域常常采用以激光为光源的三维传感系统。

采用白光光源的结构照明方式具有噪声低、结构简单的优点，特别是在面结构照明的三维传感系统中受到愈来愈多的重视。

根据三维面形对结构照明光场调制方式的不同，人们将主动三维传感方法分为：

（1）时间调制：

飞行时间法（TOF）

（2）空间调制：

直接三角法

相位测量法

调制度测量轮廓术

2.1.2飞行时间法：

基于三维面形对结构照明光束产生时间调制。

图1飞行时间法原理

一个单频率调制的激光脉冲信号从发射器发出，经物体表面漫反射后，沿几乎相同的路径返向传回到接受器，利用检测光脉冲从发出到接受之间的时间延迟，计算出距离Z：

c为光速。

（式2-1）

不同高度处的时间延迟不同，从而由时间延迟量计算出相应的高度信息，通过物体的空间高度信息可重新构造出物体原貌。

其优缺点分析：

（1）原理简单

（2）可以避免阴影和遮挡等问题

（3）要得到较高的距离测量精度，对信号处理系统的时间分辨率有极高的要求。

2.1.3直接三角法：

三维面形对结构照明光束产生空间调制。

根据照明系统投射光束的不同可分为三种方式：

1.点结构-激光逐点扫描法

2.线结构-光切法

3.面结构-二元编码投影法

1.点结构-激光逐点扫描法原理：

由于三维面形对结构照明光束产生的空间调制，改变了成像光束的角度，即改变了成像光点在检测器阵列上的位置，通过对成像光点位置的确定和系统光路的几何参数，计算出距离Z[12]。

由像三角形和物三角形相似的几何关系可得：

（a）

（式2-2）

（式2-3）

（b）

（式2-4）

（c）满足Scheimpflug条件：

，则有：

（式2-5）

图2直接三角法中的点结构法原理

其优缺点分析：

（1）精度高，但测量耗时

（2）具有高的信噪比

（3）可以测量较暗的和远距离的物体

（4）必须附加二维扫描装置

2.线结构-光切法原理：

投影器投射片状光束，其光束称为片光或者光刀，光刀与被测物体表面相交形成剖面线，探测器接收到的是一条受到三维面形空间调制的剖面线，解调接收到的信号就可以得到该剖面线上个点的深度数据Z。

其测量原理和上述1中的（c）情况相同，照射的光束不再是点光束而是线光束，在此不再论述。

3.面结构-二元编码投影法原理：

当投射的光条在时间或空间进行编码时,构成编码图像投影法。

采用时间或空间编码的二维光学图样投影,能够大大提高测量速度。

将编码的二维图像投影到被测物体上，通过探测器拍摄物体表面被调制后的图案，将其相位信息进行解调，由相位和高度的关系算出相应的高度值Z。

优点：

信号处理简单可靠,无需复杂的条纹分析就能唯一确定各个测量点的绝对高度信息,自动分辨物体的凸凹。

缺点：

精度不是特别高,不能实现全场测量。

2.1.4相位测量法：

相位测量式轮廓测量技术是将光栅图样投影到物体表面,变形光栅像可以认为是由于三维物面对投影栅像的相位和振幅进行调制的结果.关于相位测量的方法[13]还可以进行细分为：

（1）莫尔轮廓术：

基本原理是利用一个基准光栅与投影到三维物体表面上，并受表面高度调制的变形光栅叠合形成莫尔条纹。

分析莫尔条纹就可以得到物体的深度信息。

其优缺点：

对整幅图像的数据进行处理,可以很快、很容易地测量整个物体的形貌,它的精度与三角法相当。

但莫尔法要求被测物表面深度不能太大,不能在自然光背景下工作。

（2）相位测量轮廓术：

采用正弦光栅或准正弦光栅投影和相移技术。

投影一个正弦光栅到物体表面时,从成像系统可以获得受该物体表面面形调制的变形条纹,条纹的变形由其相位分布的变化得到体现。

物体的高度信息被编码在变形光栅的相位信息中,如果能够正确得到某一点的相位值,就可以获得该点对应的高度值。

其优缺点：

最大优点在于求解物体初相位时是点对点的运算,即在原理上某一点的相位值不受相邻点光强值的影响,从而避免了物面反射率不均匀引起的误差,测量精度可高达到几十分之一到几百分之一个等效波长。

需要精密的相移装置和标准的正弦光栅,相移不准和光场的非正弦性会引人测量误差,同时,必须进行可靠的相位展开。

（3）傅里叶变换轮廓术：

与相位测量轮廓术类似,但它只需要采集一帧或两帧变形条纹图。

对获得的条纹图进行傅里叶分析、滤波、逆傅里叶变换、相位展开等处理后就能得到物体表面的三维数据。

其优缺点：

具有比传统莫尔技术更高的灵敏度,并全自动区分物体表面的起伏变化,对条纹阶次和内插数的设置没有要求,没有由光栅图形的高次谐波成分产生的假莫尔条纹所引起的误差。

数据处理量小,适用于实时和动态测量,但需保证各级频谱之间不混叠,从而限制了测量范围,与相位测量轮廓术相比测量精度相对较低。

（4）

空间相位检测：

将投影到物体表面且受物体面形调制的变形条纹看作是对具有恒定空间频率即载频的条纹再加上一个相位调制,它把一个条纹周期内的相位调制分布当作是线性分布,也是只利用一帧条纹图就可以计算相位。

其优缺点：

测量速度快,所需时间大约是傅里叶变换轮廓术的几分之一且受条纹的非正弦性影响较小,但对相位的计算精度比相位测量轮廓术要低,当物体存在缺陷时,缺陷处的相位跳变过大时将产生较大的误差。

相位测量原理：

[16]

图3相位测量原理图

第一步：

高度计算

（式2-6）

（式2-7）

（式2-8）

（式2-9）

（式2-10）

第二步：

相位提取

（式2-11）

（式2-12）

（式2-13）

（式2-14）

（式2-15）

（式2-16）

第三步：

由相位算出高度

由式2-16算出每一点的相位，再将所有的相位全部展开，再由式2-10计算出相应的高度值，由所有的高度值即可进行重新构建（恢复）空间三维形貌。

2.1.5调制度测量轮廓术：

完全基于投影到待测物面上的正弦条纹的调制度分布,并且投影方向和探测方向一致,所以可以实现对物体的垂直测量；不用求解相位和相位展开,可以测量物体表面高度剧烈变化或不连续的区域。

利用相移技术或傅里叶变换计算物面上各点的调制度,然后将投影系统在纵深范围内移动N次,得到N帧调制度图,再找出每一个像素点调制度最大值的位置,由此位置就可计算出此像素点的高度值。

（1）测量原理：

物体表面变形光栅可表示为：

（式2-17）

则对应的调制度函数为：

（式2-18）

光栅像位置与调制度分布的关系：

图4投影光栅像的调制度分布

调制度计算的方法：

（式2-19）

（2）测量系统：

图5调制度测量轮廓术测量系统装置图

（3）其优缺点：

非接触、不需相位展开、可测不连续表面；

速度慢、计算量大、精度不够高。

2.2被动三维传感：

采用非结构照明方式。

被动视觉检测利用自然光源（非结构照明方式），不需特殊的照明，通过从一个或多个摄像系统从不同的位置摄取被测物二维图像，利用图像中的某些特征建立它们的关系，从而获取实际物体的位置或尺寸信息。

根据测量系统中摄像机的数目进行分类，可以分为三类：

（1）单目摄像机移动法

（2）双目立体视觉法

（3）多目立体视觉法

2.2.1单目摄像机移动法：

原理：

被测物不动，移动摄像机在不同位置摄取物体图像，利用已知的不同位置摄像机间的关系，求取被测物的位置或尺寸信息。

图6单目摄像机移动法原理示意图

优缺点分析：

（1）结构简单，相机标定也简单；

（2）避免了立体视觉中的视场小，特征点匹配难等不足；

（3）需要多次多点多角度拍摄，用时较长；

（4）系统的测量精度主要受摄像机或物体移动位移精度的影响。

2.2.2双目立体视觉法：

原理：

摄像机1和摄像机2相对

位置固定，与被测物构成三角形，

被测物

被测物在两像面上形成立体像对，

根据匹配的像点，依据体视差

（StereoDisparity）原理来获取被

测物体的三维轮廓。

摄像机

摄像机

图7双目立体视觉法测量原理示意图

（式2-20）

其测量系统：

图8双目立体视觉测量系统组成

优缺点分析：

（1）直观、结构简单、测量精度较高

（2）多幅图像上同名点的搜索及自动匹配较为困难

2.2.3多目立体视觉法：

为减少图像特征匹配的多义性，在双目立体视觉的基础上，增加一台或多台辅助摄像机构成

多目体视法。

摄像机的增加，减少了因目标特征模糊而产生的误匹配现象，但计算量也相应地增加。

图9多目立体视觉测量原理示意图

3

主要应用领域及现状

3.1工业应用

光学三维传感技术广泛应用于科学研究和现代工业，将三维光学传感原理应用到视觉测量之后，检测、自动引导、识别等技术发生了革命性突飞猛进。

计算机视觉检测系统易于同设计信息及加工控制信息集成，具有非接触性、检测速度快、抗干扰能力强等优点，因而已被广泛地应用在工业生产领域。

早在上世纪80年代，计算机视觉检测技术在美国制造业中就得到广泛应用，应用最为广泛的是那些重复性检测相同部件或产品的场合。

电子工业是计算机视觉应用最活跃、最为成功的行业，其中印刷电路板和集成电路芯片的自动检测已广泛采用计算机视觉技术。

其它工业如汽车、木材、纺织和包装等也都有各自专用的计算机视觉检测系统。

如下将列举其典型应用。

结构光三维视觉在工业中的应用[17]可以分为两大方面:

视觉检测与视觉导引。

视觉检测主要是使用图象或图象的部分与设定的标准进行比较,以达到检测的目的。

视觉检测已成功地应用于电子、汽车、纺织、机械加工等现代工业中。

视觉导引主要是使用图象处理的方法来导引机器人克服故障等及发现最佳的路径。

3.1.1视觉检测

轿车白车身结构光三维视觉检测系统硬件框图如图10所示,图中略去了用于支撑测头的刚性框架。

首先车体由生产线上的传送系统自动地送入在线测量系统,定位传感器将车体的真实位置送入计算机控制器中。

计算机控制器根据已编好的测量程序自动地控制每一个视觉测头对车体的的关键部位进行测量。

测量白车身（body-in-white）的32个关键部位大约只需要20s。

计算机控制器能储存全部的测量结果,并根据其测量结果来自动地分析生产线的运行状况,及时地显示及预报可能出现的事故。

实际上，该系统是一多视觉系统。

所有视觉测头共享一个图象数据采集卡，多个视觉测头信号之间的“竞争”是靠多路选择器由程序设置解决,图象采集卡的利用率是相当的高。

I/O接口卡完成数据的输入输出、地址分配和译码。

近年来，美国、日本等一些国外汽车公司的现代化生产线上均采用这种新型全自动三维视觉在线测量系统，国内也正在开展这方面的研究工作。

三维视觉在线测量系统可以使车体关键尺寸在线数据的采集、处理、显示及预警自动化，可实现对产品百分之百的在线测量。

与三坐标测量机相比，它具有在线、省时、省人工、自动化程度高及测量成本低等优点。

图10轿车白车身结构光三维视觉检测系统硬件框图

3.1.2视觉引导

（1）在装配机器人中的应用

使用三维视觉系统来测量工件的准确位置,并基于测量结果来修改机器人的运动轨迹,从而提高机器手安装精度,提高产品质量及降低制造成本。

例如，在机器人安装汽车挡风玻璃的应用中,操作过程如下:

首先,四个视觉测头向挡风窗的四周发射激光束,根据其成象,三维视觉系统的计算机可以自动测量出挡风窗四周的准确三维位置,并根据测量结果计算出机器人应走的最佳路线。

然后将计算结果输入机器人控制器中,机器人根据接收到的信息将挡风玻璃准确地送入挡风窗中。

（2）在弧焊机器人中的应用

目前，焊接机器人应用得较多的就是结构光方法。

当摄象机摄取经变形的结构光之后，系统内部的计算机需要检测出每条光纹的畸变处，比如断点或最大曲率点。

象这些畸变反映了焊缝的形状，当光源的位置已知时，就能求出焊缝的实际三维位置。

图11即为V型槽焊缝及其光纹图象。

图11V型槽焊缝及其光纹图象

在工程方面也有相关的研究和应用，比如，在基于傅立叶变换轮廓术的动态三维面形测试原理的基础上，将学三维传感技术和传统的高速摄影测试技术相结合的思想应用到冲击与爆轰领域的研究[18]。

工业方面还有比较成功的应用就是讲三维扫描技术应用于服装工业，最早的运用是在军用服装上，美国Armstrong实验室曾经将Cyberware的三维扫描仪用于为高级战斗机飞行员设计服装。

3.2农业应用

在农业方面，将三维传感技术或系统应用于农业机器人，进行农业相关的除杂草[19]、除害虫、农作物种子质量检验、摘瓜果、管理蔬菜或者其他农作物。

例如，农业中的部分应用[20]就是：

基于视觉传感原理的距离检测技术,基于视觉传感原理的工作对象特征识别技术和基于视觉传感原理的运动导航技术。

如将基于双目立体视觉的测距方法可应用于葡萄和番茄采摘机器人,配备激光光源和红外光源的测距系统可在室外有效抵抗日光变化对检测结果的影响。

相对于工业机器人而言,应用于农产品生产领域的农业机器人其工作环境和工作对象更加复杂,需要更加高级的计算机视觉传感系统与之相匹配。

农业机器人视觉传感系统的主要任务包括:

1）确定机器人或其执行机构与工作对象（植物或动物）之间的相对距离；2）确定工作对象的品质、形状和尺寸；3）机器人行走运动的视觉导航。

Parrish和Goksel在用计算机视觉去识别和定位树上的水果方面的研究取得了一定的成功。

在日本和许多欧美国家,视觉测距方法已被成功地应用于农产品的位置检测。

基于视觉传感原理的距离检测方法中最常用的方法是双目立体视觉方法，通过双目视觉传感器

所获得的两幅图像,便可计算出物体在三维空间中的位置。

其基本原理见所前面介绍。

农业机器人视觉系统需要解决一些特殊的问题,例如对水果位置的检测,就涉及一些复杂因素。

水果具有不同的外形、大小和颜色,尤其是其在果树上出现的位置是随机的,而对于果树来说,又有不同的高度、排列和树形结构,同时采摘动作和风的作用会使水果和树枝产生不断的晃动,另外,雨、灰尘、湿度和光照等环境因素的影响,树叶和树枝的遮挡等等因素都会对水果的位置的检测带来很大困难。

基于水果表面的反射光谱有利于识别水果果实、树叶和树枝。

大量研究表明,根据水果表面反射光谱的不同,可分为两类,一类在700～1100nm波段比叶子具有更高的反射系数,而另一类则比叶子的反射系数要低。

造成这种差别的原因是由于水果表面水分量的差异,后者大都是多汁水果,如图12所示。

柑橘类水果、苹果、西红柿等，其果实和叶子的反射光谱特性的差异是显而易见的，因此，可以使用彩色CCD摄像机来进行的识别。

彩色CCD摄像机可以同时获取R、G、B三个分量的二维灰级图像，并根据被识别对象外表的光学特征，选择其中一个、两个或三个分量的图像作为特征识别的信号来源。

图12水果果实、花、叶和树干的光谱特性

利用光谱特性分割果实与叶子是一种有效的方法,但必须找到一组能够进行有效分割的色彩特征。

色彩在一副很亮或者很暗图像上很难辨别,因此,必须设计受光照影响较少的系统才实用。

研究表明,通过夜间获取的图像,避开阳光的干扰,可以获得很高的水果识别效率。

水果识别问题的研究已经取得了非常重大的进展，比如,根据苹果树的反射光谱特性,选择敏感波长的激光作为主动光源,在步进电动机的驱动下进行扫描,利用果树对激光的反射差异实现果实识别,利用三角测量原理实现果实定位[21]。

除了有摘的苹果机器人，还有摘桔子的机器人和摘黄瓜的机器人，如13图所示。

图13摘桔子的机器人（左）和摘黄瓜的机器人（右）

从总体上来看,鉴于农业机器人的工作环境和工作对象较工业机器人要复杂得多,农业机器人技术远不如工业机器人技术发展得成熟,由于农业机器人在技术和经济方面的特殊性,目前还没有普及,但随着农业生产向规模化、多样化、精确化发展,以及逐步出现的农业劳动力不足的问题,可以预计,随着信息技术和三维传感技术以及三维光学传感技术向农业领域的渗透,农业现代化技术的发展,农业工程技术的日趋成熟,农业机器人将越来越多地进入农业生产过程中。

各类视觉传感技术对于促进农业机器人进入生产实际均会发挥着重要作用,它们也会随着农业机器人的普及得到发展。

3.3医学应用

三维光学传感技术在医学方面的应用也是比较多的，比如人脸检测[14]、人脸三维测量[22]、口腔医学，医学影像学等方面都有所应用。

在医学上对软组织表面的三维影像的定量重建比较困难，尤其是对比较复杂的人脸面部容貌的三维重建，因此目前在国内外开展的研究大多是基于CT数据的骨骼组织的三维重建。

杨斌等利用CT数据进行了颅面结构三维可视化和颅面手术整形仿真模拟的研究.这种基于CT,数据的骨骼组织的三维重建技术,只能针对骨组织的畸变或缺损的情况,在颅面整形和牙领面畸形矫治等方面应用较多。

软组织表面形态是整形美容外科手术效果的最直观、最有说服力的表现形式。

包柏成等根据容貌正侧面的二维图像建立了容貌软组织的计算机辅助分析系统。

但人脸是一个塑变体,人脸的不确定性,使得通过二维图像识别技术对人脸测量的实施带来困难.只有三维图像数据才能真实地反映人脸表面的完整信息。

可以利用快速相移法测量准静态的人脸形貌。

在医学领域常用的三维测量技术[23]大致如下：

（1）三维CT测量技术（Computedtomography）：

原理是通过薄层扫描后将数据传送到计算机工作站并用相应的软件进行三维重建。

三维CT重建所获得的是立体图像具有清晰逼真、可以任意角度旋转、切割、直观地显示颅面各个部位、以及周围解剖结构间的位置关系等优点，较普通X射线平片和二维CT影像有更高的诊断价值，但扫描时间长、患者接受的射线量较大、口腔内的金属物（如银汞充填体、金属冠、固定矫治器）可能产生伪影，尚不能作为一种常规的检查方法。

在2009年闫晋等人就建立了一种运用三维CT影像对面部不对称畸形进行测量分析的方法。

（2）锥束CT测量技术（conebeamcomputedtomography,CBCT）：

该系统只需要围绕受检者旋转360°，既可获取三维信息也可以根据需要利用压缩或断层技术获得1∶1比例的、没有两侧或前后结构的重叠的清晰的全景片、头颅侧位片及前后位片。

具有扫描范围灵活、图像精确、成像迅速、放射剂量少、伪影少、能更好的集中射线等优点。

与全身CT相比，软组织分辨率低是CBCT的主要缺陷，金属充填物产生的伪影也是临床应用中不可避免的问题。

在2009年Cho等人为了更准确地三维测量颌骨，牙弓及牙根的各项指标建立了CBCT三维的头影测量坐标系及测量项目。

（3）三维激光扫描测量技术（3-Dimensionlaserscanningtechnology，3-DLST）：

该技术基本原理是应用激光三角测距法，是国际上最先进的模型及软组织立体测量方法。

具有扫描时间短、扫描及测量精确度和可重复性高、抗干扰能力强、立体重构快捷、逼真、适用范围广等优点。

在2008年刘松林等人用RolandLPX1200点激光扫描仪获取规则加工的仿牙模具的数字化模型。

（4）近景立体摄影技术（Stereophotogrammetry）：

该技术运用双目视觉的原理，用照相机或摄像机从不同角度摄取立体像，继而对立体像进行技术处理，并输入计算机，用相关软件进行处理和分析得出三维定量资料。

具有非介入、操作简便、价格低廉、直观逼真、获取图像数据速度快、可以减少测量时由于被测对象移动所带来的误差等优点，尤其不存在CT和激光扫描的辐射及损害眼睛等问题，在整个治疗过程中可重复拍摄，遂被广泛用于医学和生物学形态测量领域成为一种划时代的方法。

该方法设备昂贵，数据处理过程较复杂，需专业人员完成，还存在一些技术和分析软件上的问题。

（5）结构光技术（StructuredLightTeqnique）：

该技术是用三角测量原理捕获三维信息的系统。

即投影仪发射结构光图像至物体表面，当光照亮物体时，光图形会变形，此时已知距离的照相机以一定的角度捕获反射出来的变形光图形并将其转换成三维坐标信息，是精确，可靠的面部软组织形态的测量方法。

（6）核磁共振系统（MagneticResonan