毕业设计移动机器人视觉图像处理分析方法研究.docx

毕业设计移动机器人视觉图像处理分析方法研究.docx

《毕业设计移动机器人视觉图像处理分析方法研究.docx》由会员分享，可在线阅读，更多相关《毕业设计移动机器人视觉图像处理分析方法研究.docx（27页珍藏版）》请在冰豆网上搜索。

毕业设计移动机器人视觉图像处理分析方法研究

毕业设计-挪动机器人的视觉的图像办理剖析方法研究

挪动机器人研究中的机器视觉研究正在盛行。

图像办理的丰富内容不单提出了挑战，也为研究者供给了广阔的研究平台。

本文从挪动机器人视觉系统下手，第一介绍了挪动机器人视觉系统的概略和技术原理。

而后，挨次论述了挪动机器人单目系统、双目系统和全景系统的基来源理，并举例说了然鉴于这三种视觉系统的图像办理方法。

此中，鉴于单目视觉的挪动机器人SLAM方法联合CCD摄像机和里程计实现SLAM。

为了提升定位精度，防止错误定位的发生，在里程表定位的基础上，对不一样视觉图像提取的特点进行般配，依据极坐标几何计算摄像机的旋转角度，获取摄像机和里程表的角度冗余信息。

采纳扩展卡尔曼滤波器（EKF）交融信息，提升了SLAM的鲁棒性。

针对鉴于双目视觉的挪动机器人，针对峙体视觉算法复杂度、且计算耗时的问题，提出了一种及时立体视觉系统的嵌入式实现方案，

建立了一个以高性能多媒体数字信号办理器芯片TMS320DM642为核心的双通道视频收集系统。

使用高性能的数字信号办理器芯片能够知足及时性的要求，并且挣脱了从前由PC机实现的环境限制，如计算速度慢、功耗大等弊端。

为认识决室外机器人高精度定位问题，能够设计一种鉴于全景视觉近红外光源照度、全景视觉观察和手动编码路标的室外机器人定位系统。

该系统利用近红外成像减少光照和暗影的影响，利用全景视觉获取大范围的环境信息，依赖图像办理算法辨别路标，最后利用三角

丈量算法达成机器人定位。

挪动机器人在机器视觉方面的研究正在盛行，丰富的图像办理内容不单给研究者带来了挑战，也为他们供给了一个广阔的平台

这

文本以机器人视觉系统.开始

第一，

介绍了挪动机器人视觉系统的概略和技术原理而后

描述了单目挪动机器人系统、双目挪动机器人系统和三眼挪动机器人系统.的基来源理

和

它鉴于三个视觉系统.指定这些图像办理方法此中

此中，鉴于单目视觉挪动机器人的SLAM方法是CCD摄像机和里程计.的组合

到

提升定位精度，防止地点偏差的发生，在里程表地点.的基础上，依据视觉图像的不一样视角般配各样特点

我们

能够依据极线几何计算摄像机旋转角度，利用里程计获取摄像机角度的冗余信息，并利用扩展卡尔曼滤波器（EKF）.进行信息交融

所以，

这能够加强SLAM.的鲁棒性

为

鉴于双目视觉的挪动机器人，立体视觉算法复杂，耗时等.

我们

能够经过嵌入系统.来表现及时立体视觉计划

它

采纳高性能多媒体芯片TMS320DM642作为双通道视频收集系

统.

这

高性能DSP芯片.知足及时要求

这

方法挣脱了过去PC机的环境限制、计算速度慢、功耗大等弊端.

为

关于高精度室外机器人定位问题的要求，能够设计一个鉴于近红外光源照明、全景视觉察看和手动编码.的室外机器人定位系统

这

系统减少了近红外光图像对光芒和暗影的影响，经过全景视觉系统获取大范围的环境信息，经过图像办理算法辨别路标，并经过三角丈量算法达成机器人的最后地点.

介绍

视觉是人类获守信息的最丰富的手段。

往常超出75%的人类信息来自眼睛，而关于司机来说，超出90%的信息来自视觉。

相同，视觉

系统是挪动机器人系统的重要构成部分之一，视觉传感器也是机器人获取四周信息的传感装置。

在过去的十年里，跟着研究者们的大批研究工作，计算机视觉理论不停发展和完美。

挪动机器人的视觉系统已经波及到机器视觉的几乎全部方面，如图像收集、压缩编码和传输、图像加强、边沿检测、阈值切割、目表记别、三维重修等。

目前，机器人视觉系统主要用于以下三个方面。

（1）用视觉取代肉眼检查产品。

包含:

形状检查，即检查和丈量部件的几何尺寸、形状和地点；缺点检查，即检查部件能否破坏或划伤；完好检查，即检查部件上的部件能否完好。

（2）逐一辨别待装置部件，确立其空间地点和方向，指引机器人

手正确抓住处需部件，并将其搁置在指定地点，达成分类、的搬运和

装置任务。

（3）挪动机器人导航，利用视觉系统向挪动机器人供给环境的外

部信息，使机器人能够独立规划自己的行进路线，避开阻碍物，安全

抵达目的地，达成工作任务的拟订。

跟着科技的发展，研究者也提出了视觉伺服的观点。

只管这样，

机器人的视觉还没有达到视觉对人类这样重要的程度，主假如因为视

觉信息办理的理论和方法还不完美。

该相机能够在很短的时间内扫描

数百万甚至数千万像素的环境图像，甚至超出人眼的信息获取能力，

但其办理方法和办理速度却远不及人类。

但是，人们相信跟着微电子

技术的进步和计算机视觉的发展，机器人的视觉功能愈来愈强盛，机

器视觉在挪动机器人的信息感知中所占的比率也愈来愈大。

一、

挪动机器人视觉系统给予挪动机器人人类视觉功能，并能像人类相同经过视频办理从外面环境获守信息。

这关于提升机器人的环境适应能力、自主能力，最后达到模拟人类行为和部分代替人类劳动而不需要人类参加的目标，是极其重要的，对挪动机器人的发展也是极其重要的。

视觉系统包含硬件和软件。

前者确立了这一制度的基础。

但是，后者往常是不行或缺的，因为它包含图像办理算法和人机交互界面程序。

广义地说，挪动机器人的视觉是经过传感器获取视觉环境信息的过程，其不单包含全部可见光波段，还包含特定频次的红外光和激光+超声波的一些波段，如图1所示。

超声波传感器易于使用和保护，价钱便宜。

它们在过去的几十年里被宽泛使用，可是它们也有不正确的弊端。

激光传感器拥有很高的精度，只管价钱很高，但它们愈来愈遇到人们的喜爱。

与前二者对比，工作在可见光频段的摄像机获取了丰富的环境信息，为后续的图像办理供给了广阔的空间。

图1电磁频谱和声频谱视觉传感器包含主动传感器和被动传感器。

包含人类在内的大部分动物都有使用双眼的被动传感器。

也有近似蝙蝠的动物，它们有主动传感器来丈量它们自己超声波的距离。

一般来说，有源传感器的器件比较复杂，在成像条件和物体资料方面有必定的限制性，但能够靠谱地丈量二维信息。

无源传感器的办理固然复杂，但其构造简单，能够在一般环境下检测。

超声波传感器和激光属于主动传感器。

在大部分状况下，摄像机、红外传感器是被动传感

器，只有在不确立的状况下，如深水挪动机器人视觉传感器自己带有

光源，才是主动传感器。

传感器的选择应依据目的、物体、环境、速

度等因向来确立。

有时也能够考虑使用多个传感器并行共同工作。

此

外，应用于挪动机器人的视觉算法不一样于其余应用，其详细要求主要

表此刻:

（1）及时性要求迅速的算法办理，这不单直接决定了挪动机器人

能够行驶的最大速度，并且对整个导航系统的安全性和稳固性有着至

关重要的影响。

比如，机器人的避障算法都需要预先知道阻碍物的位

置，以便及时行动。

越早获取这些信息，系统就需要越多的时间来正

确响应。

因为视觉信息办理中的大批计算，算法程序蒙受着巨大的压

力，特别是关于户外挪动机器人。

（2）鲁棒性要求因为挪动机器人驾驶环境的复杂性，所采纳的立

体视觉算法应能在各样光照条件、各样环境下尽可能保证其有效性。

机器人在室内环境中的导航环境相对较好，但关于室外挪动机器人或

陆地自主车辆ALV来说，不确立性要素增添好多，如光照变化、边

缘组织等。

，并且没有假定道路是平展的。

所以，需要视觉导航算法

来保证它们在各样环境中的有效性。

（3）立体视觉算法也应知足精度要求，但这类精度不一样于虚构现

实或三维建模所要求的精度，因为立体视觉算法重修道路地形的最后

目的是检测阻碍物，而不是精准描述场景。

关于挪动机器人来说，有

时忽视细节能够提升整个系统的稳固性。

一般来说，挪动机器人的视觉系统老是拥有以下组件:

a.一个或多

个光信号发生器，其能够是自然信号发射器（比如来自物体的环境光

的反射光）或人造光信号发射灯（比如闪光灯、激光光源）。

B.一个或多个用于接收由构造反射的光信号的传感器（比如，照

相机，该照相机产生的图像能够说是原始图像，可是该传感器不必定

是光学传感器，也能够是超声波传感器。

C.图像收集卡，将接收到的图像变换成计算机可识其余二进制代

码，供后续办理。

D.加强和去噪图像，并除去和纠正缺点。

E.经过图像储存描述变换后的图像，并给出必需的信息。

F.特点提取，依据各样法例、算法和其余标准导出有关信息。

G.目表记别，用于将提取的图像特点与训练阶段记录的图像特点

进行比较。

表记能够是整体表记、当地表记或零表记。

不论结果怎样，机器人一定依据辨别过程的结果断定采纳相应的行动。

在这个阶段，任何错误都可能致使性能不确立。

依据挪动机器人的视觉技术，能够分为三类:

单目视觉系统、双目视觉系统、全景视觉系统。

二、

挪动机器人的单目视觉系统

1.1摄像机参照框架

关于单目摄像机，往常采纳最简单的针孔模型。

摄像机的针孔成像模型

针孔成像模型中有四个参照坐标系。

（1）摄像机在图像坐标系中收集的数字图像能够作为数组储存在

计算机中，数组中每个元素（像素）的值就是图像点的亮度（灰度）。

如

图2所示，在图像上定义了直角坐标系u-v，每个像素的坐标（u，v）

分别是阵列中像素的列数和行数。

所以，（u，v）是以像素为单位的图

像坐标系。

图2图像坐标系和成像平面坐标系

（2）需要从头成立以物理单位

（比如，mm）表示的成像平面坐标系x-y，因为图像坐标系仅表示像素位于数字图像中的列和行的数目，而不表示图像中像素以物理单位表示的物理现象。

如图2所示，以物理单位丈量的成像平面坐标系的坐

标用（x，y）表示。

在x-y坐标系中，原位O1定义在摄像机光轴和图

像平面的交点处，称为图像的主点。

该点往常位于图像的中心，但可

能会因相体制造而有所偏差。

图像坐标系中O1的坐标为（u0，v0），并且每个像素在X轴和Y轴方向上的物理尺寸为dx、dy。

两个坐标系之间的关系以下:

此中，S是因为摄像机成像平面的坐标轴不可以相互正交这一事实

而产生的偏斜因子。

（3）摄像机坐标系中摄像机成像的几何关系如图3所示，此中:

0

点称为摄像机光学中心；XC轴和YC轴平行于成像平面坐标系的X轴和Y轴；ZC轴是相机的光轴，垂直于图像平面。

光轴和像平面的交点是像主点O1，由点O和XC、YC、ZC轴构成的直角坐标系称为摄像机坐标系。

OO1是相机的焦距。

图3照相机坐标系和世界坐标系（4）世界坐标系还选择参照坐标

系来描述照相机和物体在环境中的地点。

这个坐标系被称为世界坐标

系，也称为真切坐标系或目标坐标系。

摄像机坐标系和世界坐标系之

间的关系能够用旋转矩阵R和平移向量T来描述。

所以，在世界坐

标系和摄像机坐标系下，空间点P的齐次坐标系分别为（Xw，Yw，

Zw，1）T和（XC，YC，ZC，1）T，存在以下关系:

在公式中，R-3x3正交恒等式矩阵；t—三维平移列的向量，0=（0，0，0）t。

1.2摄像机线性模型

透视投影最常用的成像模型能够是针孔

透视）或中心透视投影模型。

真空模型的特点在于，来自场景的

全部光穿过投影中心，该投影中心对应于透镜的中心。

穿过投影中心并垂直于像平面的直线称为投影轴或光轴，如图3所示。

投影产生一个颠倒的图像，有时假定一个垂直的虚构平面从实质成像平面到针孔等距。

此中，x-y-z是一个固定在相机上的直角坐标系，按照右手定

则，原点在投影中心。

Z轴和投影从头组合指向场景，XC轴、YC轴平行于图像平面的坐标轴X和Y；XC-YC平面和图像平面之间的距离OO1是照相机的焦距F。

摄像机坐标系和成像平面坐标系之间

的关系以下:

此中（x，y）-点p在成像平面坐标系中的坐标；（xc，yc，ZC）t-摄像机坐标下空间点p的坐标。

用齐次坐标系矩阵表示:

将x，y和ZCYC

XC带入上述公式，获取图像坐标系和世界坐标系的关系:

此中

αu=fdx，αv=fdy，s=s；‘X-f表示在矩阵向量X的最后一个元素后加1；[RT]-它完好由摄像机有关于世界坐标系的方向决定，称为摄像机

外面参数矩阵，由旋转矩阵和平移向量构成。

k-仅与摄像机内部体制

有关，称为摄像机内部参数矩阵，对应的αu、αv、u0、v0和s称为

摄像机内部参数。

此中，（u0，y0）是主点坐标，αu，αv分别是图像的

u轴和v轴上的比率因子，s是描述两幅图像坐标轴倾斜程度的参数；

p-是一个3×4矩阵，称为投影矩阵，即从世界坐标系到图像坐标系的变换矩阵。

旋转矩阵的三个参数和平移向量T的三个参数被称为相机的外面参数。

能够看出，假如摄像机的内部和外面参数是已知的，投影矩阵P是已知的，并且假如任何空间点的三维坐标（Xw，Yw，Zw）是已知的，则能够找到其图像坐标系的地点（U，V）。

但是，假如空间中某一点的图像点的坐标（U，V）是已知的，即便投影矩阵是已知的，其空间坐标也不是独一确立的，并且它对应于空间中的直线。

鉴于单目视觉的1.3挪动机器人的应用

鉴于单目视觉的挪动机器人SIFT算法研究

大部分挪动机器人使用机载传感器，如激光测距仪、声纳和照相机。

最近几年来，跟着图像办理技术（如SIFT算法）的进步和CCD相机低成本+小重量、小能耗等长处，鉴于视觉的SLAM愈来愈遇到国内外学者的关注。

目前，鉴于单目视觉的挪动机器人SLAM方法是将CCD摄像机和里程计联合起来实现SLAM。

为了提升定位精度，防止错误定位的发生，在里程表定位的基础上，对不一样视觉图像提取的特点进行般配，依据极坐标几何计算摄像机的旋转角度，获取摄像机和里程表的角度

冗余信息。

采纳扩展卡尔曼滤波器（EKF）对信息进行交融，提升了

SLAM的鲁棒性。

挪动机器人模型

在二维环境中，挪动机器人的姿态由x，y，θ表示，此中x，y表示挪动机器人的相对世界坐标地点，θ表示机器人的方向。

在姿态追踪问题中，挪动机器人的初始地点是已知的。

地图创立过程是指当

挪动机器人的姿态已知时的环境地图创立过程。

在SLAM中，机器人利用其携带的传感器来辨别未知环境中的特点标志，而后依据机器人与特点标志之间的相对地点和里程表读数来预计机器人的世界坐

标和特点标志。

这类在线定位和地图创立需要保护机器人和特点标志之间的详尽信息。

在特定的室内环境下，鉴于环境特点的SLAM方法的基本思想是将挪动机器人的地点和姿态以及环境特点的坐标表示在一个状态向量中，并经过察看机器人行走过程中的环境特点来做出最正确的估

计。

假定挪动机器人是世界坐标系中的一个点（由x和y表示），机器人的开端地点是世界坐标系的原点，行进方向（机器人的方向θ）是机器人坐标系中的横坐标，即x’轴，逆时针旋转90度是纵坐标的y’轴，如图4所示。

图4挪动机器人的挪动过程。

所以，世界坐标系中的方程是:

此中xk和yk代表机器人在时间k时在世界坐标系中的地点；θk代表机器人在时间k的方向；δlk是挪动机器人在时间K的位移；指示机

器人在k时辰的偏航角。

因为目标是一个静态对象，它在世界坐标系中的地点能够表示为，并且（i=1，-，n）是第一个目标在世界坐标系中的地点。

机器人获取的目标地点（，）是指机器人坐标系中第一个目标的地点，所以需要将其变换为世界坐标，能够表示为

扩展卡尔曼滤波器（EKF）

卡尔曼滤波器假定系统是线性的，但实质的机器人运动模型和观

测模型是非线性的。

所以，往常使用扩展卡尔曼滤波器。

鉴于EKF的映照和定位能够归纳为循环迭代预计-校订过程。

EKF算法在办理不确立信息方面是独一无二的。

所以，EKF成为使用最宽泛的SLAM方法。

依据上述公式和假定，卡尔曼滤波器公式能够设计以下:

此中和是拥有不有关均匀值零的正常白噪声序列，方差分别是和。

时间k处的状态向量和丈量向量能够表示以下:

丈量值是从状态展望向量计算的目标地点，状态展望向量是指机器人坐标系中目标点的详细地点，并且能够表示为:

所以，系统状态方程和丈量方程是:

此中

更新方程式

EKF用于预计和更新系统状态。

当机器人在运动过程中发现新特点时，需要依据新特点的观察向量z（k+1）和机器人的目前状态计算新特点标志的初始状态，并更新状态向量和协方差矩阵p

在SLAM中，系统的状态包含机器人地点的预计和机器人坐标系中的环境特点，而协方差矩阵P表示预计偏差。

扩展卡尔曼滤波方

法一般将信息办理分为展望和更新，用这类方法对信息的预计是无偏

预计。

卡尔曼滤波器展望方程是:

更新方程是:

此中q是状态噪声协方

差，r是丈量噪声协方差，p是偏差协方差，k是增益矩阵。

展望方程用于展望目前状态，偏差协方差矩阵用于获取下一时辰

的先验预计。

新方程将先验预计与丈量值相联合，以获取更精准的后

验预计。

SIFT算法

LoweDG在2004年总结了现有的鉴于不变技术的特点检测方

法，并正式提出了一种尺度不变特点变换——SIFT算子，它是一种鉴于尺度空间、的图像局部特点描述符，不便于图像尺度、旋转甚至仿射变换。

撒

该算法第一在尺度空间进行特点检测，确立重点点的地点和尺度。

而后，利用重点点域中梯度的主方向作为点的方向特点，实现算子在尺度和方向.上的独立性

坡度和方向的计算公式为:

上述公式是（x，y）处梯度的模值和方向公式，此中l使用的比率是每个重点点的比率。

在实质计算中，能够在以重点点为中心的邻域窗口中进行采样，并经过直方图计算邻域像素的梯度方向。

直方图的峰值表示重点点处邻域梯度的主要方向，即作为重点点的方向。

三、

挪动机器人双目视觉系统3.1介绍

双目视觉测距法是一种鉴于双目视觉的人体感知距离的测距方

法。

人们的眼睛从略微不一样的两个角度察看客观三维世界的景色。

由

于几何光学的投射，在左、右两只眼睛视网膜上离察看者不一样距离的

物体的图像不在同一地点。

双眼视网膜上的这类地点差别被称为双眼

视差，它反应了客观光景的深度

（或距离），如图5所示。

第一，使用两个或多个相同的摄像机从不一样的地点对同一场景进行成像，获取立体图像对，而后经过各样算法对相应的图像点进行般配，计算视差，而后经过三角丈量恢复距离。

立体视觉测距的难点是怎样选择合理的般配特点和般配标准来保证

般配的正确性。

图5是双目立体视觉的表示图。

两个图像平面位于一个平面上，两个摄像机的坐标轴相互平行，并且它们的x轴重合。

在该模型中，场景中同一特点点在两个摄像机图像平面上的成像地点是不一样的。

我们称场景中同一点的投影点为两个不一样图像的共轭对，一个投影点就是另一个投影点。

找寻共轭对就是解决对应问题。

两幅图像重叠时共轭点地点之间的差别（共轭点之间的距离）称为视差，穿过两个摄像机中心并穿过场景特点点的平面称为极线平面，极线平面与图像平面之间的交线称为极线。

假定坐标系的原点与左透镜的中心重合，并且场景点P（X，Y，

Z）在左、右图像平面中的投影点分别为P1、PR，比较δOLPL和δOMP是相像的，ORRPR和ORNP是相像的

所以，能够经过计算视差来实现各样场景点的深度恢复。

注意:

因为数字图像的失散特征，视差值是一个整数。

在实践中，一些特别

的算法能够使视差计算精度达到亚像素级。

所以，关于给定的一组摄

像机参数，提升场景点的深度计算精度的有效方法是增添基线距离

2a，即，增添对应于场景点的视差。

但是，这类大角度立体方法也带

来了一些问题。

主要问题是:

（1）跟着基线距离的增添，两个摄像机的共视范围减小；

（2）跟着对应于场景点的视差值的增添，搜寻对应点的范围增添，模糊的时机增添；（3）透视投影惹起的变形致使两台摄像机收集的两幅图像不一致，给共轭对确实定带来困难。

在图5中，图像中的每个特点点位于第二图像中的同一行。

事实上，两条核线不必定完好在一条直线上，也就是说，垂直视差不为零。

但是，为了简单起见，很多双目立体算法假定零垂直视差。

在实质应用中常常会碰到两个摄像机的光轴不平行的状况，而调整它们平行重合的技术就是摄像机的标定。

双目视觉系统在3.2挪动机器人中的应用

鉴于双目视觉的挪动机器人视觉导航研究

针对峙体视觉算法复杂度、且计算耗时的问题，提出了一种采纳高性能多媒体数字信号办理器芯片TMS320DM642的及时立体视觉系统嵌入式实现方案

以建立双通道视频收集系统为核心。

使用高性能的数字信号办理器芯片能够知足及时性的要求，并且挣脱了从前由PC机实现的环境限制，如计算速度慢、功耗大等弊端。

3.2.1挪动机器人的阻碍物检测原理

采纳立体视觉的方法检测阻碍物，对每对待确立的左右图像像素

点进行立体视觉计算，获取其高度和深度信息

地面上高度值高于某一阈值的点视为阻碍点，当深度值低于某一

阈值时，需要改变行进方向，如图6所示，挪动机器人双目CCD摄

像机与DM642开发板的视频端口相连，形成挪动机器人立体视觉系

统的挪动机器人构造表示图，如图7所示，此中h=230mm。

所以，

能够经过计算三维坐标的y值和h值之间的差值的绝对值来确立空间

中的某一点是不是可行点。

所以，假如差值大于5毫米，这是不行

行的

图6挪动机器人图7构造图3.2.2阻碍物目标地区提取

（1）为了降低原始图像I中的噪声，对图像I进行高斯光滑滤波，

获取图像M；

（2）利用最大类间方差切割算法获取图像M的最优阈值Th，并对图像进行初步二值化，此中灰度值大于Th作为背景，灰度值小于Th作为阻碍目标，获取二值图像N；（3）在步骤2中获取的二值图像N一定拥有很多不规则的细节，比如室内环境