基于数学形态一学的实时车牌定位方法研究.docx

基于数学形态一学的实时车牌定位方法研究.docx

《基于数学形态一学的实时车牌定位方法研究.docx》由会员分享，可在线阅读，更多相关《基于数学形态一学的实时车牌定位方法研究.docx（16页珍藏版）》请在冰豆网上搜索。

基于数学形态一学的实时车牌定位方法研究

基于数学形态学的实时车牌定位方法研究

1引言

众所周知，各种类型的交通违章行为给交通带来的危害非常严重，是造成习机动车交通事故的主要原因之一。

采用先进技术，进行交通违章行为的自动检测，为公安交通管理部门提供强有力的执法证据（电子警察不仅可以抓拍到车辆的违章过程，还可以抓拍到车牌的特写照片），对改善交通秩序、保障交通安全、提高道路交叉口通行能力、减少交通事故等都将起到重大作用。

但随着电子警察数量的增加，图片数量也急剧增长，完全依赖于后勤处理人员的人眼识别是不经济的，所以，进行违章车牌号码的自动识别，提高违章处罚的自动化水平，势在必行，因此，自本章起到第七章，论文将对车牌自动识别方法进行研究。

由于车牌定位直接影响车牌识别准确率的高低，因此国内外研究者根据对车牌特征的理解，提出了很多算法[52-57]，如:

文献[52]采用基于扫描行的方法;文献[53-54]采用边缘锐化的方法;文献[55-59]采用彩色图像识别技术来处理车牌定位的方法;文献[60-67]通过车牌的矩形边框特点来定位车牌;文献[68-72]采用数学形态学方法来定位车牌。

现有的车牌定位方法具有以下几个主要缺陷:

1、选择车牌定位的特征较少，造成“伪车牌”增多;2、两种以上特征的组合属于松散组合;3、定位准确率和定位速度无法统一提高。

本章提出了一种基于数学形态学和评价函数的实时车牌定位算法。

与其他方法不同，本文以数学形态学和模糊评价函数作为多种车牌特征结合的载体，避免使用单个特征或多个特征的松散组合来定位车牌，提高了车牌定位的抗干扰性和定位准确度。

另一方面，本文将基于点的数学形态学运算方法进行引申，形成了一套基于线的数学形态学运算方法，结合基于对象的车牌抽取方法，不仅提高了车牌定位的准确率，而且具有很强的实时性。

实验显示，本章所述述算法具有优良的性能。

2算法概述

图5-1车牌定位算法总流程图

根据对车牌与周边环境的差异特征，以及国内外车牌定位算法的优缺点分析，本文采取如下措施来提高车牌定位的效果:

1、选择稳定、可靠的车牌特征。

如果特征选择不当，当该特征发生变化而不满足条件时，定位算法将无法找到车牌。

如选择车牌边框作为车牌定位的根据，当车牌边框变形，不再是直线时，Hough变换将无法找到车牌边框。

2、必须结合多种车牌特征进行定位，争取从整体来分析车牌的真伪:

选择两种以上的车牌特征来定位车牌，将能提高车牌定位的准确率，但如能综合运用这些特征，将具有更好的定位效果和更强的车牌真伪辨别能力。

3、适应光照的变化。

除在光照较暗的夜晚需要补光外，车牌定位算法必须具备适应光照变化的能力。

车牌定位的算法流程图如图5-1所示。

本章的核心思想是;首先利用垂直边缘锐化技术，增强垂直边缘，再根据车牌字符矩形尺寸特征进行数学形态学运算，将垂直纹理融合成车牌宏观形态特征;以数学形态学和模糊评价函数为载体，将车牌纹理结构信息与车牌的宏观整体结构信息进行有机结合，增强车牌定位的准确性和抗干扰性;将基于点的数学形态学运算方法进行引申，形成一套基于线的数学形态学运算方法，结合基于对象的车牌抽取方法，不仅提高了车牌定位的准确率，而且具有很强的实时性。

3基于抽象目标模型指导的图像分割方法

本节将详细介绍本文所提出的基于数学形态学和评价函数的车牌定位算法:

.虽然车牌定位算法，归类于图像分割，但通常意义的分割，只能把图像中具有不同平均灰度或不同组织特征的区域分离开，而车牌在整个汽车图像中只占有很小部分，也就是说，在整个图像的灰度直方图中只占有很小的比重，而现有的图像分割算法对小目标分割的效果较差，因此一般意义的图像分割方法应用于车牌定位分割中，不可能取得很好的分割效果。

再者，车牌区域并不具各灰度一致性的特征，特别是中国车牌，具有蓝底白字、黄底黑字、白底黑字等几种牌照，在灰度空间中呈现出白底黑字和黑底白字的特点，无法单独将其归类为白或者黑的区域中，因此无法使用一般的图像分割方法将其提取出来。

因此引出了各种针对车牌定位的分割方法。

但是这些方法依然摆脱不了现有图像分割方法的影子。

也就是说，依然基于象素点亮度及其邻域的特点来定位和分割车牌，没有从目标整体识别的角度来考虑，因此图像定位效果并不令人满意。

目标描述被广泛应用于图像识别中，用目标之间的形状、大小、面积、周长、矩形度、圆度、纹理、边缘、投影等差异来识别不同目标，但都是在目标已被分割、分离，并经过一定的预处理（如二值化）之后才开始运用这些特征来识别的，却很少被有意识的运用于图像分割中。

这是因为目标的描述特征是一种高级特征，而图像分割属于一种低级特征分割，多数情况下，都是通过低级特征分割，将检测目标正确提取后，再依据这些低级特征来抽取高级特征。

但是，当背景较为复杂时，仅仅依据低级目标特征实现可靠的目标抽取是很难办到的，车牌分割就属于这类问题。

图5-2基于抽象目标模型指导的图像分割方法流程图

针对这种在复杂背景下的目标提取，本文提出了一种基于目标抽象描述的图像分割方法。

也就是说，通过对目标的各种高级特征的概率统计，抽取能代表目标并区别于其它非目标区域的关键特征，形成统一的有机抽象描述模型，来指导图像分割的全过程，直到被检测目标达到满意的分割效果为止，如图5-2所示。

该方法具备一定的目标识别能力，提高了目标提取的准确度，而且其计算的实时性能也较好。

目标的各种高级特征可依据不同的图像预处理过程（边缘锐化、边缘跟踪、角点抽取、数学形态学等等）进行处理，再通过基于目标描述的滤波以便滤除与目标特征差异较大的噪声，然后将各种高级特征合成整体目标的描述，经抽象目标模型评价，判断是否达到满意的目标分割效果。

如果分割效果较差，可通过调整影响图像分割效果的因素，来指导分割的过程。

本文即是依据上述的图像分割方法来指导整个车牌图像的分割过程，具体过程见流程图5-2。

4图像预处理

金字塔式数据抽取。

为使车牌自动识别系统准确、可靠的运行，一般所拍摄的图像分辨率较高，而且图像尺寸也较大，这对车牌定位来说，大量的信息是多余，因为车牌定位只需获取车牌图像在整个图像中的确切位置，而不需要知道车牌号码是多少，况且增加了车牌定位算法的时间。

为此，本文采用金字塔式数据抽取方法，可降低图像分辨率，来减少数据量，以使提高车牌定位的处理速度。

观察汽车图像发现，车牌的垂直纹理密集而丰富，而车身图像却恰恰相反。

因此首先想到的就是边缘锐化。

同时为避免噪声对垂直边缘锐化的影响，在锐化之前需要进行滤波。

为了抑制噪声，通常我们选用低通滤波，但由于边缘轮廓含有大量的高频信息，所以.，过滤噪声的同时，必然使边界变模糊，这是我们不愿看到的。

但是若不处理，在垂直边缘锐化时，噪声也同样被加强。

而中值滤波却能解决这一问题。

中值滤波对于消除孤立点和线段的干扰十分有用，它的突出优点是消除噪声的同时，还能保护边界信息。

设数字图像u=（i，j，g），则图像u的梯度场可定义为:

由于我们只注重车牌的垂直纹理，所以只取垂直方向的梯度场用差分形式表示为:

C（i，j）=|f（i，j）-f（i-l，j）|（5-3）

如图5-3所示，差分后，图像中的垂直纹理被强化，而水平纹理和平滑区域则被弱化，从而使车牌区域显现出来。

从图中可以看出车牌纹理区域虽集中，但各字符之间无强连接，无法完整提取出车牌。

图5-3垂直边缘增强

一些研究者认为:

通过水平及垂直投影方法，在车牌存在区域会出现峰值，并以此来确定车牌存在区域，这种方法存在很大的弊端。

首先，车牌存在区域在整个图像中只占很小比例，因此投影后车牌区域所占比重也较少，不一定会展现较强的峰值;其次，车辆前身还含有其它较为丰富的垂直边缘，如车标，车辆前身散热片等等，在投影方向上并不呈现强分离现象，给车牌定位带来困难;最后，图像经垂直边缘增强后，各字符之间出现无连接现象，无法确定具体的车牌区域。

因此为达到车牌的可靠分割，还必须利用车牌的其它特征来识别车牌的准确位置。

5基于数学形态学和评价函数的车牌定位方法

5.1使用车牌纹理的特征参数膨胀

正如上节所言，仅仅依据车牌垂直边缘丰富这一特征来定位车牌并不是明智之举。

从车牌识别的应用现场考虑，车辆图像是由固定拍摄地点的摄像机拍摄的，其触发机制多由环形感应线圈感应到车辆存在后，立即发出指令要求数码相拍摄的。

从检测到车辆到数码相机拍摄完成，时间不超过40ms，在如此短的时间内，车辆的行驶范围很小。

以车速为100Km/H计算，在40ms的时间里也仅仅能行驶1.2m。

CCD摄像机一般放置在5米以外，根据成像原理，在1.5米内的深度变化范围内，车牌大小变化较小。

由此可以得出结论:

车牌的字符大小的变化也很小。

因此可以利用这一特征来参与车牌定位的工作。

为增强车牌大小变化的兼容性，取0--1.5m范围内（车辆从被检测，到图像抓拍完成的时间间隔内车辆的存在范围）车牌字符呈现的最大车牌字符间距a和字符高度b作为车牌的最大特征参数。

那么如何将这些离散的垂直车牌字符边缘形成一个有机的整体呢?

数学形态学处理方法是解决上述问题的最好方法。

取长度为（2a+1l）的一维结构元素B对图像C中梯度大于某一阈值Th的象素点执行膨胀运算，如图5-4所示，车牌区域将被融合为一个整体。

其整体的大小近似等于车牌在图像呈现的大小，从而使车牌的细小结构与车牌的整体结构相互结合，为车牌的识别和定位工作提供了很好的证据。

5.2一维脉冲滤波

经过数学形态学膨胀运算之后，车牌区域融为一体的同时，其纹理也会融为一体，形成块状区域，必须将这些噪声予以滤除。

如上节所言，既然车牌大小变化较小，同样可以将该特征运用到车牌定位的预处理中。

由于本文采用的结构因子宽度大于等于车牌字符间距，所以经膨胀运算后，车牌区域将被填充为实体，车牌区域每行的宽度应该在总体车牌宽度附近变化，为增强车牌大小变化的兼容性，取0.8Pwl

其中Pw1为最小车牌宽度，Pw2为最大车牌宽度。

由此可以逐行分析线段的长度，对于宽度小于0.8Pw;以及宽度大于1.2Pw2的线段，则认为是噪声，将其滤除。

经过上述处理后，车牌区域将更为明显，如图5.5所示。

图5-5一维脉冲滤波

5.3二值化方法

在处理膨胀运算之前，必须进行二值化处理。

对现有图像分割算法的分析发现，现有二值化的分割方法，并不适合于车牌图像的分割。

原因如下:

车牌目标相对于整个图像来说，属于小目标，而现有的图像分割算法对小目标分割的效果较差;其次，车牌目标区域并不预先知道其灰度分布范围，因为车牌具有“白底黑字”和“黑底白字”两种模式;再则，车牌分割算法必须经受住光照变化对车牌二值化变化的影响；最后，车牌区域并不是灰度相近区域，经二值化处理后，车牌区域的前景和背景分属于不同的目标。

因此必须从车牌自身的特点入手编写特定的图像分割算法来处理图像二值化问题。

正如前面几节所言，判定是车牌纹理必须满足一定的要求，如垂自边缘间距以及在同一行上跳变波形应具有一定的连续性（满足车牌宽度限制），而上述几种限制可以通过数学形态学的膨胀运算和脉冲滤波来完成，因此剩下的问题就是如何选择二值化阈值问题。

本文提出一种基于目标的图像分割方法，即通过对目标的形象描述来指导图像分割的过程。

经阀值分割后的对象如果不满足目标描述的特征，则认为目标分割效果不理想，必须改变阀值直到分割效果达到目标描述的特征为止。

从车辆配挂车牌的角度考虑，是希望交警和过往行人能非常容易的识别出车牌号码，因此在车辆前身设计以及车牌设计时，充分考虑了车牌的“醒目”性:

对大量的车辆图像观察后发现:

车牌纹理跳变强烈，跳变纹理及跳变幅值在整个车牌区域具有一致性;再者，在与车牌类似大小的矩形块区域中，车牌具有最大的一致性跳变纹理。

也就是说，从区域一致性跳变的角度来说，车牌区域具有最大的跳变阈值。

根据这一特点，本文设计了一种基于评价函数的二值化方法。

经过数学形态学的膨胀运算和基于抽象目标描述指导的滤波后，剩下的直线即是车牌存在的潜在位置，并由这些直线组成车牌的矩形区域。

也就是说，只有采取合适的分割，才能提取出完整的车牌区域，因此必须对分割好坏进行评价。

扫描差分二值化阀值T的选取贯穿于程序流程的始终。

阀值的选取分为如下两种方法:

（l）将当前时刻以前的最近历史记录（取10幅汽车图像）的扫描差分阀值T取均值，作为当前图扫描差分二值化阀值T的初始值，该方法的目的是为了跟踪光照强弱的变化，当光照条件好时，差分二值化阀值普遍提高，当光照变暗时，差分二值化阀值普遍减小，以减少阀值的搜索时间;

（2）采取迭代方法，改变阀值以适应当前车牌图像的特点。

当光线变强（弱）时，一方面，图像中观侧物体边缘的相邻象素间的差分值也在相应地变大（小）;另一方面，对于拍摄的实际汽车图像，具有类似于车牌的纹理、长度、宽度以及高宽比的块区域中，车牌照区域具有最大（至少是次优值）的连续跳变差分阀值。

根据这些观察结果，配以相应的评价函数f（p，g），以适应阈值变化。

本算法采用模糊评价函一数，如图5-6所示。

定义变量:

Z1=p/H5-4

Z2=g/（PL）5-5

式中，p为满足带通滤波规则的直线总数;g为满足带通滤波规则的扫描线上的灰度跳变总数;H为字体象素高度，H=4b；L为车牌内单线跳变数，一般取L=14;变量Z1表示符合条件的直线总数与字守穿高度之比，表明获取的直线总高度是否接近车牌的高度（象素高）;变量Z2表示符合条件地直线总数与字符高度比例，表明每条直线是否符合车牌纹理跳变特征。

当阀值T较低时，满足带通滤波规则的直线总数p和灰度跳变总数g都会增加。

p的引入是为了限制满足带通滤波规则的直线过多或过少，g的引入是为了滤除由于噪声干扰和路面凸凹不平所形成的“伪车牌”。

阀值选择的模糊规则如下:

①如果Z1低且Z2低，则阀值降低;②如果Z1低且Z2中，则阀值降低;③如果Z1低且Z2高，则阀值降低;④如果Z1中且Z2低，则阀值降低;⑤如果Z1中且Z2中，则阀值保持;⑥如果Z1.中且Z2高，则阀值增加;⑦如果Z1高且Z2低，则阀值降低;⑧如果Z1高且Z2中，则阀值增加;⑨如果Z1:

高且Z2高，则阀值增加。

图5-8附加检测窗（在白框内）

5.4基于车牌位置知识指导的附加窗检测

一般车牌区域的密集跳变在整个图像中具有最高的一致性区域跳变阀值，但这只是一般规律，有少数车辆的车标（跟车牌纹理、长、宽都很相似）抢占了车牌的“风头”，致使车标被检测出来，而车牌却未被检测到，经过大量的观察发现，车标一般放置在车牌以上，因此根据这一规律，通过在被检测到的最底部的块区域以下，增加一个检测窗来加强这一子区域的扫描，如未发现具有车牌纹理特征以及长宽特征的目标，则认为没有出现漏检现象。

如果发现则将检测目标也加入到车牌候选块中。

5.5.5基于线的数学形态学运算

虽然在抽象目标描述组成的评价函数的指导下，一经过一系列垂直边缘锐化，以及数学形态学在水平方向的膨胀和基于抽象目标描述指导的滤波，但这也只是找到了车牌存在的可能潜在位置，依然不能确定具体是哪一个。

而且因为噪声存在，车牌纹理在垂直方向上可能存在不连续性。

因此在垂直方向上还需要通过数学形态学的闭运算来填充这种断裂，同时还要保持车牌的形状大小特征。

形态学图像处理的基木思想，是利用一个称作结构元素的探针收集图像的信息，当探针在图像中不断移动时，便可考察图像各个部分间的相互关系，从而了解图像的结构特征。

但是由直线描述的目标（一般为人造目标）需要数学形态学处理时，数学形态学算法却无法直接使用。

一般将直线描述的对象转化为象素点图像，再利用数学形态学算法处理。

而本节试图研究由直线描述的对象直接进行数学形态学运算的算法。

二值形态学的第一个基本运算是膨胀，是利用结构元素对图像补集进行填充，从而对图像外部进行滤波处理。

它的数学表达形式为:

上式表明用B膨胀A得到的集合是结构元素B的平移与A至少有一个非零元素相交时B的原点位置的集合。

但该公式还有一个等效方程

也就是说，膨胀可以通过相对结构元素的所有点平移输入图像，然后计算其并集得到。

第一个公式由于比较直观，能直观表现膨胀的性质，所以被普遍使用，而后者其膨胀的物理意义并不明显，但它从另一角度来处理数学形态学的膨胀运算。

公式5一7利用了单点结构因子对图像只具有平移能力的特点，将结构元素分解成单个点的结构因子，并利用这些单点结构因子分别平移图像A，最后，取所有位移对象A的合集。

由于单点结构因子并不改变对象A中任意两点间的空间距离，同一条线上的每一点，位移后仍将在同一条直线上。

因此利用直线描述对象的方法在图像平移时依然成立。

以对象A中的一条直线为例。

式中，单点结构因子b的坐标为

表示对象A的第k条直线（设对象A可以由N条水平直线表示），其端点坐标为（（x，Y0），（x，y1）），

为对象A的第k条直线的数学形态学膨胀结果。

假定结构元素可以分解为P个单点结构因子，则对象A中的每条白线都将被位移P次，并分别复制在新的位置上。

则由直线描述的对象A经结构元素B膨胀后的结果可以表示为:

与此类似，数学形态学的腐蚀运算，也可以利用直线集合表示。

不难看出，上述两式皆不是直线描述的最简单形式，任意两条线之间的交集不一定是空集，特别是块状目标。

但是如果利用并、交集合运算，求直线集合的简约并集，运算复杂度将很大，因此来用一种简洁算法:

首先，生成一条空的宽度为W（图像宽度）的直线，将公式5-9（5-10）中位于同一行的直线投影于该直线上，那么大于1的位置就是该行的膨胀运算结果，而大于N的位置点则为当前行的腐蚀运算结果。

通过实验发现：

该算法在检测目标较小时（小于图像的一半时）,运算速度明显高于普通的数学形态学运算，但随着运算目标的增加，运算速度放慢。

将该算法应用于车牌垂直方向数学形态学开运算中，正是由于经过前几节的处理，车牌的所有潜在位置都是由直线来描述。

假定单个车牌字符高度为4b，则取长度为（2b+1）的一维结构元素B对二值图像A进行开运算。

而这种开运算将滤除小于2b高度的伪车牌区。

如果最大垂直连续区域小于车牌字符高度4b，则减小阈值T，重新处理。

5．6车牌提取

国内外许多车牌定位算法，在车牌定位的后续处理中，一般都经过水平、垂直投影来确定车牌在图像中的位置、主要是因为这些车牌定位算法，在车牌定位的前期处理中，只注重了车牌的低级特征，而无法形成完整车牌对象形式，因此只能通过车牌区域预处理后的密集分布来定位车牌。

而本文所述方法，由于已经形成了目标块，可以单独以目标块形式提取出来，更大程度的提高了车牌提取的可靠性。

另一方面，还可以利用目标块的参数信息（如目标的尺寸信息）来进一步识别车牌真伪。

6实验分析

本文方法定位结果

为了验证本文算法的定位效果，将在西宝高速公路收费站拍摄的图像，以及作者在西安市区拍摄的近1000幅的车牌图像（采用不同车辆图像自然背景及车身背景，不同光照条件（白天，黑夜）的车辆图像）进行实验。

实验结果显示定位正确率为99%。

整个程序运算简洁、快速，而且能正确定位。

在图像处理过程中，都是基于数学形态学运算，且基本上全是加减运算。

为了提高处理速度，程序将二维形态滤波器简化为两个一维滤波器（水平和垂直形态滤波器），从而，大大加快了运算速度。

同时，一方面，除第1步对图像的每个象素进行运算外，后续步骤将仅对几十条直线进行基于直线形态学的运算，这样就使图像的平均定位时间减少到了每幅0。

1s，（图像大小为256X256，计算机主频为233M，64M内存），可见，具有很强的实时效果;另一方面，由于该法在二维形态滤波过程中，能自适应地调整阀值，以适应光照强度变化及干扰强度变化，而且，即使车牌倾斜（小于10），也同样可以准确定位。

因此，本程序在运算速度和抗干扰能力上比其他传统分析方法有明显优势，具有很强的实用价值。

7本章小结

本章主要研究车牌定位算法，提出了一种基于数学形态学和模糊评价函数的车牌定位算法。

通过本文提出的基于线的数学形态学运算将车牌的微观纹理特征和车牌的宏观特征进行有机结合，不仅有效的滤除噪声干扰，!

司时一也提高了车牌定位的可靠性、准确性和实时性，为车牌自动识别打下了良好的基础。