1、1.1 研究背景与目的 11.2 研究内容与方法 1第二章 相关技术探讨 22.1 相关技术基本介绍 22.2 影像处理 32.2.1 颜色分割 32.2.2 灰阶转换 42.2.3 平滑处理 52.2.4图像裁剪 62.2.5二值化处理 62.2.6连续影像相减 72.3 疲劳判断 8第三章 眼睛状况判断 93.1 脸部侦测 113.2 眼睛区域侦测 143.3 眼睛位置搜寻 143.4 眼睛开闭识别 15第四章 使用模糊逻辑计算疲劳程度 184.1 模糊逻辑规划 184.2 输出及输入变量归属度建立 184.3 模糊化 204.4 模糊规则的建立 204.5 解模糊化 21第五章 实验结果
2、与讨论 235.1 实验结果 235.2 讨论 25结 论 26致谢 27参考文献 28第一章 绪论1.1 研究背景与目的随着汽车数量的增加和公路建设规模的扩大，污染，噪音以及交通事故等问题日益突出，汽车驾驶的安全性，舒适性及对环境的适应性成为人们日益关注的话题。广义上讲，安全是作为任何交通方式的最重要的因素。从有记载的1899年第一起车祸至今，全世界已有2000万人死于各种交通事故。中国是人口最多的国家，道路交通事故死亡人数也是最高的国家，连续数年一直居世界第一位。据公安部有关报告，2001年中国交通事故死亡人数为10万人，而同年美国的数字是4万人，日本为1万人。我国交通事故的致死率也是世界
3、最高的，问27.3%，而美国为1.3%,日本只有0.9%，但是，中国的机动车保有量仅为世界的1.9%，交通事故死亡人数却占了全球的15%，交通事故也是造成未成年人非正常死亡的最主要因素，是人类死亡的第五大杀手，据中国交通事故年鉴统计，我国交通事故发生因驾驶员的情况因素尤为严重，交通事故给我国国家财产和人民生命财产安全带来了巨大损失。发生交通事故的最直接原因是驾驶行为不佳，包括注意不当，超速行驶 ，措施不当等，而疲劳往往是导致这些状态的直接原因，疲劳驾驶影响驾驶员得警觉和安全驾驶能力，由于交通并不是在一产生驾驶疲劳时就发生，如果能研制一种疲劳预警系统，在驾驶过程中实时监测驾驶员的精神状态，但刚刚
4、出现疲劳迹象时就发出警报，那么就能有效挺高安全系数目前辨识技术日新月益，辨识技术不停有新的突破，除了脸纹判别还有眼纹判别、指纹判别、声音判别等等，但是每一种判别都容易受各种不同的因素所干扰而影响辨识的准确率。而在那么多种辨识技术下。本研究利用眼部来判断使用者的疲乏程度，将外在环境的干扰除去，以眼部辨别为基础，作出最准确的判断，维护驾驶者的安全。1.2 研究内容与方法在过往研究中常把整套疲劳侦测系统分成影像处理和疲劳度计算两大部分。在影像处理方面主要是用来执行人脸侦测和眼睛位置、状态的侦测，过往研究中常用的方法有以下几种：直接利用搜寻RGB色彩空间变化改变、搜寻脸部五官特征、动态影像前后相减、利
5、用脸部左右的对称性、椭圆样板侦测、类神经网络学习等等搜寻法。以下是曾经研究过的几种方法：一、利用可动态变形的模板配合11个参数，分别描述了眼睛及瞳孔的大小、形状及位置，去抓取眼睛的位置，此方法可配合眼睛大小及方向的改变，效果也精准。二、是先将图形经过正规化（normalized）降低光线所造成的影响后搜寻分割出属于皮肤区域，再使用眼睛中的瞳孔为脸部颜色最深色的特征值，寻找眼睛和鼻子的相对位置和瞳孔凝视的方向。也有使用灰阶影像来侦测两只眼睛和嘴巴为一等边三角形的几何关系去进行定位，并利用比例的方法去算出脸部的位置。三、使用RGB正规化色彩切割法，直接将皮肤区域切割出来，利用椭圆形比对定位出脸部的
6、位置，再经由统计，分析出五官的位置。以上这些方法都能计算出脸部的位置，在不同问题上，所要求的处理时间及精确度各有不同，如：可变动态模板的方法可以精确的取出眼睛位置，但需要较长时间的比对运算。几何比例的方法，处理速度较快，但只能约略算出脸部区域无法做精确比对。RGB色彩变化易受光线所影响。动态影像前后相减需要快速且昂贵的采集计算设备。使用类神经网络需要长时间的学习，不适用于实时辨识系统。因此需在不同的问题上选用适当的解决方法。目前正在发展中的警告系统可以根据侦测技术的不同可分为以下五种：1、生理现象感应：如头部的倾斜、由脑波、心跳、眼睛的眨闭。2、驾驶者的操作感应：如感应方向盘、油门的变化。3、
7、车辆状态感应：感应车速、偏驶率等。4、驾驶者的应答：定时的由驾驶人发出信息，如火车，一段时间驾驶需按下按钮通知控制中心。5、行驶条件：如长途驾驶的卡车规定每固定小时数须要休息一次。实验结果显示当眼睛闭起次数增加时，警觉度也随之降低，证明了使用眼睛闭起次数去判断疲劳是可行的。第二章 相关技术探讨2.1 相关技术基本介绍疲劳侦测系统的发展上，有许多系统是使用接触式的原理感测，如：脑波侦测，眼电位的改变、脉搏或心跳等。但这些接触试感测方法通常需要安装侦测器于驾驶人身上，使驾驶人感到不适有些甚至在长时间的使用下会使驾驶人的健康受到影响。因此虽然接触式的感测方式通常较准确，但非接触的感测方式较能广为驾驶
8、人接受，且避免直接的物理伤害。因此本系统利用摄影镜头与影像处理技术发展非接触式的量测方式。在这一节中，将介绍影像处理及疲劳判断中常使用的相关技术，包括：HSV色彩空间、灰阶转换、平滑处理、二值化处理、模糊逻辑等。2.2 影像处理人类的大脑可以轻易的从影像中辨识出物体，是因为各种物体有着不同的特征，像是形状、颜色、动态、大小等。同样的，想要使计算机能够针对影像中物体作处理，就必须先了解物体的特征，并将其特征撰写成程序使计算机了解。这种使计算机处理影像中特定物体的方法就是影像处理。2.2.1 颜色分割在空间影像中取出特定区域的色彩最常用的方法是颜色分割法，颜色分割法是把各种颜色予以分类，最简单的方
9、法是针对所需色彩进行多重阀值的过滤，像是针对肤色作分析，建立起相关肤色数据，只要有类似颜色就判断为肤色区域1。许多研究脸部相关研究都会使用肤色作为判断的依据，因为人体的肤色和周围自然的环境有明显的差异。但在一般RGB色彩空间下，颜色及受到光线影响而产生误判，因此许多研究会先将影像转换至对光线比较不敏感的色彩空间进行处理以降低光线的影响，常用的方法有以下几种：1、RGB色彩空间正规化在一般所使用的RGB色彩空间中，色彩常因光线的影响而在人眼中呈现不同的颜色。而无法正确的判断颜色分布，所以不适合直接以RGB空间作颜色分割，所以将R、G与以正规化（normalized），就可以使R、G堆光相关性减少
10、，公式如下： r = （2.1） g = （2.2） 以正规化后的r、g 取代原本的R、G，重新对颜色空间作描述。经正规化后计算变换的简单快速，并且降低了对光的依赖性，可以提高色彩分割时的正确率2。2、HSV色彩空间HSV色彩空间是由一般常用的RGB色彩空间转换而来，RGB代表了色彩三原色：红、绿、蓝，是一般所有颜色构成的基础，但在RGB色彩空间中的每一点，不仅包含了色相还包含了亮度，对人的眼睛来说，不同的亮度即代表了不同的颜色。因此要利用色相对影像作处理，必须将颜色里的亮度因素除去。而HSV空间由色相、饱和度和明暗度构成的色彩模型。分别说明如下：Hue色相：颜色主波长彼此相互区分的特性。Sa
11、turation饱和度：饱和度亦称纯度，是指色彩的鲜艳程度，或色彩中含单色成分的多少，是色彩感觉强弱的指YIQ色彩模型主要用于NTSC传送影像的规格，和RGB色彩模型转换有线性关系，转换公式如下： = （2 .3）其中Y表示Luminance Component也就是光的分量，IQ为Color Components。其目的也是为了能够将不包含亮度信息的色彩数据区分出来3。2.2.2 灰阶转换灰阶（Grayscale）影像是YIQ色彩空间中Y的分量，灰阶以光线为基础将彩色影像中的颜色依深浅不同由白色至黑色共分256个值，除0代表黑色255代表白二色之外，在0255间尚有254种由深到浅的灰色。经
12、过灰阶处理后可减少约三分之二的影像运算量，其中代表光线影响的灰度值Y=0.299R+0.587G+0.114B，因R、G、B三种色彩的波长不同是故人的眼睛对于红、绿、蓝三种颜色的敏感度也不同，所以R、G、B三色各有不同的系数4。如图2.1图2.1程序：c=imread（C:8.bmp）;c1=rgb2gray（c）;subplot（1,2,1）;imshow（c）;subplot（1,2,2）;imshow（c1）2.2.3 平滑处理对影像二值化处理时，有时会在黑色影像中发现白点或在白色影像中发现黑点，这常是因为一般摄影镜头采集的影像，容易受到噪声的影响而产生杂点，造成影像高频部分的增加。当杂
13、点过多，后续二值化处理时，容易造成辨识的错误。因此在二值化处理前，先将影像经过低通滤波器（Lowpass filter）的处理，能将影像中高频的部分消除，使影像变的较平滑，提高影像的信号噪声比 （Signal Noise Ratio SNR=影像之信号值/影像噪声值） 5。如图2.2r=imread（zy2.bmph=ones（6,6）/36;r1=imfilter（r,h）;r2=imfilter（r1,h,replicatesubplot（1,2,1）,imshow（r）;subplot（1,2,2）,imshow（r2）; 原图 平滑图图2.22.2.4图像裁剪在实际应用或科研领域，很多
14、时候要对图像进行裁剪操作。图像裁剪就是在原图像或者大图像中裁剪出图像块来，这个图像块一般是多边形形状的。图像裁剪是图像处理中最基础的操作之一6。因为rect是借助于空间坐标指定的，rect的宽度（width）和高度（height）并不总是恰好对应输出图像的大小。本例指定rect左上角为像点（227，192）的中心，宽和高分别为70和28，级矩形的右下角在原图像中的像点（297，220）的中心，因此得到的输出图像大小为7129.这是因为输出图像包含了被指定矩形完全或部分包围的全部像点，等于是在指定大小的基础上多了几条边界像点。如图2.3 原图 剪切图图2.3i=imread（zy.bmpi1=i
15、mcrop（i,100 70 50 28）;imshow（i）;subplot（1,2,1）,imshow（i）;subplot（1,2,2）,imshow（i1）2.2.5二值化处理在一般灰阶影像中每一个像素的灰阶有256阶，但在一些应用程序，尤其是计算机辨识与识别方面，有时只需要若干个灰阶值就够了。例如，黑白影像的像素只需要两个灰阶值（分别是0与1）表示就足够了。对人类眼睛来说黑就是黑，白就是白，但对计算机而言仅仅是0255的数字。无法自动去判定影像低于多少是黑，高于多少是白。因此我们通常会依照直方图分布（Histogram Processing）来决定一个适当的门坎值以转换灰阶影像为黑白
16、影像，高于此门坎设定为黑，低于此门坎设定为白，切割出能代表其特殊属性的（Attributes）区域7，如图2.4。 图2.4 眼睛二值化取不同门坎值dy.bmpi1=im2bw（i）;2.2.6连续影像相减在连续影像中移动的物体很容易和固定的背景分离开来，最常用的方法是将连续的影像前后相减，当正常驾驶时，驾驶人头部会自动微微晃动，因此当我们将前后两张影像相减时，影像变化最大的地方，会是驾驶人的眼睛位置，因为瞳孔为脸部灰阶值最低的位置，而周围的眼白又是脸部灰阶值最高的位置，因此不管是原本的瞳孔像素减去眼白像素，或是眼白像素减去瞳孔像素，取绝对值后都会是变化量最大的地方。而脸部其它地方，即使相减差
17、异度也没有瞳孔及眼白来的明显，其它车内固定物体及背景，在相减后完全无变化度。此种方法可快速的分离背景，但即使背景不会移动，两张前后影像因光线的变化产生的噪声也会造成些许差异。较实用的方法是检查差异度是否大于一定阀值，大于一定阀值才为所求8，如图2.5。此种方式常用于摄影机固定且不需及时判断的系统中，因其需要作大量计算，无法达成实时的目的。原图（a） 原图（b）图像相减图（c）图2.5 连续影像相减j=imread（9.bmpiq=imsubtract（i,j）;imshow（iq）;2.3 疲劳判断在驾驶疲劳判断上，有许多种判断疲劳的方法，如：使用声音、心跳、脉搏、头部的前倾、眼睛的眨闭、脑波
18、等，在本研究中我们采用眼睛眨眼频率和眨眼间隔的次数作为本研究的两个输入参数。两个输入参数分别有其重要性，因此我们采用模糊逻辑推论使的计算机能够依事先建好的模糊规则判断驾驶疲劳与否。模糊逻辑（Fuzzy Theory）是一种定量化处理人类语言所包含意义的一门学问。这个理论在1965年由美国加州大学柏克莱分校的L. A. Zadeh教授所提倡，用来表现某些无法明确定义的模糊性观念，例如描述“年轻”、“疲劳”、“好高”等语意词。跟着在1968年提出了模糊算法的观念，此算法后来在1973年发展成了模糊理论。而模糊理论实际上是包含模糊集合（Fuzzy set）、模糊数与归属函数（Fuzzy Number
19、 and Membership Function）、模糊关系（Fuzzy Relation）、模糊推论（Fuzzy Inference）等理论的总称。而模糊控制方面，最重要的部分就是模糊知识库的建立，由于知识库的建立是专家经验及知识经过萃取之后的结构化表现，也是影响系统效能、稳定性、强健性的关键。数据库及规则库就是表达模糊知识的方式。对一个模糊控制系统而言，这两者皆是依据专家主观的经验法则而来，因此发展过程中常有错误发生需不断尝试及修正，才能获得较理想的模糊模型。模糊理论在应用方面，在1980年由F. L. Smidth公司的水泥旋窑控制开始实用化，而后日立制作所及富士电机在1985年开始进行
20、控制的实用化，此后由工厂控制设备开始，火车、起重机、红绿灯、电梯、汽车、家电制品及照相机等日常用品以日本为中心，朝多用途、实用化的控制例子都被发展出来。另一方面模糊理论也尝试应用于专家系统（Expert System）等资讯工程方面，在1985年也延伸到医疗界、产业界、证券投资业等各方面，并发表了许多应用实例，到如今模糊理论的应用已深入一般人的日常生活中。第三章 眼睛状况判断本研究使用非接触式的侦测方式，由摄影镜头采集驾驶者影像，能在驾驶没有感觉的情形下进行侦测和感测方向盘转角、计算车辆偏驶率等方式比较起来，生理状态中眼睛的眨闭对于疲劳判断更为准确，也比使用驾驶者应答或行驶条件法更人性化。而使
21、用模糊逻辑推论，可以使得无法明确量化的“疲劳”仍能交由计算机做判断。一般人的疲劳状态通常分为两个阶段，第一个阶段，驾驶人眼睛眨闭会快速增加，用闭上眼睛时泪液对眼睛的润滑来保护双眼。第二个阶段，靠快速眨眼已不足以保护眼睛时，会直接增长眼睛闭起时的时间。而在过往相关研究中，大多数仅以固定的闭眼时间作为门坎值，当作驾驶疲劳时的指标，势必仅能在疲劳进入第二阶段时进行判断，而本研究使用模糊逻辑的判断方法，可以使得无法明确量化的“疲劳”仍能交由计算机做判断，除考虑到最直接的眨眼频率（闭眼时间）外，亦将眨眼间隔（眼睛开启的时间）纳入考虑之中进行判断，故能从驾驶人疲劳开始的第一阶段就进行计算，得知驾驶人的生理
22、状态，当疲劳时产生警示。希望能以此减少疲劳判断的时间并提高疲劳判断的准确度。图1.1 系统流程图在本研究中，利用影像辨识的方法得知驾驶人眼睛位置及开闭情况是很重要的，而一张车内影像本身包含了许多环境的信息，因此如何正确的抽取出我们所关心的特征物体并加以辨识，是机器视觉（Machine Vision）的应用中，能否确实的代替人为视觉（Human Vision）的重要关键。一套完整的系统从影像获得到影像辨识完成等过程，会因为应用的不同，而有不同的设计及解决方法，在眼睛状况辨识系统中，从一张张影像的获得、前处理、分割、特征抽取到辨识等过程，可由眼睛状况辨识系统流程图表示出，在本节中即针对眼睛状况的辨
23、识做详细的介绍和讨论。图3.1 眼睛状况辨识系统流程图3.1 脸部侦测当驾驶人于车内驾驶时，头部不是固定不动的，不管市交谈、缴交过路费等，都会造成头部在一定范围内转动，因此摄影镜头无法直接针对驾驶人的眼睛采集影像，所以必须采集整个车内的影像。但一张车内的影像，除了驾驶人外还包含了车内其它物品如图3.2，因此我们必须先运用影像处理中人脸侦测的技术，将驾驶人的脸部位置定义出来。侦测脸部区域的方法有多种。在侦测人脸时，影像对于光线的强弱非常敏感，使用边缘侦测、椭圆侦测等其它方法常常因为光线影响，而无法有效的抓取出脸部边缘，为了尽量减少光线的影响，我们使用以人脸肤色为基础，分离HSV色彩空间的方法。我
24、们将摄影镜头采集到RGB色彩空间的影像，先转换成HSV色彩空间作处理，其中H表示色调（Hue），S表示饱和度（Saturation），V表示亮度（Value）。而黄种人类间肤色特征是相近的，即使不同肤色的人，皮肤较白皙或较黑的差异，主要仅在于皮肤亮度的范围不同，在皮肤色调和饱和度上，会收敛于一个区间内。因此即使在一般情形下，使用HSV色彩空间仍能有效取出肤色区域如图3.2。 图3.2 一般环境下肤色采集D=imread（hsv=rgb2hsv（D）;for i=1:81 for j=1:77 if （hsv（i,j,2）0.63）, % if （hsv（i,j,1）0.174） , hsv（i
25、,j,:）=1; % end endend imshow（hsv）;因此我们据方程式（3.1）（3.2）定义出肤色区域。RGB转换到HSV的公式如下：cos H = S = 1 - V = 得到肤色区域后，接着使用投影计算来得到脸部位置，投影是对每一个侦测皮肤点的水平和垂直位置进行累加。投影计算可以得到影像的形态信息，常用于模式识别。我们针对肤色区域进行水平和垂直投影，其累加式如： （3.3）是宽度投量；是高度投量；为脸部区域的影像当投影量大于一定门坎值（本研究中高度门坎值设为50宽度门坎值设为60）的地方，即为脸部区域如图3.4，而投影量最大的地方即为脸部的中心点。图3.4 脸部区域z.bmp0.033） | （hsv（i,j,1）0.138） ,
