人脸检测的大体原理.docx

人脸检测的大体原理.docx

《人脸检测的大体原理.docx》由会员分享，可在线阅读，更多相关《人脸检测的大体原理.docx（11页珍藏版）》请在冰豆网上搜索。

人脸检测的大体原理

人脸检测的大体原理

1引言

人脸检测是指给定静止图像或视频序列，无论图像中人脸的位置、大小、方向、姿势、光照等如何转变，找到并定位所有人脸确切位置的技术。

有很多与人脸相关的研究领域与人脸检测技术紧密相关，比如人脸定位（FaceLocalization），通过简化的、仅针对包括单个人脸图像的检测技术；人脸跟踪（FaceTracking），在持续的视频序列中实时定位并跟踪人脸的位置；脸部特征检测（FacialFeatureDetection），准肯定位人脸区域内的眼睛、眉毛、鼻子、嘴、嘴唇、耳朵等脸部器官的位置；人脸识别（FaceRecognition），比较输入图像与已经建好的人脸数据库内各图像间的不同，找到不同最小的作为识别结果输出；脸部表情识别（FacialExpressionRecognition），识他人脸脸部的情感状态，比如高兴、沮丧、悲伤等等。

上述这些人脸处置技术的第一步都是要求准肯定位好图像中的人脸，因此一个鲁棒、高效的人脸检测算法对这些技术的进展起着关键的作用。

2人脸检测的大体知识

人脸检测从本质上讲是目标检测的一种，也就是将目标（人脸，Target）与干扰（背景，Clutter）区分开来的进程。

人脸特征

人脸图像中包括的特征超级丰硕。

人脸检测利用的是人脸的共性特征，大致分为大体特征、肤色特征、变换域特征、统计特征等。

①大体特征

1）灰度特征

人脸区域内具有明显的灰度散布特征。

眉、眼和嘴等区域的灰度值较低，前额、脸颊、鼻梁和下颌等区域的灰度值较高。

利用这些信息，能够成立简单的人脸模板，用于粗检。

例如，多个人脸图像的平均就是一个简单的人脸模板，类似的眼模板和嘴模板也常常利用。

人脸具有明显的灰度梯度散布特征。

在人脸区域进行水平和垂直方向的灰度投影，按照极小点的位置能够取得眉、眼、鼻和嘴等器官所处的大致区域。

光照不均对灰度特征有专门大的影响。

但在偏光的情形下，眼和嘴、鼻和嘴、鼻和脸颊等区域灰度的比值会维持必然的比率。

按照那个特点，可采用线性光照拟合和直方图均衡的方式来补偿光照的影响。

Log、Exp和LogAbout等一些非线

性变换也可用于光照补偿。

2）边缘和形状特征

人脸及人脸器官具有典型的边缘和形状特征，如人脸轮廓、眼睑轮廓、虹膜轮廓、眉毛边缘、鼻侧线和嘴唇轮廓等都可近似视为椭圆、圆、弧线或线段等简单的几何单元。

可采用Sobel、Laplacian和Canny等算子或小波变换提取这些边缘特征。

噪声的存在会致使边缘的不持续，常采用边缘跟踪器把属于同一轮廓的各段边缘连接起来，并通过约束搜索范围避免边缘跟踪失败。

数学形态学的侵蚀与膨胀运算与Hough变换也常常利用于提取人脸轮廓特征，并对噪声有较好的适应性。

应用Snakes模型或主动形状模型（ASM，ActiveShapeModel）能够较好地抽取人脸的边缘特征，但这些模型需要一个较好的初始化位置。

虽然在强光照转变下也会产生一些伪边缘，但相对于灰度特征，边缘特征对光照转变具有必然的鲁棒性。

3）结构特征

结构特征主要表此刻人脸的对称性和各个器官的空间位置散布。

人脸在结构上的对称性是十分有效的特征。

正面人脸左右对称，对应位置上的边缘和灰度特征大体一致；同时，各个器官也具有自身的对称性，比如双眼、鼻子、耳朵等。

脸部器官如眉毛、眼睛、鼻子、嘴等，是按必然位置关系组织在一路的。

各器官依照从上而下的顺序排列，相对位置维持不变。

各器官间还存在着一些几何关系，比如两眼和嘴中心组成一个三角形、鼻子的中心大致位于那个三角形的中心等。

按照这些结构特征，配合前面介绍的灰度特征和边缘、形状特征，能够成立大体的规则，区分人脸区域与背景。

4）纹理特征

人脸具有特定的纹理散布特征，基于灰度共生（SGLD，SpaceGreyLevelDependency）矩阵成立人脸纹理特征模型，取得表征人脸的一系列纹理特征。

②肤色特征

肤色特征按类别划分应属于人脸大体特征，但其在彩色图像人脸检测中所起到的作用超级重要。

肤色是脸部区别于其他区域的重要特征，不依赖于脸部细节特征，不受旋转、姿势、表情等转变的影响，具有相对稳固性并和大多数背景物体颜色相区别，已成为彩色图像人脸检测中的一个超级重要的特征。

虽然不同种族、不同年龄、不同光照条件下，肤色区域呈现不同的颜色，但相关研究证明，不同类的肤色点间的不同更多的在于颜色中的亮度分量，而色度分量在各肤色点间转变不大。

由此，能够在特定的色彩空间中成立肤色模型，描述人脸肤色的特征，有效去除图像中复杂背景的干扰、减小待搜索范围。

常常利用的色彩空间有RGB、归一化RGB、HSV、YCbCr、YIQ、YES、CIEXYZ、CIELUV、CIELab、CIEDSH、TSL等，常常利用的肤色模型有直方图模型、高斯模型、混合高斯模型等。

③变换域特征

基于FFT、DCT、小波、K-L等变换，按照能量规则选择一系列系数作为表征人脸图像的特征。

人脸识别中普遍利用的本征脸（EigenFace）和最近流行的类Haar特征（Haar-likefeature）均属于变换域特征。

目前图像大多以紧缩的格式存在，各个图像紧缩标准普遍地应用了DCT和小波变换，因此，研究如何有效地提取这些变换域下的人脸特征，具有很强的实际意义，已成为目前一个很受重视的研究方向。

④统计特征

由于人脸图像模式的复杂性，能够用来描述人脸共性特点的显式特征是有限的，而由此成立起的人脸规则的有效性也有专门大的局限性。

解决那个问题的办法就是更多地利用人脸图像的统计特征，也可称为隐式特征。

统计特征是指通过统计的方式，从单个图像数据或大量图像数据中取得的特征，如自相关、高阶矩、不变矩、在子空间的投影、空间距离、隶属度、概率散布、熵、互信息，和神经网络的抽象特征等。

统计特征不如大体特征直观，但描述的往往都是人脸与非人脸的本质区别，在一个更高的层次上描述人脸特征。

在大量统计特征基础上构建起来的基于统计学习的人脸检测算法，具有良好的适应性和鲁棒性，取得了广大研究人员的普遍重视，已成为目前研究的主流。

⑤运动特征

对于视频序列，相邻帧间的运动信息是一个重要的特征。

计算相邻帧图像的差分即可取得运动区域。

为了提高算法对噪声的鲁棒性，可采用空间连通区域、多帧差分、差分图像滑腻滤波、时空三维张量等方式。

运动特征也常常利用于人脸跟踪的研究中，大体方式就是跟踪整个人脸或基于特征器官（如眼、嘴）的跟踪。

预处置技术

为了提高检测算法的效率，需对输入图像进行一些预处置。

通用的预处置手腕主要包括：

1）边缘提取，去除图像中低频的背景区域；

2）直方图均衡，使图像中象素值散布均衡化；

3）光照补偿，克服亮度不均对结果的干扰；

4）肤色分割，将肤色区域与背景分离。

①背景去除

人脸区域内灰度转变较大，在图像中属于高频信息，通过提取边缘、去除边缘很弱的图像区域，能够去除转变平坦的背景区域。

除这种简单的方式外，Shaick等提出了一种新的针对灰度图像的预处置方式，算法的框图如图1所示。

图1Shaick算法框图

第一对输入图像进行直方图均衡，然后利用2D-FFT将其变换到频域。

在频

域利用最佳自适应相关器（OptimalAdaptiveCorrelator,OAC）将输入图像与“平均脸”模板求相关，滤波器输出如式

（1）

（1）

其中U、V别离为“平均脸”模板和输入图像的傅立叶变换，“*”代表二维复共轭，

、

别离是二维频域内的索引，ω为5×5大小的矩形窗口，

代表卷积算子。

将滤波器的输出依如实验取得的阈值分为人脸区域、可能的人脸区域和背景区域三部份。

实际利用中，第一通过训练的方式取得“平均脸”模板，然后在7×9的窗口内对待测图像进行局部灰度均衡（LocalHomogenization），最后利用OAC滤波器排除背景区域。

通过如此的处置，在MITSetB测试集中能够排除图像中99%的待检测区域，而仅仅产生了%（2/153）的漏检，同时其计算复杂度也相对较小，能够在不对算法精度产生太大影响的条件下提高算法的速度。

②肤色模型

肤色是彩色图像中人脸部区别与其他区域的一个超级重要的特征。

利用肤色分割算法不但能够减小待搜索图像的大小，而且还能够有效的控制误检。

因此肤色模型在人脸检测的研究中一直受到专门大的重视。

1）彩色空间

各类标准的彩色空间都可用于构建肤色模型，比如YCbCr、HSV、归一化rgb等。

Hsu等考察了肤色点与背景点在各彩色空间中的实际散布情形，具体的统计结果如图2所示。

图2不同颜色空间内肤色点的散布

（a）YCbCr空间，（b）肤色点在CbCr平面内的投影，（c）rgb空间（d）HSV空间

（红点表示肤色点，蓝点表示背景点）

由图2中能够明显看出，与其它空间相较，YCbCr空间中的肤色点具有加倍集中的散布，最为适合肤色分割。

因此目前很多研究工作都是基于YCbCr彩色空间进行的。

在YCbCr彩色空间的基础上，进行更深一步的考虑。

YCbCr三分量与视频中利用的YUV三分量具有相似的思路，即将原来的RGB三个色度分量通过一个线性变换，转化为一个亮度和两个色度分量，其中Y为亮度分量，CbCr别离为蓝色（Blue）和红色（Red）的色度分量。

通过度析RGB三个分量在肤色区域的散布，Dios等提出与YCbCr空间类似的一个新的颜色空间YCgCr，利用Cg（代表绿色Green）分量来代替Cb分量。

依据ITU规定的标准，Cg分量能够由式

（2）所示的变换公式取得：

（2）

如图3所示，在YCgCr空间内，肤色点的散布加倍集中，加倍有利于排除那些近似肤色点的区域。

相关的实验也证明了其能够取得更好的结果。

图3两个颜色空间肤色散布比较

进一步试探产生那个现象的原因。

人脸的肤色区域接近于黄色，而黄色是由红色和绿色混合而成，因此在肤色区域内，红、绿分量的值更大且大体相同（有专门大的相关性），而蓝色分量则明显偏小且与其它两个颜色的散布无关。

这一点能够由图3明显看出，图3（a）的散布没有任何规律，而图3（b）则呈现线性散布。

因此，YCgCr彩色空间能够加倍有效地描述肤色点的散布情形。

2）肤色散布的描述

常常利用的肤色散布描述方式有阈值法、高斯法、混合高斯法、直方图法等。

阈值法最为简单，按照训练样本中各肤色点的色度分量出现的范围，肯定一个阈值范围，如[Cr1,Cr2]及[Cb1,Cb2]。

若待测图像中某个象素点的色度分量（Cr,Cb），知足Cr1≤Cr≤Cr2而且Cb1≤Cb≤Cb2，则该点就被以为是肤色点保留；不然以为该点是背景点去除。

直方图法是比阈值法更为准确的一种模型描述方式，通过统计训练图像中各肤色点出现的概率，取得一个关于CrCb分量的二维统计直方图。

直方图中，z方向的分量即表示该点（Cr,Cb）为肤色点概率的大小。

通过一个适合的阈值，肯定哪些区域的颜色点是肤色点，哪些不是。

高斯和混合高斯法均是用概率模型来描述各肤色点的散布。

高斯法的思想是假设大量肤色点在彩色空间中的散布符合一个二维高斯散布，将肤色点的散布用一个高斯模型来表示，均值（也就是肤色点散布的中心）和协方差矩阵由统计的方式取得。

通过那个高斯模型能够取得待测图像中各点属于肤色的概率，利用一个阈值作为裁决条件，将概率大于那个阈值的点判断为肤色点，而小于那个阈值的点判为背景点。

在实际应用中，人们发觉肤色点在彩色空间的真实散布大多具有多峰的性质，单一的高斯模型不能充分地描述。

因此，Yang等提出了利用高斯混合模型的方式来描述肤色点的散布，具体概念如下：

彩色空间中各肤色点的散布能够看成是混合高斯散布模型G，由有限多个单一高斯模型G1,…,Gg和相应的权重系数π1,…,πg混合而成，其中

，而且

（3）

待测图像中某点属于肤色点的概率密度函数（）由下式概念：

（4）

其中p（x;θ）i为模型Gi的概率密度函数，μi为Gi的均值向量，Σi为Gi的协方差矩阵，具体的参数值，可通过EM算法估量取得。

目前最为流行的肤色模型是利用YCbCr彩色空间并配合直方图描述构建的。

这种模型构建简单，对于大多数图像均能够取得能够同意的结果。

③光照补偿

光照对于检测算法的性能是一个超级大的干扰因素。

专门是对肤色模型，在亮度分量不同的情形下，色度分量的散布是有较大区别的，如图2（a）。

若是忽略光照的影响，则肤色模型的适用性将会受到专门大限制，因此光照补偿常常伴随肤色模型一路研究。

对于光照问题有一些通用的方式，比如直方图均衡、对数变换、同态滤波等。

直方图均衡主要针对灰度散布不均的图像，能够增强图像的对比度，提高图像质量；对数变换主要针对偏光图像，利用如式（5）所示的变换公式：

（5）

其中f（x,y）、g（x,y）为变换前后的图像，a、b、c为控制参数。

通过对待测图像灰度散布的分析，能够自适应地肯定参数a、b、c，调整变换曲线使变换后的图像中，低灰度区域取得提升，高灰度区域取得抑制，从而实现光照补偿。

除上述这些通用的光照补偿方式，还有一些专门针对肤色模型的研究值得注意：

目前各类肤色模型都仅考虑了CbCr平面内肤色点的散布，可是通过图2（a）能够发觉，在YCbCr空间内，对应不同的Y值，空间的横截面内Cb、Cr分量呈现不同的散布。

若是仅利用CbCr平面内的投影而忽略亮度对色度的干扰，则无法取得理想的肤色模型。

因此，Hsu等提出了一种颜色空间非线性变换的方式来解决光照不均的问题。

在YCbCr空间内利用一个非线性变换，将其变换到YCb’Cr’空间。

在变换后的YCb’Cr’空间内，肤色点的Cb’、Cr’分量在不同亮度Y的情形下，达到一种比较均匀的散布，即呈现一个近似柱体的散布，由此达到补偿光照影响的目的。

除针对输入图像进行被动的光照补偿处置之外，还能够成立一种主动的反射模型，对不同皮肤、不同光源下的图像进行主动的自适应处置。

Storring等深切分析了不同种光源对于肤色的影响，综合利用皮肤反射、光源、镜头色温等成立起一个能够适合各类光源的肤色模型。

肤色是由皮肤对不同波长光有不同的反射率而形成的，Storring等利用二分光反射模型成立起肤色反射模型。

任何一个非光源物体的颜色L都是由面反射LSurf和体反射LBody两部份组成：

（6）

其中，面反射主要来自表皮（epidermis），而体反射主要来自真皮（dermis），不同肤色的人脸对各类波长的光线具有不同的反射率，从而形成不同的颜色。

在这方面Anderson等做了很多深切的研究，取得了肤色区域内对不同光线的反射率曲线ρBody。

有了如此的反射模型，配合光源的相关色温曲线（CorrelatedColorTemperature,CCT）和摄像镜头的敏感度曲线，利用整个光谱区域内的积分，就可以够取得针对不同肤色、不同光源、不同镜头的肤色散布模型。

（7）

其中E（λ）是光源的色度谱，

为肤色反射模型，

为摄像镜头对于各类不同波长光的敏感度曲线。

由此能够通过式（7）在归一化rgb空间内成立肤色模型，如图4所示。

图4不同人种在不同光源色温下的肤色散布

图4中，各个符号代表有上述方式成立起的不同人种肤色散布模型的中心，而四边形的外框代表利用训练集取得的真实肤色散布模型，能够看到利用光谱积分能够有效地成立起针对各类不同情形下的肤色模型，具有较强的通用性。

Sorianoa等延伸了Storring的工作，提出了一种自适应的肤色模型，在归一化的rgb空间内，将肤色点分为自然光反射、室内光反射和混合反射3种，在分割时，自适应地利用不同种模型取得有效的分割结果。

3图像处置的大体运算方式

数字图像的表示

本设计中我的实验对象是数字图象。

数字图象在运算机中能够被概念为一个二维的函数f（x,y），这里x和y是空间坐标，而任意坐标对（x,y）的幅度f被称为图象在该点的密度。

术语“灰度级”被经常常利用来描述黑白图象的密度。

而彩色图象由单独的2维图象组合而成。

例如，在RGB彩色系统中，一幅彩色图象包括三个单独图象元素（红，绿，蓝）。

出于那个原因，通过处置三个单独的分量，许多发源于黑白图象的技术能够被延伸到彩色图象的处置中去。

一幅图象可能在x和y坐标和幅度上都是持续的。

将如此的一幅图象转化为数字图象需要将坐标和幅度都进行数字化。

数字化坐标的进程叫做采样，而数字化幅度的进程叫做量化。

当x，y和f都是有限的、离散的数量时，咱们称其为数字图象。

在Matlab中，一幅图象被存储为如下的矩阵：

（8）

区域分割与归并的原理

让R表示整个图象区域并选择谓词P。

一种分割R的方式是将其不断的分割为愈来愈小的四个子象限，使得对于任何区域Ri，P（Ri）=TURE。

咱们从整个区域开始。

若是P（Ri）为假，则将图象分为四个子象限。

若是对于某一子象限其谓词仍为假，则将这一象限继续分为子象限，如此这般下去。

这种特别的切割技术有一个简便的表述即被称为四叉树，即：

一个树型结构的每一个节点有四个后继节点，如图所示：

图5四叉数分解示用意

注意到树的根部对应于整幅图象而每一个节点对应于划分为四个子节点。

在这种情形下，只有R4被进一步的分解。

若是仅利用分割，最后的部份通常只含有具有相同特征的相邻区域。

那个缺点能够通过归并来补充。

将知足谓词的相邻的区域象素归并。

即，当且仅当P（Ri

Rk）为真,归并两个相邻的区域Ri和Rk。

以上的思路能够总结为如下的规程：

1）对于任何区域Ri若是其谓词P（Ri）为假，则将其分为四个子象限

2）当不能再进一步划分时，对于P（Ri

Rk）为真的邻域Ri和Rk，将其归并。

当不能再归并时停止。

膨胀与侵蚀

膨胀（dilation）能够看做是侵蚀的对偶运算，其概念是：

把结构元素B平移a后取得Ba，若Ba击中X，咱们记下那个a点。

所有知足上述条件的a点组成的集合称做X被B膨胀的结果。

用公式表示为：

D（X）={a|Ba↑X}=XB，如图6所示。

图7中X是被处置的对象，B是结构元素，不难明白，对于任意一个在阴影部份的点a，Ba击中X，所以X被B膨胀的结果就是那个阴影部份。

阴影部份包括X的所有范围，就象X膨胀了一圈似的，这就是为何叫膨胀的原因。

图6（a）（b）原始函数，（c）膨胀进程示意（d）膨胀结果

把结构元素B平移a后取得Ba，若Ba包括于X，咱们记下那个a点，所有知足上述条件的a点组成的集合称做X被B侵蚀（Erosion）的结果。

用公式表示为：

E（X）={a|BaX}=XB。

图7侵蚀结果，进程与膨胀类似