1、人脸识别技术总结人脸识别技术总结人脸识别技术大总结Face Detection Alignment 20XX-04-08搞了一年人脸识别，寻思着记录点什么，于是想写这么个系列，介绍人脸识别的四大块：Face detection,alignment,verification and identification(recognization)，本别代表从一张图中识别出人脸位置，把人脸上的特征点定位，人脸校验和人脸识别。（后两者的区别在于，人脸校验是要给你两张脸问你是不是同一个人，人脸识别是给你一张脸和一个库问你这张脸是库里的谁。人脸校准（alignment）是给你一张脸，你给我找出我需要的特征点的
2、位置，比如鼻子左侧，鼻孔下侧，瞳孔位置，上嘴唇下侧等等点的位置。如果觉得还是不明白，看下图：如果知道了点的位置做一下位置驱动的变形，脸就成正的了，如何驱动变形不是本节的重点，在此省略。首先介绍一下下面正文要写的东西，由于干货非常多所以可能会看着看着就乱了，所以给出框架图：=废话说了这么多，正文开始detection作者建立了一个叫post classifier的分类器，方法如下：1.样本准备：首先作者调用opencv的Viola-Jones分类器，将recal阀值设到XX%，这样能够尽可能地检测出所有的脸，但是同时也会有非常多的不是脸的东东被检测出来。于是，检测出来的框框们被分成了两类：是脸和
3、不是脸。这些图片被resize到96*96。2.特征提取：接下来是特征提取，怎么提取呢？作者采用了三种方法：第一种：把window划分成6*6个小windows，分别提取SIFT特征，然后连接着XXX个sift特征向量成为图像的特征。第二种：先求出一个固定的脸的平均shape（XXX个特征点的位置，比如眼睛左边，嘴唇右边等等），然后以这XXX个特征点为中心提取sift特征，然后连接后作为特征。第三种：用他们组去年的另一个成果Face Alignment at 3000 FPS via Regressing Local Binary Features (CVPR14)，也就是图中的3000FPS
4、方法，回归出每张脸的shape，然后再以每张脸自己的XXX个shape points为中心做sift，然后连接得到特征。3.分类：将上述的三种特征分别扔到线性SVM中做分类，训练出一个能分辨一张图是不是脸的SVM模型。紧接着作者将以上三种方法做出的分类器和初始分类器进行比对，画了一个样本分布的图：这个图从左到右依次是原始级联分类器得到的样本分类分布和第一种到第三种方法提取的特征得到的样本分类分布。可见做一下shape alignment可以得到一个更好的分类效果。但是问题来了：如果把所有的windows都做一下alignment，即使是3000 faces per second的速度一张图可能
5、也要处理上1秒，这无法满足一般一秒30帧的实时需求。作者也说，用opencv分类器，参数设成XX%的recall率将会带来很严重的效率灾难一张图能找出来3XXX个框，处理一张图都要好几秒。这么渣的效率可咋办呢？以上内容已经证明了alignment确实对detection的preciseness有帮助，这就够啦，对下面的工作也是个启发能不能在做detection的同时把alignment做了呢？alignment的中间结果是否能给detection带来一些帮助呢？后面慢慢讲。先说两个通用的面部检测和矫正的模型：1.级联检测分类器（bagging）：不失一般性，一个简单的级联分类器是这样的：2.级
6、联回归校准（我这翻译+_+）：这里介绍的是另一个人在10年发的文章：Cascaded Pose Regression (CVPR10)，给图像一个初始shape（通常采用平均shape），然后通过一次一次的回归把shape回归到正确的地方。算法结构很简单，但是效果确实非常好：回归过程如下：首先提取特征，原作者采用的是Pose-Indexed point features，然后根据特征训练回归函数（可以用线性回归，CART，随机森林等等），原作者采用了一个叫Random Fern Regressor的东西，这里翻译成随机蕨好了（这名字)，回归出这一阶段的偏移量，然后shape加上这个偏移量，反复
7、这一过程，直到迭代上限或者shape错误率不再下降。随机蕨的算法过程和随机森林类似，他是一个半朴素贝叶斯模型。首先选取M组每组K个特征建立M个蕨（弱分类器），然后假设蕨内特征是相关的，蕨间特征是独立的，这样从统计学上随机蕨是一个完整的把朴素贝叶斯分类器，让计算变得简单：式中C代表分类，ci代表第I类，M代表蕨数量。综上，这样回归的过程可以总结成如下形式：S代表shape，St代表在回归第t阶段的shape，他等于上一阶段的shape加上一个偏置，这个偏置就是上述回归方法之一搞定的。比如随机森林或者随机蕨，或者线性回归。现在再说说怎么训练得到这个回归Rt。有两种思路：一种是像刚才随机蕨那样，每个
8、每个蕨的叶子节点存储一个偏移量，计算训练的时候落入这个叶子节点的样本偏移之平均，然后作为最终的叶子节点偏移量。其实就是在优化一个如下目标函数：然而MSRA组在3000fps中采用的是另一种方法，形状的偏移量S为：目标函数是：其实也是同样的思路，代表特征提取函数，论文中称的输出为局部二值特征（LBF），W为线性回归参数矩阵，其实就是把提取出来的特征映射到一个二维的偏移量上，是一个2*lenth(特征空间维数)的变换矩阵。首先讲是怎么训练的：其实就是一个随机森林。思想汇报专题输入像素差特征e features），输出一个offest。训练的时候随机给每个根节点像素差特征中的一部分。非叶节点的分裂依
9、据是从输入的pixel-difference features中找出能够做到最大的方差衰减的feature。在最后的叶子节点上写上落在叶子节点上的样本偏移量，这个偏移量在之前说到的fern里有用，但是在这里没啥用，因为作者篇二：人脸识别技术综述人脸识别研究代 上（河南大学环境与规划学院 河南 开封 475004）摘 要：现今世界经济发展迅速，而面对繁杂的社会安全问题却显得有些捉襟见肘，人脸识别技术能够因通过面部特征信息识别身份而受到广泛关注。人脸识别通常使用采集含有人脸图像或视频流的设备，将收集到的人脸信息进行脸部检测,进而与数据库中已有信息进行对比确定被识别对象的身份,已经广泛的应用于公共安
10、全、教育等多个方面，且在以后的社会发展中具有很大的应用前景。本文主要对人脸识别的发展历程、主要识别方法予以总结概括，并对其应用范围与发展趋势进行分析。关键词：人脸识别；方法；应用；发展1 引言人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。该项技术目前应用到社会的各个领域，例如个人家庭自动门的安全系统、犯罪人的身份识别系统、银行自动取款的服务系统等。人脸识别系统给人带了很多方便，应用能力很强，但是人脸识别仍然有很多阻碍其发展的困难之处。主要表现在：在收集图像中目标自身的影响；在系统收集图像的过程中容易受到各种外界因素以及系统收集图像之后由于其它因素造成的面部损伤所带来的影响；随着
11、时间的变迁，人的面部逐步发生变化的影响。这些都对人脸识别技术的发展造成了一定的困难，也使得该项技术面临着多种挑战性。2 人脸识别研究的发展历史与研究现状2.1发展历史很早在19世纪80年代就有关于通过人脸对人类的身份进行辨别的论文发表，但是由于技术水平与设备的限制，人脸识别技术并没有受到重视。直到20世纪60年代末，Blcdsoc1提出了人脸识别研究的雏形，人脸识别技术才被人们接受。在人脸识别研究的早期阶段，人们主要研究的是人脸识别的各种方法，但是在实际应用方面却没有得到实质性的进展。进入20世纪90年代末的时候，人脸识别技术进入了一个快速发展阶段，在这个时期各种新的人脸识别方法相继出现，并创
12、建了人脸图像数据库，对人脸识别的发展起到了巨大的促进作用。在实际应用方面也取得了很大的进展，运用人脸识别技术的产品逐渐进入了社会市场。进入21世纪以后，人脸识别技术已经逐步发展成熟，但是由于非理想条件如（光照、天气、姿态）的影响，对人脸识别技术的要求也更高。为了解决这些不利因素所造成的影响，研究者们一直努力寻找更加趋于完美的方法，从而减少这些因素所带来的不利影响。2.2研究现状近几年来，人脸识别技术已经从以前的认知阶段发展到了实际应用阶段。但是由于每个人的面部都会因为各种不同的原因发生改变，这给人脸识别带来了不小的影响。如光照不同可能提取的图像不同；提取图像的角度和人物自身表情不同也会最终产生
13、不同的形态；因为外界因素使面部收到伤害就可能导致人脸系统无法识别的情况。这些因素都让人脸识别技术的研究现状不容乐观。但是研究者多年积累的丰富经验给以后的研究建立了稳定的基础，让以后的人脸识别研究少走了很多弯路。在人脸识别领域世界各国都取得了很多成果，如我国人脸识别的快速通关系统（MRTD），取得了国际先进的整体性能；美国国防部的人脸识别（FERET)技术工程2，创建的FERET人脸数据库包含1万多张不同的人脸图像，是人脸识别领域应用最广泛的人脸数据库之一，但此人脸库只限于军方使用；英国的Manchester人脸库，深入得对本地人脸进行了研究。这些都为人脸识别技术的发展建立了一个个新的里程碑。在
14、人脸识别技术领域，各种新技术也不断涌现出来。如Timo Ahonen 和Matti Pietikainen的局部二元模式法、Yuri Ivanov等人的组合分类融合方法等。这些新的人脸识别技术对未来的人脸识别研究提供了巨大的帮助。3 人脸识别的主要方法人脸识别从应用上看，主要有两种方式：一种是对未知身份的人脸目标与相关系统图像数据库中已经有的图像进行比较，通过辨别之后确定未知目标的身份；另一种是以一个目标人脸来辨别一个或者多个待识别的人脸，从而判断是否是已知目标人脸。人脸识别从研究上看，常用的人脸方法有特征脸人脸识别方法、弹性图匹配方法、基于Fisher线性判别准则的人脸识别方法、基于神经网络
15、的人脸识别方法、基于支持向量机的人脸识别方法、基于贝叶斯的人脸识别方法。对目前主流人脸识别技术中识别方法进行分类，大致可以分为基于模板匹配的方法和基于几何特征的方法两大类别3。3.1基于模板匹配的方法基于模板匹配的方法是提前通过采集图像信息制作出一个原始的标准人脸模板，然后在检测人脸的时候，系统会将待检测人脸的相关数值进行匹配，如果符合原始模板的标准，就可以说是匹配成功。此方法主要是看模板与目标的相似度，因此这种方法的优点就在于可以轻易完成一定量的人脸识别，但是缺点就是容易受到各种因素的影响，从而造成识别效果达不到理想状态，甚至是检测错误。因此可以采用变形模板，即事先制定多个模板，用这些已经制
16、定好的多个模板对单个待检测的目标进行匹配检测。最常用的一种模型称作隐马尔可夫（Hidden Markov Model，HMM）模型4。起先HMM模型并没有运用到人脸识别技术上，而是运用于声音识别技术上，后来才被引用到人脸识别系统领域中。HMM的状态我们不能够直接观察到，而隐马尔可夫模型属于马尔可夫链，可以通过观测向量序列观察。由于每个观测向量的的分布表现所呈现出来的状态迥异，但是每个观测向量又是由相对应的状态序列产生。因此，隐马尔可夫模型所表现出来的是一种双重的随机过程。隐马尔可夫模型通过对每个待识别人脸的观测向量进行计算得出概率，从而判别检测的结果。HMM方法对面部表情变化不敏感又具有很好的
17、鲁棒性，因此该方法的辨别率很强。多模板匹配的方法是由梁路宏5等人提出。该模板不是由传统的单一模板组成，而是由人眼模板和人脸模板组成的多个模板。传统模板都是直接与待检测目标进行匹配，该模板先通过人眼模板对待检测的目标进行搜索筛检，然后再通过人脸模板进行检测直到确定是否相互匹配。在多模型中Cootes等人提出了最为经典的两种方法：主动形状模型（Active Shape Models,ASM)和主动表象模型（Active Appearance Models,AAM)。ASM首先创建一个模型参数，然后用建立的模型在图像中定位几个关键位置（如额头、眼睛、鼻子、下巴等），再进行相似变换从而得到关键点的位置
18、。AMM是ASM的一个扩展，AMM通过目标的形状和纹理结合在一起建立一个统一的模型。在与目标匹配的过程中，不断的调整模型参数，以达到与目标纹理相吻合。3.2基于几何特征的方法基于几何特征的方法最早是由Knaade提出，也是最传统的一种方法。该方法对我们的人脸中的具体部位，如眉毛、眼睛、鼻子、嘴巴等先做一个几何特征的描述，然后再以这些几何特征做为标准。每个人的特征都不一样，因此通过几何特征的方法可以精确的测量出属于每个人自身的特征。但是这类方法存在很大的弊端。该方法是通过精确的几何向量来匹配目标模板，则以下几种情况会影响到测量的精度：（1）光照和姿态的变化容易改变人物本身所具有的几何特征；（2）
19、受到外界损伤的影响会使测量的准确率下降很多；（3）人为的改变使测量不精确，如本应该准确测量眼瞳之间的距离，但是人为的改变却能影响到距离的测量。因此基于几何特征的方法在识别的过程中很容易影响到准确率。64 人脸识别技术的应用范围及优缺点4.1人脸识别技术的应用范围人脸识别技术在各个领域的应用都很广泛。在日常生活方面，为了保障我们的财产安全，银行采用人脸识别技术，可以识别客户的身份信息，更好的保护了每个公民的财产不会被欺骗；为了保证我们的人身安全，最典型的就是安全门引用了人脸识别技术，没有识别到家庭成员的人脸图像安全门是绝对不会因为各种因素开启的，大大的保证了使用者的人身安全。在国家管理方面，公安
20、系统以前大多采用的是指纹识别、基因识别，如今人脸识别也得到了广泛的应用。通过对犯罪嫌疑人的人脸识别可以更精确的找出犯罪嫌疑人，一旦犯罪嫌疑人出现在公安机关所监控的摄像头范围内，即可进行识别定位，而且操作流程简单，只需提取犯罪嫌疑人的脸部信息即可。对于国家各个工作岗位的职员，采用了人脸识别录入系统，稳定了国家的调控，加强了企业的管理，使国家和企业之间能够更好的配合在一起，从而调控整个社会市场的发展。在教育方面，各种考试都不同程度的出现了替考、作弊等违反公平竞争的不和谐现象。人脸识别技术的应用，可以精确的确定考生身份，更好的控制住种种替考、作弊现象的发生，创造一个公平的环境，营造更好的教育环境，才
21、能选拔出更优秀的科技人才，才能让我们的技术得到飞速发展，从而进入一个良性循环之中。人脸识别技术已经广泛应用于政府、军队、银行、社会福利保障、电子商务、安全防务7等领域。在这些领域所取得的成就是有目共睹的，人脸识别系统的发展空间还很大，还有很多地方需要我们不断的去摸索。4.2人脸识别技术的优缺点近些年人脸识别技术的发展速度日新月异，从单纯的了解到熟练的掌握、应用，从单一的识别方法再到多种高精度识别方法，可以说说人脸识别技术开辟了一个新的空间，并且广泛的应用前景。但是人脸识别技术还处于发展研究阶段，依然有许多待解决的问题与不成熟之处。人脸识别技术的优点主要体现在应用方面，可以归纳到以下几点：精准度
22、高，能够准确的识别出待识别目标。方便快捷，不需要直接接触机器只需扫描一下就能完成识别。安全性高，经过录入系统后不容易被破坏。人脸识别技术的难点主要体现在技术方面，大致可以总结为两点：相似性，因为不同人脸之间的区别不是很明显，尤其是各个肤色相同的人，每个人的人脸的结构都有一定的相似性。因此这些特点有利于人脸识别定位，但是不利于通过人脸来区分整个人的个体。易变性，人脸部的外形很容易发生改变，在不同的角度去观察，所看到的人脸会产生不同的影像，而且人脸识别还容易受到光照条件（如明亮处和阴暗处，开阔空间和密闭空间等）、天气（如阴天和晴天，雨天和雪天等）、年龄增长等各个因素的影响。其在应用领域也存在一些困
23、难，主要体现在两个方面：一是数据库涵盖范围有限，不能提供足够的样本，这将限制人脸识别技术的精度与成功率；二是如果面部识别系统的数据库比较庞大，数据库中检索并对比的速度将比较缓慢，耗费大量时间，这将降低人脸识别技术的效率。五、总结随着社会形势的发展变化，生物识别技术越来越多的被人们关注和重视，甚至已经应用到日常生活中。但在技术水平还未发达的情况下，不同的生物识别技术拥有其独特的优势，也存在弊端。在视频监控系统逐渐普及的今天，需要的是能够在远距离外进行检测且不易被察觉的身份识别系统，并且操作起来简便迅速，而人脸识别恰恰拥有这些优势，并且还能够同时识别多个目标，因此人脸识别在身份认证方面的用途不容小
24、觑。然而也需要注意，人脸识别其最重要的特点是把人脸作为生物特征来识别人，因此在研究中存在不少的困难。在人脸识别不断发展的同时，它的应用领域也在不断拓宽，它不再单单只应用于身份识别，还能应用于许多方面。例如：数码相机照相时的人脸对焦功能，公安机关侦破案件时的身份识别，企业、个人住宅、小区等的门禁系统的身份识别，信用卡在网络支付时的辅助身份识别，以及电子护照等等。未来社会面临着各种各样的问题，人们的生活条件变得越来越好的同时，对安全和便捷的期望也越来越高，而科学技术的不断发展也使得人脸识别系统能够给我们带来越来越全面的生活便利，而这正是人类社会发展的重要体现，也是人类文明不断进步创新的标志。本文从
25、各个角度对人脸识别技术进行了阐述，能够清晰的认识到人脸识别的发展、方法和应用。但是由于空间的限制，没能够对人脸识别技术做更深一步的研究，方法描述的不全面，今后还需要不断地加强学习，不断地总结提高。参考文献：1 Bledsoe W W.Man Machine Facial RecognitionR.Palo Alto,CA,TR:Rep PRI:22,1966.puter Generated Animation of Faces.In Proceedings ACM ANN Conference.NewYork,1972,1:451-457.3 胡静.基于代数特征的若干人脸识别方法研究.计算机科
26、学与应用.南京理工大学.204 郭爱章 王新刚 姜雪松.马尔可夫模型应用于入侵检测系统的研究.信息技术与信息化.山东轻工业学院,现代技术教育中心.20XX，(6)：47 -485 梁路宏,艾海舟,徐光祐,张钹;人脸检测研究综述J;计算机学报;20XX年05期puter Recognition of Human Faces.Ph.D Dissertation.Kyoto University,Japan,19747 杨万振.人脸识别技术概述.计算机光盘软件与应用.东北大学.20XX，(5)：49 -49篇三：人脸识别学习总结最近简单的研究了人脸识别，主要从数学上系统地阐述了特征脸，PCA算法，L
27、DA算法及SRDA算法的性质，并重点研究了LDA和最近提出的SRDA算法，研究了它们的原理、性质、特点、算法理论依据、算法步骤和算法复杂度；对PCA，LDA和SRDA算法从理论上做出了比较。最后通过MATLAB仿真了一些结果。谱回归判别分析算法研究1.特征脸和PCA算法特征脸算法是基于KL变换，选择使所有样本的散布距离最大的方向进行线性投影12作降维的特征提取。下面从数学上对算法进行分析。假设输入有m个样本人脸图像：x1,x2,.,xm，他们属于c个类别，每个图像都处于l维的特征空间。定义总体散布矩阵St：St?(xi?)(xi?)T，（1）i?1m?是所有样本的平均值；定义总体类内散布矩阵S
28、w：Sw?(?(xi(k)?(k)(xi(k)?(k)T),（2）k?1i?1cmk?(k)是第k类样本的平均值，xi(k)是第k类的第i个样本。Sw表示各样本点围绕它的均值分布情况。定义总体类间散布矩阵Sb：Sb?mk(?(k)?)(?(k)?),（3）k?1cm(k)是第k类的样本的数目。Sb表示各类间的距离分布情况，它取决于样本类别属性和划分。总体散布矩阵与总体类间散布矩阵与总体类内散布矩阵存在关系：St?Sw?Sb；总体散布矩阵与样本划分及属性无关。现有一线性变换使图像从原始的l维映射到h维特征空间，且h?l。设有正交矩阵A?n?h，通过线性变换：yk?ATxk，k?1,2,m得到新的
29、特征向量集：yk?h。经过线性变换后，特征向量集y1,y2,ym的散布矩阵为ATStA。对于PCA算法，A选为使所有样本投射的总体散布矩阵为最大值的理想值：Aopt，即其中a1,a2,ah为St从大到小递减的特征值对应的l维的特征向量。因为这些特征向量具有和原始数据一样的维度，所以它们也被称为特征图（Eigenpicture），或特征脸（Eigenfaces）3。图1为特征脸获取流程图；图2为PCA算法的流程图。图1 特征脸获取过程图2 PCA算法流程从图2可以看出，PCA算法的过程其实就是在特征脸获取后，利用特征脸和获取新的人脸图像进行图像重构，得到降维了的输出图像。从另一个角度说，PCA的
30、基本思想就是寻找一组最优的单位正交向量，通过线性变换，将原始数据重建，并使重建后的数据和原始数据的误差最小，以实现最好的识别。基于特征脸的PCA算法的弊端是它不仅使样本的类间距离变大，而且使样本的类内距离变大。使样本的类内距离增大对人脸分类没有好处。而且在连续人脸图像序列中，前一幅人脸图像与后一幅人脸图像的不同在于光照的区别24，因此如果人脸图像序列呈现在变化的光照下，PCA变换得到的Aopt中的不同的特征向量将含有因为光照变化的成分，导致后续分类处理时产生错误。有人建议把Aopt前面的几个特征向量舍弃，降低因为光照变化带来的影响，但是Aopt前面的几个特征向量的差异不可能都是因为光照变化引起
31、的，盲目的舍弃特征向量会使有用的信息丢失。2.LDA算法研究 LDA算法介绍LDA算法的目的就是寻找A使Sb/Sw的比值最大化。当Sw为非奇异矩阵，Aopt就是：Aopt?argmaxT?a1,a2,ah （5）a1,a2,ah就是使Sb/Sw最大的特征向量集，它们对应于递减的特征值?1,?2,?h使满足等式：Sbai?iSwai，i?1,2,h （6）显然h的值不大于c，即类别数目。使Sw非奇异。一种常用的方法是先将图像通过PCA降维至m?c，然后用（5）式进行再将图像降维至c?1。这种方法称为Fisherface算法，它其实就是先用PCA算法进行降维，然后在用LDA算法再做一次降维4。这样有Aopt?AldaApca （7）其中，
