1、生物特征识别技术相比,不仅具有更高的识别率,而且可靠性和普适性更强引.生物特征识别系统一般由四个环节构成:获取生物特征信号,特征提取,特征匹配以及决策.按照融合在哪个环节进行,多模态生物特征识别系统的融合方法可以分成四类:传感器层或像素层融合,特征层融合,分数层融合和决策层融合3.特征层融合利用了最多的原始信息,从理论上可以得到最高的性能,但是不同模态提取的特征不相容.例如,用PCAE,LDAE提取的人脸特征均是实数向量,而虹膜提取的特征是二进制编收稿日期:20071229;修回日期:20090530作者简介:张志坚,男,1980年,博士生.研究方向:生物特征识别和嵌入式系统.E-mail:z
2、jzhang3通讯作者:张培仁,教授.E-mail:przhang1178中国科学技术大学第39卷码_6,这就限制了特征层融合的应用;而决策层融合利用的信息最少,对生物特征识别系统的性能提高有限.因此,分数层融合得到了最广泛的关注.目前,分数层融合策略有两种.（I）组合判定策略l8:首先进行分数归一化然后用简单规则对匹配分数进行融合.简单规则包括加法规则,乘法规则,最小规则,最大规则.常用的分数归一化方法包括min-max,Z-score,Tanh等.（）二级分类器策略8叫:把融合问题转换成二类（拒绝,接收）问题,即把M种单模态生物特征的匹配分数组成一个M维的特征向量,用各种模式分类算法（如L
3、DAl】l_等）进行分类.实验表明,组合判定策略具有如下缺点:（工）当参加融合的生物特征的正确接收率（genuineacceptrate,GAR）相差较大时,会出现融合系统的GAR低于单生物特征的GAR的情况;（11）简单规则的GAR受到分数归一化方法影响很大.本文提出了?种新颖的基于多变量多项式模型的分数层融合算法（multivariatepolynomialmodelbasedscorefusion,MPMSF）,不仅可以避免上述组合判定策略的缺点,并且其GAR高于传统分数层融合算法（二级分类器策略和组合判定策略）,同时可以满足多模态生物特征识别系统的实时性要求.1基于多变量多项式模型的分
4、数层融合算法.1.1多变量多项式模型设S为第个子系统输出的匹配分数的集合,SES,m一1,2,M.将各子系统的匹配分数构成一个向量,即一（S,Sz,SM）,可以建立如下的多变量多项式模型（multivariatepolynomialmodel,简称MPM）K1ss=f（u,s）P?a一n1sn2一s（1）2一O式中,S,是融合分数,a是模型参数,一ao,Oil,a一I,K是模型参数的个数.,2I垤是相应模态的匹配分数的幂次,且满足如下三个条件:n2一,M为非负整数;0,MR,R1是模型阶数;MR.一满足上述三个条件的,眦的取值共有K种可能.表1列举了K与模态数M,模型阶数R的关系.例如,当R一
5、2,M=2时,K一6,故Srf（a,）一ao+a1S1+d2S2+a3S+a4s1S2+a5S;（2）P一1s1S2SfS152s;（3）表1MPM的模型参数个数K随模型阶数（R）和模态数（M）的变化Tab.1RelationshipbetweenK.M.RKR1234567236101521283634102O355684120由表1可以看到,多变量多项式模型的主要缺点是:模型参数的数目K随着模型阶数R和模态数M的增加而迅速增加,从而使MPM的计算量大大增加.为了减少计算量,本文仿照文献E12的方法,对上述多变量多项式模型进行简化Sff（a,）=P?RMRa.+asi+am州（s+s+SM）
6、i一1i一111（4）式中,各变量的含义如前所述,R1是模型阶数.式（4）称为简化的多变量多项式模型（reducedmultivariatepolynomialmodel,RMPM）,RMPM有K=1+RMR-1+R（M+1）个参数.为了描述方便,以下用MPMSF-IR表示采用尺阶多变量多项式模型,用MPMSF-一R表示采用简化的尺阶多变量多项式模型.1.2模型参数的确定设一（sS?一,SiM）,=1,2,N的类别已知.其中,SS,一1,2,M,由此获得N个观测数据（s,Y）.Y一f（a,s）一Pa的取值由下式确定v,一JWl（5）Io,Wo式中,Wo.表示非法用户,w表示合法用户.使用最小二
7、乘法估计获得多变量多项式模型参数口一a.,a,a,a一的估计值.使如下目标函数最小,（）一去IlyPa（6）第11期基于多变量多项式模型的多模态生物特征分数层融合算法1179式中,P一1P1l（s1）1Pl（s2）1Pl（N）PK1（1）PKl（s2）PK1（sN）户一一+,+z+n+#41n2+;=+（）+,Y一（Yl,2,YN）,ll?ll表示向量的2范数.为了获取更好的分类结果,首先对矩阵P的每列进行标准化,即P,一（7）stdi式中,p是N1的列向量,每个元素均为P的均值,std表示P的标准差.根据最zJx_-乘法,式（6）的解为一（P）pTY（8）值得一提的是,如果矩阵P存在多重共线
8、性,lPIn0,式（8）所获得的模型参数的估计精度会降低.此时可以用岭估计求解多变量多项式模型参数,即（pTp+H）pTY（9）式中,k>O,I是KK的单位矩阵.1.3分类器的构建对于一个测试样本,把和带入式（1）有S=厂（口,S）一P?（10）式中,如式（8）所示.设定阈值r,则的类别可以采用如下方式确定s,如果&I（11）S,WO,如果S<rJ1.4MPMSF不需要分数归一化的原因设融合系统中共有M个分系统,设s为第个子系统输出的分数的集合,sS,一1,2,M.实际上,常用的分数归一化方法具有相同的形式,一,m=l,2,M,z是归一化后的匹配分数.rain-max分数归一化方法
9、:A一rain（S）,B一max（5）一min（S）Z-score分数归一化方法:A一mean（S）,B一std（S）为了便于书写,只推导R一2,M一2的情形.假设对分数归一化后再采用MPMSF-2进行分数层融合,把融合参数表示为=,岛,把和带入式（3）,得到sf一_厂（,1）=（）（）+（）（一一+）+f盟一2一色鲁）+BBB】B2/f譬一2一鲁1+BB2B;B】2/J2+盎.+式（12）和式（2）具有相同的形式,这说明,当M=2时,MPMSFI一2不需要对分数进行归一化的原因,并且一a.,a,a是一,的函数.同样可以证明,MPMSF-IR和MPMSF一一R不需要进行分数归一化.2实验2.1
10、数据库本文构建了包含132人的合成多模态数据库,其中每人有4张虹膜样本和4张人脸样本.将人脸样本和虹膜样本进行随机匹配,构成虚拟的个人的多模态样本.人脸样本来自中国科学院计算技术研究所开发的CAS-PEALR1E人脸数据库的标准子库,背景子库,距离子库,如图1第一行所示.CAPEALR1包含了1040名中国人共30900幅头肩部图像,分为正面图像子库和姿态图像子库,其中正面图像子库包含9060幅图像.虹膜样本来自UBIRIS.vl虹膜数据库_】Il的Session2,如图l的第三行所示.UBIRIS.vl于2004年9月构建,包括241人的1877张眼部的图像.与CASIAEM和UPOLE等公
11、开的虹膜数据库不同,UBIRIS.v1是一个噪声数据库,虹膜样本包括大量的聚焦模糊,遮挡,眼镜反光造成的低质量样本.数据库分两次采集,第一次（Session1）采集了241人的虹膜图像,采集对拍摄环境进行控制,样本噪声比较小;第二次（Session2）采集了132人的虹膜图像,不再控制拍摄环境,包含了大量的聚焦模糊,遮挡,眼镜反光造成的低质量样本.118O中国科学技术大学第39卷图1合成数据库中的典型样本Fig.1Representativesampleofthesynthesisdatabase2.2测试协议实验中把人脸图像归一化为120*142像素大小,如图1的第2行所示,采用PCA提取人
12、脸特征,用最近邻距离分类器进行分类;采用一维LogGabor滤波器提取虹膜特征_l6,利用海明距离进行特征匹配.在上述合成数据库中,随机划分为训练集和开集测试集.对于人脸而言,测试集中使用标准子库的样本作为gallery（注册图像）,其余3张作为probe（待识别图像）;对于虹膜而言,测试集中使用任一张作为gallery,其余3张作为probe.采用交叉验证的方法评估各种分数层融合算法的性能.即合成数据库做N一5O次不同的划分,训练集训练分类器,测试集测试GAR,最后对N次的GAR进行统计.需要指出的是,次实验均是开集测试,即训练集和测试集中包含不同人的样本.实验将全面测试MPMSF-I和MP
13、MSF-1I的性能,对比算法为:（工）采用LDA作为二级分类器的二级分类器策略;（II）组合判定策略,包括分数归化方法和简单规则的12种组合.2.3实验2.3.1归一化方法和单模态性能对分数层融合算法的影响表2列举了各种分数层融合算法（二级分类器策略,组合判定策略,MPMSF-I,MPMSF-）当FAR=0.001时的GAR均值为1兰GARagothm一GARlg.血hm,i一1式中,下标algorithm表示分数层融合算法的名称,GARhn,表示该算法第i次测试取得的GAR.表2的第4行（第5行）统计了MPMSF-一（26）（MPMSF_I-（26）的GAR均值.从表2可以得到如下结论:（工
14、）组合判定策略的GAR受到分数归一化方法的影响比较明显.以Min规则为例,当采用Z_score归一化方法时GAR均值为92.3,当采用min-max归一化时GAR均值为74.7,相差了近2O.而MPMSF不需要分数归一化的步骤,其结果不会受到分数归一化方法的影响.（II）在单模态的GAR相差很大的情况下,组合判定策略出现融合GAR低于单模态GAR的情况.人脸模态的GAR为54.7%,虹膜模态的GAR为88.3,product+Tanh,min+rain-max,max+min-max,max-Z-score,max+Tanh等组合的性能低于虹膜的性能.相对应的,MPMSF算法在在单模态的GAR
15、相差很大的情况下仍然可以提高生物特征识别系统的GAR.表2各种分数层融合算法GAR的平均值（FAR=0.0o1）lhb.2MeanGARofscorefusionalgorithms（FAR=0.001）另外,从表2可以看出,sum规则在组合判定策略中获得了最好的性能,因此在以下的对比试验中,不再列举product规则,min规则,max规则的数据.2.3.2MPMSF算法的GAR表3（表4）列举了MPMSF-I（MPMSF-1I）的GAR均值与其他算法的GAR均值比较.其中,第二列的黑体表示MPMSF-工（MPMSF-）算法中GAR高于传统分数层融合算法的情况.从表3,表4可以得到以下结论:
16、（I）MPMSF-I一（2,3,4,5,6）获得高于传统分数层融合算法（包括二级分类器策略和组合判定策略）的GAR.（1I）MPMSF-II一（4,5,6）获得高于传统分数第11期基于多变量多项式模型的多模态生物特征分数层融合算法1181层融合算法的GAR.（HI）当模型阶数相同时,在MPMSF-I的性能高于MPMSD1I.表3PlVlPSF-I与传统分数融合方法的GAll比较（FAR=0.001）Tab.3GAllforPMPSF-Tandotherscorefusionmethods（FAR=O.001）表4PMPSF-与传统分数融合方法的正确接收率比较（FAR-0.001）Tab.4GA
17、RforPMPSF-andotherSCOrefusionmethods（.AR=0.001）2.3.3MPMSF算法的CPU间开销表5列举了各种算法的CPU时间开销,表中的数据是在如下环境测试得到的:三星笔记本电脑X05,CPU为IntelPentium1.4G,内存大小256M,操作系统为WindowsXP,软件Matlab7.0.4.从表5可以看到,（I）MPMS工算法的时间开销高于传统的分数层融合算法（LDA,sum规则,product规则,min规则,max规则）,这是由于MPMSF算法计算量大于传统的分数层融合算法.表5各种分数层融合算法的CPU时间开销Tab.5CPUtimeof
18、SCOrefusionalgorithms（11）MPMSF算法的时间开销在其时间开销在10S数量级,完全可以满足多模态生物特征识别系统的实时性要求.因此,MPMSF算法是有实际应用价值的.3结论研究了多模态生物特征的融合算法,主要有两点贡献.（I）首先提出了一种新颖的基于多变量多项式模型的分数层融合算法（MPMSF）.采用多变量多项式模型（MPM）和简化的多变量多项式模型从不同模态的生物特征的匹配分数获取融合分数,采用最小二乘法确定多变量多项式模型中的参数取值;（1I）采用交叉验证的方法,对各种分数层融合算法进行了全面的评估.开集测试表明,本文提出的MPMSF算法优于传统的分数层融合算法,表
19、现在:（I）MPMSF不需要分数归一化的步骤,其结果不会受到分数归一化的影响;（.）MPMSI,MPMSF-1I的GAR高于传统分数层融合策略（二级分类器策略,组合判定策略）;（III）在单模态的性能相差很大的情况下,MPMSF算法仍然可以提高系统的GAR;（IV）当模型阶数相同时,在MPMSF-I的性能高于MPMSF_.另外,MPMSF的CPU时间开销在10S量级,满足多模态生物特征识别系统实时性的需求.参考文献（References）1HongL,JainAK,Pankantis.CanmultibiometricsimproveperformanceR.EastLansing,MI:Co
20、mputerandScienceandEngineering,MichiganStateUniversity,MSU-CSE-9939,1999.2HongL,JainAK.IntegratingfacesandfingerprintsforpersonalidentificationJ.IEEETransactionsonPatternAnalysisandMachineIntelligence,1998,20（12）:l2951307.3RossA,JainAK,QianJ.InformationfusioninbiometricsEJ.PatternRecognitionLetters,
21、2003,241182中国科学技术大学第39卷（13）:21152125.4TurkM,PentlandAEigenfacesforrecognitionJ.JournalofCogmtiveNeuroseience,1991,3（1）:71-86.5EtemadK,ChellappaRDiscriminantanalysisforrecognitionofhumanfaceimagesEJ.JournaloftheOptica1SocietyofAmericaA,1997,14（8）:1724-1733.6MasekLRecognitionofhumanirispatternsforbiom
22、etricrD.MasterThesis,BachelorofEngineering,TheUniversityofWesternAustralia,2003.7DaugmanJG.HighconfidencevisualrecognitionofpersonsbyasetofstatisticalindependenceJ.IEEETransactuinonsonPatternAnalysisandMachineIntelligence,1993,15（11）:11481161.8JainAK,NandakumarK,RoSS久ScorenormalizationinbiometricsJ.
23、PatternRecognition,2005,38（12）:22702285.9WangYH,TanTN,JainAK.CombiningfaceandirisbiometricsforidentityverificationC3/Proceedingsof4thInternationalConferenceonAudio-andVideo_BasedBiometrics,PersonAuthentication.Guildford,UK,2003:805813.rlO3SandersonC,Paliwa1KK.Informationfusionandpersonverificationus
24、ingspeechandfaceinformationEB/OL.http:/www.idiap.ch/sanders/conrad/papers/idiap_rr0233.ps.gz.In2MclaehlanGJ.DiscriminantAnalysisandStatisticalPatternRecognitionM.NewYork:Wiley,1996.12SrinivasanD,SharmaVAreducedmultivariatepolynomialbasedneuralnetworkmodelpatternclassifierforfreewayincidentdetectionC
25、3/ProceedingsofInternationalJointConferenceonNeuralNetworks.Orlando,Florida:IEEEPress,2007:23662372.133SonB,LeeY.Biometricauthenticationsystemusingreducedjointfeaturevectorofirisandfacec/ProceedingsofSixthInternationalConferenceonAudio_andVideo-BasedBiometrics.PersonAuthentication.HiltonRyeTown,NY:IEEEPress,2005,3546:513522.14GaoW,CaoB,ShanSG,eta1.TheCAS-PEALlarge-scalechinesefacedatabaseandbaselineevaluationsJ.IEEETransactionsonSystemManandCybernetics,PartA:SystemsandHumans,2007,38（1）:1491
