模糊数学综合评价法在认证人员能力评价中的应用研究.docx

模糊数学综合评价法在认证人员能力评价中的应用研究.docx

《模糊数学综合评价法在认证人员能力评价中的应用研究.docx》由会员分享，可在线阅读，更多相关《模糊数学综合评价法在认证人员能力评价中的应用研究.docx（21页珍藏版）》请在冰豆网上搜索。

模糊数学综合评价法在认证人员能力评价中的应用研究

模糊数学综合评价法在认证人员能力评价中的应用研究

中国质量认证中心周玉林中国合格评定国家认可委员会郑军

摘要：

利用模糊数学综合评价法建立一套数学模型，并采用适合现代化企业管理运作模式的模块化评价手段，定性与定量相结合综合评价认证人员能力，为认证机构选择合适人员、发现人员能力不足并定向实施培训、提高认证人员能力及实施管理决策提供依据具有重要意义。

文章以审核员/检查员为例，依据模糊综合评价法和层次分析法（简称AHP）理论，建立结构模型、构造判断矩阵、计算权重和一致性检验，建成审核员/检查员能力评价模型。

利用模型对认证机构的审核员/检查员能力实施评价有很强的实用性。

同时研究发现常用的几种认证人员能力评价方法（渠道）对同一名审核员的能力评价结果不完全一致，部分方法之间存在很强的正相关关系，这为认证机构设计人员能力评价方案，节约管理成本等提供了借鉴。

关键词：

认证人员能力模糊数学模糊评判相关性分析

0前言

对认证事业而言，认证人员的素质和能力，是认证工作质量、信誉和服务水平的保证，是认证机构的核心竞争力。

在认证市场竞争日趋激烈的今天，各认证机构如何建立和保持竞争优势，打造和培养一支素质高、能力强、业务精的认证人员队伍是每个认证机构必须面对和亟待解决的问题。

培养和建设人才队伍，提升其能力，前提是机构有能力、有方法能够准确、客观、方便地识别和评判人员能力大小，这就需要建立一套科学的评价管理体系和采用适合现代化企业管理运作模式的模块化评价手段，方便机构发现已聘用认证人员能力不足的短板，提出改进方向和培训需求，提高个体及整体的素质和能力，为认证机构制订合理的“量才定岗”、“奖优罚劣”等管理政策提供支持。

1认证人员能力评价的现状及探讨

认证人员一般包括：

检查/审核人员、技术专家、认证决定人员、产品特定认证实施规则制定人员、报告评审人员、审核项目管理人员、培训指导与管理人员、试验或检验人员、专业能力评定人员、现场见证人员、内审员等。

不同的认证人员在认证过程中承担的职责不同，发挥的作用也不尽相同。

其中审核员/检查员因工作在认证服务的第一线，直接面对认证客户，代表着认证机构的形象，其素质高低、能力大小对整个认证活动的规范性、适宜性、有效性至关重要，是认证人员管理的重点。

现阶段国内外各认证机构为满足认证有关国际、国内法律法规、认可准则认可规范、导则等要求，大都对认证业务地域分布、人员组成特点、审核方案管理以及认证机构发展规划等因素进行了综合考虑，确定了适合中国质量认证中心运作模式和未来业务发展需求的审核员/检查员评价和管理模式。

利用了包括教育经历、培训经历、审核经历、工作经历和专业经历、技能等多方面的信息对审核员/检查员进行评价，不同机构又根据机构自身的管理模式及网络管理技术成熟程度，选择了记录审查、意见反馈、面谈、考试、模拟审核及现场见证等方法或多个方法组合的方式对审核员/检查员进行全方位的评价，评价结果对审核员/检查员的聘用、任务选派、工作绩效及持续评价各方面提供依据。

王东玉[1]还建立了评价模型对认证审核员进行综合评价，部分机构还尝试将审核员/检查员评价与人力资源管理相结合的方式对人员进行管理。

国家认证主管部门对认证人员管理工作也十分重视，国家质检总局及中国合格评定国家认可委员会还专门成立课题组对认证人员管理理论进行研究，并获得了很多基础数据和成果。

但认证人员能力评价中，不同评价方法（渠道）的信息来源不同，适用评价对象不同，对评价结果的影响程度也不同，能力评价中不宜简单相加。

如何确定不同评价方法对认证人员能力评价的贡献率，目前尚无报道。

同时，评价认证人员能力的工作量很大，对所有认证人员的各方面能力都组织专家组集中评价，这种方式操作起来难度很大。

目前在建立数学模型评价认证人员能力时，如何结合认证机构的职能分工，模块化管理和评价认证人员能力方面也无相关报道。

本研究将以审核员/检查员评价为例，结合机构多年审核员/检查员的评价实施情况，依据认证机构审核员/检查员管理的特点和方法，立足于认证人员能力胜任与否进行评价。

从审核员/检查员日常认证服务流程出发，评价其在各环节中表现出来的素质和能力，用模糊数学综合评价法结合层次分析法建立能力评价模型，并对模型的应用进行介绍和分析。

2能力评价指标体系的建立

2.1评价方法介绍

模糊综合评价法是一种基于模糊数学的综合评价方法。

它根据模糊数学的隶属度理论，把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。

它具有结果清晰，系统性强的特点，能较好地解决模糊的、难以量化的问题，很适合如人员素质及能力评价这样的非确定性问题的解决。

层次分析法（AnalyticHierarchyProcess简称AHP）是将决策有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法，是一种层次权重决策分析方法。

它将决策者对复杂系统的决策思维过程模型化、数量化。

应用这种方法，决策者通过将复杂问题分解为若干层次和若干因素，在各因素之间进行简单的比较和计算，就可以得出不同方案的权重，为最佳方案的选择提供依据。

将模糊综合评价法及层次分析法作为一种工具，应用到一些实际问题的评价与决策的文章已有报道[2][3]。

2.2建立层次结构模型

本研究将审核员/检查员的基本素质、审核能力、专业能力、审核绩效4个方面定为一级指标（因素），并在深入分析实际问题的基础上，将有关的各个因素按照不同属性自上而下地分解成若干层次（二级指标甚至三级指标）。

同一层的诸因素从属于上一层的因素，同时又支配下一层的因素。

最上层为目标层，即审核员/检查员综合能力，最下层为方案或对象层，中间为准则或指标层（表1）。

表1参照中国合格评定国家认可委员会[4]CNAS-CC01：

2011管理体系认证机构要求附录A中对审核员/检查员的素质和能力要求，及附录B评价方法要求建立结构模型。

有关审核员的能力知识要求及评价方法，CNAS-CC01:

2011附录A、B中已有明确描述，此处不再赘述。

表1审核员/检查员素质和能力评价指标体系

一级

指标（4）

二级指标

（19）

三级指标

（可进一步细化）

评价方法（或渠道）

记录审查

观察

考试

客户反馈

面谈

合格评定意见

A1基本素质

A11语言表达及体质

√

√

√

√

A12工作的态度

√

√

√

√

√

√

√

√

√

√

√

√

一级

指标（4）

二级指标

（19）

三级指标

（可进一步细化）

评价方法（或渠道）

记录审查

观察

考试

客户反馈

面谈

合格评定意见

A13沟通协调及服务态度

√

√

√

√

√

√

A14学习新知识的主动性及能力

√

√

√

√

√

√

√

A15行为规范的遵守情况

√

√

√

√

√

√

√

A2审核能力

A21审核前的准备情况

√

√

√

√

√

√

√

A22抽样合理性

√

√

√

√

√

√

√

√

√

√

√

√

A23审核进度的把握情况

√

√

√

√

√

A24审核原则的掌握及审核证据收集方法的运用能力

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

A25核查记录情况

√

√

√

A26不符合报告及审核报告描述情况

√

√

√

√

√

√

√

√

√

√

√

√

√

√

A3专业能力

A31对特定标准和（或）规范性文件的熟悉程度

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

A32对客户的产品、过程和组织的知识掌握情况

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

A33对工艺/服务规范的熟悉程度

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

√

A34关键过程关键控制点辨识及其控制方法的掌握程度

√

√

√

√

√

√

√

√

√

√

√

√

√

√

A4审核绩效

A41审核效果

√

√

√

√

√

√

A42受审方满意程度

√

√

√

√

√

A43为受审核方管理及产品质量提升的贡献度

√

√

√

√

√

注：

由于版面限制，此略三级指标具体内容。

2.3构造两两比较判断矩阵

根据AHP基本原理，分层次对下层因素进行两两比较，按9标度法（表2）对该层次的因素进行两两比较，构造出判断矩阵并求出最大特征根。

表2判断标度及其含义[5]

标度

因素比较

含义

1

同等重要

表示两个因素相比，具有同样重要性

3

稍微重要

表示两个因素相比，一个因素比另外一个略重要

5

较强重要

表示两个因素相比，一个因素比另外一个重要

7

强烈重要

表示两个因素相比，一个因素比另外一个重要的多

9

极端重要

表示两个因素相比，一个因素比另外一个绝对重要

2，4，6，8

两相邻判断的中间值

介于以上两相邻判断之间状态的标度

倒数

若i因素与j因素比较，结果为Aij=1/Aji

机构内选择有丰富审核及管理经验的20名专家，组成专家组对各指标进行两两比较，判断其相对重要程度，并综合各专家对不同指标的评估结果，建立两两比较矩阵。

本研究为介绍简便，假设各专家的能力水平都一样，各专家的权重均为1，专家的意见均采用加权平均的方法简化处理。

表3为审核员/检查员一级指标评价各因素对其能力影响程度调查比较汇总结果。

表3审核员/检查员一级指标评价（例）

一级指标

（4）

极端重要

相邻中值

强烈重要

相邻中值

较强重要

相邻中值

稍微重要

相邻中值

同等重要

A1基本素质

√

A2审核能力

√

A3专业能力

√

A4审核绩效

√

判断矩阵权重计算的方法有一般有几何平均法（方根法）和规范列平均法（和积法）。

对以上比较结果使用和积法计算构成审核员/检查员一级指标两两比较矩阵（表4）

表4审核员/检查员一级指标两两比较矩阵

一级指标（4）

A1基本素质

A2审核能力

A3专业能力

A4审核绩效

A1基本素质

1

0.2000

0.3333

0.3333

A2审核能力

5

1

3

3

A3专业能力

3

0.3333

1

1

A4审核绩效

3

0.3333

1

1

2.4计算权向量并做一致性检验

2.4.1计算权向量

根据矩阵理论计算其最大特征值λmax与对应的特征向量WAI。

λmax=

求得以上矩阵的特征值λmax=4.04341，特征向量WAI=（0.13038，0.87198，0.33365，0.33365），经归一化处理后，得出该一级各评价指标的权向量。

W=（0.078088，0.52225，0.199831，0.199831）

2.4.1一致性检验

为了判断所得权向量分配是否合理，还需要对判断矩阵进行一致性检验，避免评价比较矩阵偏离一致性过大，对于每一个两两比较阵计算最大特征根及对应特征向量，利用一致性指标、随机一致性指标和一致性比率做一致性检验。

若检验通过，特征向量（归一化后）即为权向量：

若不通过，需重新构造两两比较矩阵。

计算比较矩阵一致性检验系数：

CR=CI/RI，其中一致性指标为

CI=（λmax-n）/（n-1）

CI越小，说明一致性越大。

考虑到一致性的偏离可能是由于随机原因造成的，因此在检验判断矩阵是否具有满意的一致性时，还需将CI和平均随机一致性指标RI进行比较，得出检验系数CR，即如果CR<0.1，则认为该判断矩阵通过一致性检验，否则就不具有满意一致性。

其中，随机一致性指标RI和判断矩阵的阶数有关，一般情况下，矩阵阶数越大，则出现一致性随机偏离的可能性也越大（表5）。

表5平均随机一致性指标RI标准值

矩阵阶数

1

2

3

4

5

6

7

8

9

10

RI

0

0

0.58

0.92

1.12

1.24

1.32

1.41

1.45

1.49

以上审核员/检查员能力评价一级指标的平均随机一致性指标RI=0.92。

经计算CR=0.01447，CR<0.1这表明上述判断具有很好的一致性，以上权向量可以接受。

同理，对审核员/检查员的二级评价指标和不同评价方法（渠道）贡献率实施构造两两比较判断矩阵、计算权向量并做一致性检验，获得各二级指标的最终权向量（W1，W2，W3，W4）和客户反馈、考试、现场见证及合格评定4种评价方法（渠道）的贡献率（C1i，C2i，C3i，C4i）。

具体计算过程略。

W1=（0.0803，0.2242，0.1540，0.0550，0.4864）

W2=（0.0604，0.2012，0.0496，0.4475，0.1472，0.0942）

W3=（0.0729，0.2844，0.1699，0.4729）

W4=（0.2970，0.5396，0.1634）

0.83330.00000.16670.0000

0.44440.00000.44440.1111

C1i=0.50000.00000.50000.0000

0.26770.57430.00000.1580

0.17020.00000.73830.0915

0.63700.00000.25830.1047

0.57710.25420.09100.0777

C2i=0.63700.00000.25830.1047

0.63010.15150.00000.2184

0.25000.00000.00000.7500

0.55870.13520.07810.2280

0.27720.46730.09540.1601

C3i=0.18590.11670.64130.0561

0.35090.18910.35090.1091

0.42360.22700.22700.1223

0.45450.00000.45450.0909

C4i=0.25000.00000.75000.0000

0.25830.00000.63700.1047

2.5确定模糊评价模型

最后得到总的审核员/检查员能力评价结果如下。

F=0.078088

C1i

V1i+0.52225

C2i

V2i+0.199831

C3i

V3i+0.199831

C4i

V4i

式中的W、C和V分别代表二级评价指标的权重、不同评价方法（渠道）贡献率以及对应的实际评价值。

2.6能力评价数据的收集

按照认证人员能力评价不同方法的适用对象不同以及模型各指标的实际构成，中国质量认证中心将审核员/检查员能力评价所需要的各级指标分解到不同的评价方法中去，并按中国质量认证中心的日常工作职能分工，模块化管理审核员/检查员能力评价工作，如需要通过顾客反馈收集的信息，按模型设计形成相应的调查表或调查问卷，交由客户服务的部门负责在日常工作中收集相关信息，并将信息输入到相应的计算机系统或软件中；能力评价需要由现场见证收集的信息，则由审核实施部门负责按审核策划委派有相应见证能力的见证人员现场完成评价并将信息输入到计算机中。

各职能部门将信息输入相应的系统中，模型会自动算出审核员/检查员能力评价的最终结果。

中国质量认证中心负责能力评价的部门只需要定期对模型及系统进行维护就可以了，不需要专门成立能力评价组来完成能力评价工作。

2.7评价模型可信性验证

专家评分法是出现较早且应用较广的一种评价方法[6]，它是在定量和定性分析的基础上，以打分等方式做出定量评价，其结果具有数理统计特性.专家评分法的最大优点是在缺乏足够统计数据和原始资料的情况下，可以做出定量估价。

研究中，选择有人力资源管理员，行业专家、审核管理员及市场客服管理员组成的专家组，对中国质量认证中心内部抽取的20名某一专业的审核员能力进行评价，评价结果再与模型计算出的结果进行比较，验证评价模型评价的可行性。

专家组依照被评价审核员的背景资料，主要确定基本素质、审核能力、专业能力、审核绩效4个方面进行综合打分，分值为1-5分。

将专家评分法结果汇总后与模型计算结果（表6）进行对照分析。

表6专家评价法与模型评价法数据对照

人员编号

专家评价

模型评价

差值（X）

人员编号

专家评价

模型评价

差值（X）

1

4

3.757

0.243

11

3

2.870

0.130

2

4.5

4.658

-0.158

12

2.5

2.179

0.321

3

4

3.863

0.137

13

4

3.921

0.079

4

3.5

3.305

0.195

14

4

4.301

-0.301

5

3.5

3.693

-0.193

15

3.5

3.623

-0.123

6

4

3.927

0.073

16

4

3.730

0.270

7

3

2.515

0.485

17

3

3.387

-0.387

8

4

4.358

-0.358

18

3.5

3.715

-0.215

9

3

3.777

-0.777

19

3

3.114

-0.114

10

3.5

4.064

-0.564

20

3

3.448

-0.448

假设X服从正态分布，假设检验H0:

µ=0;H1:

µ≠0

已知n＝20，在H0成立时，对于α＝0.05，查t分布表得t0.025（19）＝2.093

利用MINTAB软件对两组数据进行显著性检验（配对t），分析两种评价结果的差异。

求得均值x=-0.0853，标准差S=0.3275，T值=-1.16，P值=0.259

因为|t|＝1.16<2.093，所以接受H0，即认为两组数据无显著差异，两种评价方法的结果基本一样。

应用模糊数学综合评价建立的模型用来评价审核员/检查员能力是可行的。

3评价模型的应用与分析

利用该评价模型，对机构的所有审核员/检查员能力实施全面评价后，对评价结果进行分类和相关数据分析。

3.1审核员/检查员的分类分级

评价结果以百分制进行计算，不同得分值的审核员/检查员数量基本满足正态分布，其评价结果的均值为86.5分，标准差为4.670。

高分与低分数量较少，中间值最多。

现将审核员/检查员能力按得分大小分为优、良、中、差4个级别。

因不同认证机构的评价指标体系不同，管理模式不同，审核员/检查员的分类分级也可以根据实际需求进行调整和界定。

表7为中国质量认证中心审核员/检查员能力评价的分类与得分对应关系。

表7审核员/检查员的分类分级

分类

优

良

中

差

分值区间（X）

X>95

86.5

70

X≤70

3.2审核员/检查员能力评价不同评价方法的相关性分析

不同评价方法（评价渠道）对同一审核员/检查员的评价可能有所差异，个别情况甚至会发生相反的评价，如认证客户对某位审核员不满意，就会对其各方面能力都不满意，即使该各方面能力都很强，评价也不会很好。

现随机抽取50名审核员评价结果进行统计，以客户反馈、现场见证及合格评定评价3个渠道为例，来对审核员/检查员的基本素质（不含A14二级指标）、审核能力（不含A24与A25二级指标）、专业能力3个指标的评价结果进行相关性分析。

为方便描述，表8将客户反馈、现场见证、合格评定3种评价方法对审核员/检查员能力的基本素质、审核能力、专业能力3个方面的评价用代码表示。

表8不同评价方法与审核员/检查员能力对照代码

评价对象

客户反馈

现场见证

合格评定

A1基本素质

B11

B21

B31

A2审核能力

B12

B22

B32

A3专业能力

B13

B23

B33

3.2.1基本素质不同评价方法相关性

图1不同方法对审核员/检查员基本素质评价统计结果分布

不同方法对审核员/检查员基本素质评价结果用MINTAB进行相关分析，Pearson相关系数（表9）及P值（图8）结果表明，不同方法（评价渠道）对审核员/检查员基本素质评价存在差异，并且现场见证与客户反馈及合格评定评价对审核员/检查员基本素质评价有很高的相关性，客户反馈与合格评定相关性不明显。

图2为现场见证与合格评定对审核员、检查员基本素质评价结果散点分布。

表9基本素质不同方法评价相关系数及P值

B11：

B21

B11：

B41

B21：

B41

Pearson相关系数

0.473

0.247

0.492

P值

0.001

0.492

0.000

图2现场见证与合格评定对审核员、检查员基本素质评价结果散点分布

3.2.2审核能力不同评价方法相关性

图3不同方法对审核员/检查员审核能力评价统计结果分布

表10审核能力不同方法评价相关系数

B12：

B22

B12：

B42

B22：

B42

Pearson相关系数

0.568

0.152

0.293

P值

0.000

0.291

0.039

同样分析发现，不同方法（评价渠道）对审核员/检查员审核能力评价也存在差异，结果与基本素质趋势相同（图3），现场见证与客户反馈及合格评定评价对审核员/检查员基本素质评价有很高的相关性，