第三章人员素质测评的解释.docx
- 文档编号:27735087
- 上传时间:2023-07-04
- 格式:DOCX
- 页数:21
- 大小:36.68KB
第三章人员素质测评的解释.docx
《第三章人员素质测评的解释.docx》由会员分享,可在线阅读,更多相关《第三章人员素质测评的解释.docx(21页珍藏版)》请在冰豆网上搜索。
第三章人员素质测评的解释
第三章人员素质测评的解释
人们对人才测评的信任感是建立在一定的可靠性和有效性基础之上的,作为评价体系的组成部分,对人才测评的信度和效度进行鉴定是正确解释和应用测评结果的保证,它是对测评本身的测评,是对人才评价工作的评价。
在实际的测验编制过程中,为了改善和提高测验的信度和效度,应对每个测题进行分析,这就是项目分析,主要包括难度分析和区分度分析。
人才测评数据分析水平现状
建立完善的人才测评理论体系是当今人才测评事业发展的一个趋势,近年来测评理论建设的突出特点是更加重视定量过程、非控制过程和客观解释过程。
我们只有瞄准世界人才测评技术前沿,集中力量加强理论研究,才能使我国的人才测评事业在科学理论指导下不断向成熟发展,才能满足我国飞速发展的公务员录用考试、人才选拔对新技术的需要。
人才测评数据主要是指通过调查、测验等方法获得的结果,分数则是这些结果的数量化的主要表现。
随着社会的进步,对人才测评的科学性、公正性提出的要求越来越高,从而对数据的研究也越来越深入。
如何科学地分析、准确地处理人才测评数据,是当前国内外人才测评领域的重要课题之一。
1)项目反应理论的崛起提供了数据分析的新工具
70-80年代,在测量理论中,最显著的进步是项目反应理论的应用,它是继经典测量理论之后的一个重要的测量里程碑。
项目反应理论之所以优于经典测量理论,在于它克服了后者分析数据对“考分=能力”的局限,而将能力看作是一个潜在的变量,又将项目的难度、区分度等重要参数看作是项目本身的固有特性,独立于被试团体。
目前该理论主要应用于客观性考试、试题库的建立、不同团体被试在不同测验中能力反应的等值化、跨文化比较等多种测量领域。
在发达国家的人才测评数据分析中,项目反应理论已经成为一种常规的分析工具。
2)多元分析的广泛应用
在人才测评的数据分析中,多元分析一直扮演着重要的角色。
第一代多元分析方法有:
标准相关分析、冗长性分析。
另外还有路径分析、协方差构造分析、多维标度法、离散数据的数量化理论等等。
60年代以来,多元分析广泛被用于政治、社会、教育以及心理学等诸多领域和学科。
要提高我国人才测评数据分析的整体水平,当前亟待解决的课题是我国的人才测评专业人员不仅要具备丰富的人事测量知识,而且还应懂得如何应用计算机和统计学的方法分析数据和解释数据。
如果因为我们知识的贫乏而得出错误的结果,或作出错误的解释,或设计出缺乏科学性的工具。
其后果必然影响人才测评的社会声誉,影响人才测评事业的持续发展。
第一节 信度分析
一、信度的基本概念
信度(Reliability)又叫可靠性程度,用于分析一种测评方法所得结果的前后一致性水平,并以这种一致性程度为指标来判断测评的可靠性。
测验结果的可靠性与测验结果受误差影响的程度密切相关。
在人才测评中误差是不可避免的,我们只能尽可能追求高的精度,把误差控制在一个有规律的范围以内,这样测量得到的结果才比较稳定可靠。
信度实际上就是随机误差的一种度量。
二、信度系数及估计方法
一般条件下,信度指标都用信度系数的形式呈现。
信度系数是同一样本在两种不同时间、不同情境条件或两组不同评价材料评定结果之间的相关系数。
针对不同的误差来源,信度可以有不同的确定方法。
一般有以下几种类型:
重测信度、复本信度、内部一致性信度、评分者信度。
(一)重测信度(Test-retestReliability)
重测信度又称为稳定性系数,它是估计测评跨时间的一致性程度,即用同一测验,在两个不同时间里对同一群体施测两次,这两次测验分数的相关系数就是重测系数。
一个测验的重测系数越高,说明测评的稳定性越好,测评受随机因素的影响越小。
重测信度所考察的误差来源是时间的变化所带来的随机影响。
在获得重测系数时,最需要注意的是我们必须根据测验的性质和目的来控制合理的时间间隔,这样才有可能获得较好的稳定系数。
时间间隔长了,被试的心理特征就会因为学习、经历、教育培训等因素而发展变化,使相关系数降低;时间间隔短了,又会使首次测评时的练习效果和记忆效果的影响增大,从而造成了假性的高相关。
(二)复本信度(Equivalent-formsReliability)
复本信度又称为等值性系数,它是代表测评跨形式的一致性,即在对被试进行测评以后间隔一定的时间,运用复本再测评一次所获得的复本相关系数。
复本是指在内容、数量、格式、难度、平均数、标准差等各方面与原测评一样的测评,即功能等值但题目内容不同。
两个等值的测验互为复本。
复本信度的高低反映了两个测验复本在内容上的等值性程度。
复本信度的优点在于适用于在长期追踪研究或调查某些干涉变量对测验成绩影响,同时减少了辅导或作弊的可能性。
当然,复本相关系数也有局限性。
一方面,在现实中,编制理想的复本常常很难,有许多测评都没有复本。
另一方面,复本测评也会受练习的影响。
(三)内部一致性信度
用重测相关系数和复本相关系数,都需测评两次,不但要花较多的精力,而且受测者会受练习的影响使第二次测评失真。
内部一致性系数则不同,它只需要测评一次,它通过分析同一测评内部各测评项目之间的相关系数的方法来估计信度系数。
内部一致性系数反映的是跨测题的一致性,即测评内部各部分之间是否具有同质性。
内部一致性信度又分为分半信度、同质性信度和α系数。
(1)分半信度(Split-halfReliability)
获得分半系数的方法是把一个测评分成两个最为等值的两半,并分别计算每位被试在两半测验上的得分,再求出这两个分数的相关系数,从而来估计整个测评的信度。
因为分半系数只是根据原测题的一半题目而来,而信度的大小又与测验的长度有关,所以分半系数常常要比原测验的信度低。
为了校正这个差异,常运用斯皮尔曼-布朗公式(Spearman-BrownFormula)。
该公式可以估计增长或缩短一个测验对其信度系数的影响,用此公式的前提条件是:
两半测验的方差相等。
斯皮尔曼-布朗修正公式为:
rxx=2rhh/(1+rhh)
其中,rhh:
两半测验的相关系数;rxx:
估计或修正后的信度。
当两半测验的方差不同时,应采用卢伦公式(RulonFormula)或弗拉纳根公式(FlanaganFormula)进行修正。
(2)同质性信度
同质性信度不需要把测评分为两半,它是指测验内部的各题目在多大程度上考察了同一内容。
所谓的同质性是指所有的测验题目测量的只是单一的特质或内容,表现为所有测验题目得分的一致性。
常用的计算方法是库德-理查逊(Kuder-Richardson)估计方法。
计算公式有库德-理查逊20号公式(简称KR20)和21号公式(KR21)。
下面是KR20公式:
n为测验题目数,pi为通过i题的人数比例;qi为未通过该题的人数比例;pi+qi=1;∑piqi为所有题目答对与答错人数百分比乘积的总和。
库德-理查逊信度系数的运用需要满足几个条件:
所有测题都采用二分法记分,即都采用0,1记分,答对记1分,答错记0分;测验的项目难度比较接近;项目间的组间相关相等。
(3)α系数
当测验项目采用多重记分(如人格测验、态度量表),库德-理查逊信度就无法运用。
克伦巴赫(Cronbach.L)提出了适用于各种记分情况的α系数来估计信度。
具体公式如下:
其中,
为每一项目的方差;
为测验总分方差。
(四)评分者信度
在人事测评中,不同的评分者其观察角度、注意力、对被试的偏见等都会使评分的结果不一致,因此,评分者的评判也是误差的来源之一。
评分者信度就是指不同评分者对同样对象进行评定的一致性。
具体方法是:
由两名评分者对同一个被试样组进行评分,再求两个评判分数的相关系数。
这种相关系数的计算可以用积差相关方法,也可以采用斯皮尔曼等级相关方法。
如果评分者在三人以上,而且又采用等级记分时,就要用肯德尔和谐系数来求评分者信度。
公式为:
其中,K为评分者人数,N为被评定的人数或答卷数;Ri为每一个对象被评等级。
三、影响信度系数的因素
测验的信度会受到各种因素的影响,在解释信度系数是我们应充分考虑这些因素,在编制测验和测验的实施过程中要力图避免它们。
主要的影响因素有:
测验长度、测验难度、样本团体的性质。
1.测验长度
在其他条件相等的情况下,测验长度(题目的多少)越长,信度值越高。
因为测验越长,题目取样或内容取样就越充分,结果就越可靠,同时也避免猜测题目的影响。
2.测验难度
测验难度对信度也会产生影响。
如果一个测验的难度太低,大多数被试都可以轻而易举地答对题目,测验分数会非常集中并聚在高分端;如果测验的难度太高,多数被试都只能凭猜测答题,所有分数都集中在低分端。
这样都会使测量到的分数分布太窄,导致信度降低。
只有当难度水平适中,使得测验分数分布范围最大时,测验的信度才会比较理想。
3.样本团体的性质
一般而言,在其他条件不变的情况下,样本团体的分数分布范围越大,变异性越大,信度系数将越大。
样本团体的异质性越大,信度系数就越高。
第二节 效度
一、效度的含义
测量的效度(Validity)是指测量结果的有效性程度,也就是已测到的质和量与主试者欲测的质和量相符合的程度,有的也称效度为正确性。
人事测量的效度就是指测量的有效性,即所采用的测评工具对其所要测评的特性测量到什么程度的估计。
效度是任何一种测评必须解决的首要问题,因为有效性决定了一种对测量效度的考查是一个很复杂的问题,特别是对人的潜在特质的测量,因为潜在特质并不是一个看得见摸得着的物质实体,而是一种观念构想。
效度的理解需要注意几点,一是效度是针对测验结果的。
二是效度是针对某种特定的测评目的而存在的。
三是效度是连续性的,是一个关于程度的估计。
我们在前面对信度进行分析时,只考虑了随机误差的影响;而在效度分析时将系统误差也引入进来。
原因就在于系统误差是恒定的,所以不影响测验的一致性,但却影响测验的准确性。
信度高是效度高的必要条件,而不是充分条件。
对潜在特质的测量只能采用间接的方法,其测量模型可表示用行为主义的公式S-R表示,在测量过程中我们所能控制的是呈现给被试的刺激S,所能观测到的是被试在一定测量情景下对刺激S的反应R。
而潜在特质是介于S和R之间的,在这一中间过程对S传入大脑的信息作出了处理,处理后的信息以R方式输出。
简单地说,效度要弄清楚的是在S信号传入大脑后,哪种(哪些或最主要是哪一种)特质参与了对输入信号的处理。
效度问题提出了诸多解决方案,因而有很多效度名称。
如,
●同时效度,
●预测效度,
●表面效度,
●相容效度,
●协同效度,
●假设效度,
●效标关联效度,
●实证效度,
●经验效度
为了规范效度问题的研究与解释,美国心理学会在1974年将测量的效度分为三大类,即,
●内容效度,是指测验的内容对欲测范围内内容的代表性程度;
●结构效度,测量结果与测验的理论假设之间的一致性程度;
●效标关联效度,又称实证效度,指测量的结果与某种外在效标之间的一致性程度,一般用测验分数与效标之间的相关系数表示。
成就测验或学科测验(以检测知识为主的考试)较容易获得较高的内容效度,而对这类测验也往往注重考察它们的内容效度。
对于能力测验、个性测验、态度测验、品德测评等,其内容效度的考察往往比较困难,而采用效标关联效度较多。
效度的检验不是一次就能完成的,往往要通过累积证据的方法不断积累效度资料来证实它的有效性,结构效度在根据某一理论结构模型(智力、个性等)编制测验时特别注重,它也是通过累积证据的方法来效度获得支持的。
二、效度的类型及估计方法
我们一般把效度分为内容效度、构思效度和效标关联效度三类,这三类效度是相互联系的,一个好的测评通常可以用一种或一种以上的效度来表示。
(一)内容效度(ContentValidity)
内容效度是检查测验内容是否是所欲测量的行为领域的代表性取样的指标,即是说指标与标准是否符合该类人员的功能特征。
要素的设计与标准的编制成为鉴定测评效度的内容。
内容效度的估计方法有以下几种:
(1)通过对照内容范围来估计
我们通过考察测验中包含的项目是否涵盖了内容范围来对内容效度加以检验。
在具体的操作过程中,可以编制双向细目表来确定项目的分配是否将主要问题都包含进去了。
可以用内容效度比CVR来计算内容效度:
CVR=2(Ne-n/2)/N
其中,Ne为评判中认为某项目很好地表示了测量内容范畴的评判者人数,N为评判者总人数。
CVR的值从-1~1,-1表示所有人都认为内容不当,而1则表示了所有人都认为内容很好。
(2)评分者信度
计算两个评分者之间评定的一致性,即评分者信度。
通过此信度来说明内容效度。
两者的符合程度越高越能反映测验的内容效度。
(3)统计分析
克伦巴赫提出内容效度可以通过计算被评估者在两个独立取自同样内容范围的测验得分的相关来做数量上的估计。
如果相关高,表明具有高的内容效度;如果相关低,表明两者中至少有一个缺乏内容效度。
(二)构思效度(ConstructValidity)
构思效度是指测验能够测量到理论上的构思或特质的程度。
所谓的构思是指一些抽象的假设性的概念、特性或变量。
如智力、创造力、言语流畅性、焦虑、动机等。
构思不能直接测量,需要借助一定的测评工具来反映。
构思效度的估计方法有许多,总的来说,可以分为测验内部的方法和测验间方法两大类。
(1)测验内部的方法
这种方法主要是通过研究测验内部构造来分析测验的构思效度。
具体来说包括测验内容效度、被评估者解答测题时的反应过程及因素分析法。
(2)测验间方法
这一方法是同时考虑几个测验间的相关性,考察这些测验是否在测量同一构思。
这里主要介绍两种常见的方法。
第一,相容效度理论上测量相同构思的测验,彼此之间应该有高相关。
因此新测验与原有的测验间的相关,可以作为衡量新测验所大致测量的相同行为的程度的标准。
这种相关系数被称为相容效度。
第二,聚合效度和辨别效度
聚合效度和辨别效度是由肯贝尔等人在1959年提出的。
聚合效度是说如果两个测验是测量同一特质的,即使使用不同的方法进行测量,它们之间的相关也应该是高的。
辨别效度是说如果两个测验测量的是不同的特质,即使使用相同的方法进行测量,它们之间的相关也应该是低的。
(三)效标关联效度(Criterion-relatedValidity)
效标关联效度是以测评分数和效度准则之间的相关系数来表示测评效度的高低的,也就是测评分数对个体的效标行为表现进行预测的有效性程度。
这里效标是指考察测验效用的外在参照标准,是一种可以直接、独立测量的行为。
通常情况下,对一般职工来讲,其效标应为产量与质量;对于科技人员应以发明、创造及技术成果的数量和效益为效标;对管理人员应以工作效率、职工积极性调动程度和经济效益为效标;对领导人员应以开发人才、开创局面和社会、经济效益为效标。
我们用预测效度和同时效度这两种方法来估计效标关联效度。
预测效度的效标资料是在测量结束后隔一段时间才获得,它是决策前得到的测评分数和决策后得到的效标分数之间的相关,反映的是测验分数对任一段时间间隔后被试行为表现的预测。
同时效度的效标资料可以和测验分数差不多同时搜集。
三、影响效度的因素
影响测验的效度除了有测验本身、测验实施过程、被试主观状态等因素外,还有以下主要因素。
(1)受测样本
一个测验施测于不同的样本,由于受测者在年龄、文化程度以及经验背景上的差别,效度就会随之不同,因此,受测样本的选取是用来考察效度所依据的重要因素。
样本容量的大小与效度系数的高低也有一定关系。
样本容量越大,测量误差就会有相互抵消的趋势,由此会有助于提高测验和效标测量的信度,同时有助于提高效度系数。
此外,样本的同质性也会影响效度系数。
当测验的其他条件均相同时,样本的测验分数和效标分数分布范围越小,则效度系数就越小。
因此,随机抽样可以保证样本中受测者的异质性,有利于提高效度系数。
(2)效标
选择适当的效标是统计效度的先决条件。
一个测验由于采用的效标不同,其效度可能会大相径庭。
甚至,由于效标选择不当,可能导致无法衡量测验的效度。
第三节 项目分析
为了提高测验的信度和效度和测验项目的质量,除了深入研究试题的类型和功能及编制技巧外,还发明一系列筛选、甄别项目的方法,统称为项目分析(ItemAnalysis),其中最主要的是难度分析和区分度分析。
项目难度的主要指标是通过率,即在该题上答对的人数与全体被试的比率(或平均得分与该题满分的比率)。
仅难度还不足以说明题目质量的优劣,CTT还提出以题目对被试水平区分鉴别能力作为评价试题质量的区分度概念。
一、难度分析
通过以上的分析,我们可以看出信度与效度的分析是直接对测评结果质量的考查,而一个测验的信度和效度在很大程度上取决于该测验的题目参数(难度和区分度),编制和筛选具有适当参数的题目是改善测验信度和效度的前提。
我们根据试题结果对组成测验的各个题目进行分析,从而评价题目好坏。
在这里主要介绍两种定量分析方法:
难度和区分度分析。
(一)难度的概念
难度是指测验题目的难易程度,也是试题对被试知识和能力水平的适合程度的指标。
难度是一个相对的概念,难度的高低与被试的水平直接相关。
我们在说测量的难易程度时,应该针对具体的被试。
(二)难度的计算
1.以答对百分比来估计难度
如果试题为二分法反应-记分项目,P值可以采用通过率公式计算。
公式为:
P=
其中,P为试题难度;R为答对试题的人数;N为参加测验的总人数。
当被试人数较多时,可以采用极端分组法求试题的难度,先按测验总分的高低进行排序,然后将被试分成三组:
分数高的27%被试为高分组,分数最低的27%的被试为低分组,中间46%的被试为中间组。
分别计算高分组和低分组的通过率,再求试题的难度。
P=(PH+PL)/2
其中,PH和PL分别代表高分组和低分组的通过率。
为了避免多项选择题的测验中,由于猜测的因素带来被试得分的提高,吉尔福德提出了一个难度的校正公式:
CP=
其中,CP为校正后的通过率,P为实际得到的通过率,K为选项的数目。
2.题目难度的等距量表
在进行测量时,用来表示一些对象和事件的某些特征的指标称作量表。
根据不同的单位和参照点,从低级到高级,从模糊到精确,可以用不同的量表表示。
用平均得分比率或答对人数比率表示难度,仅说明事物含有某种属性的多少,它是无相等单位,不具有等距性和可加性的顺序量表。
这种量表只能表示事物间的大小、次序关系,不能反映两个比率间的数量差异。
我们可以把这种量表转换成不仅有大小关系,而且有相等单位和规定参照点的等距量表,使其能表示题目之间难度差异的大小。
其中较为常用的是美国教育测验服务处(ETS)采用的难度指数:
Δ=13+4Z,
其中,Δ是正态化的等距难度指数,13是平均数,4是标准差,Z是标准正态曲线下的面积(即p值)所对应的值。
转换后的难度指数介于1~25之间,不会出现负值,从而使精确度大大提高。
(三)难度对测验的影响
1.测验难度影响测验分数的分布形态
难度值过大或过小,都会造成测验分数的偏态分布。
难度值越接近0,测验的难度就越大,测验分数就越是集中在低分段,其分数分布呈正偏态;相反,分数分布呈现负偏态。
2.测验难度影响测验分数的离散程度
测验分数过高或过低,测验分数就会高度集中,测验分数的离散程度就变小了。
3.测验难度影响测验的鉴别能力
(四)测验难度的确定
确定合理的测验难度才能使试题产生区分不同程度被试的最大效果。
但题目的难度水平究竟多高合适,依赖于测验的目的、性质、和题目形式。
一般来说,我们进行测验的目的是要了解被试个体间的差异,所以在选择题目时,最好使试题的平均难度接近0.50,而各题难度在0.50
0.20之间。
此外,对于不同的题型应该有各自适宜的难度。
如是非题难度值应为0.75,而对于四择一题目,难度值约为0.63。
二、区分度分析
(一)区分度的概念
区分度又称鉴别度,它是指测验项目对不同水平的被试反应的鉴别能力和区分程度。
若项目鉴别力高,则能力强、水平高的被试得分高,能力弱、水平低的被试得分低,否则就没有鉴别力。
它是评价测题质量,筛选测题的主要指标和依据。
(二)区分度的估计方法
1.鉴别度指数
鉴别度指数是衡量区分度的一种最常用,也是最简便的方法,它是比较得分高和得分低的两组被试在项目通过率上的差值。
一般思路为,当成绩是连续变量时,可从分数分布的两端各选择27%的被试组成高、低分组,再分别计算两组每道题目上的通过率,二者之差就是各题目的鉴别度指数D。
公式如下:
D=PH-PL
其中,PH为高分组答对该题的人数比率;PL为低分组答对该题的人数比率。
2.方差法
方差表示一组数据离散程度。
方差大,数据分散。
被试在某一试题上的得分越分散,则该题的鉴别力越大。
其中,
表示第i个被试在该题的得分;
表示所有被试在该题的平均分;n是被试总人数。
在进行实际的项目分析中,被试一般不能少于30人,这样使用上面公式才有效。
3.内部一致性系数计算区分度
我们一般以总分来衡量被试能力的高低,当被试总分高时,在某个项目上的得分也高;总分低时,项目上的得分也低,说明该项目和总分有一致性。
在标准化和大规模的测验中,我们通过考察项目和总分的相关,来测验各项目所测查内容的一致性。
如果项目与总分高相关,那么项目的鉴别力也就高。
4.项目与外部准则的相关—项目效度分析
项目效度分析是考察被试在项目上反应和在效标上表现的关系,即每个测题所测查的行为是否反映了被试在效标上的表现。
相关系数就是项目通过率与效标成绩的相关系数。
相关越高,表明项目越具有区分的能力。
(三)影响区分度的因素及合理区分度的确定
我们在上面已经谈到不同的计算方法会带来不同的区分度值,也就是说区分度的值具有相对性。
此外,区分度还与受测团体的同质程度有关,同质性越强,区分度就越小。
所以,在确定合理的区分度时,我们既要考虑采用哪种区分度指标,以及样本大小和特性外,还要考虑测验的目的、性质和功能。
第四节常模和标准化
一、标准化(Standardization)
所谓标准化是指对测验实施程序、对象范围、施测环境、测试方式、测验时限、分数解释(常模)作了统一的规定,使测验能够在异时、异地,不同的主试等条件下进行,并能得到同等有效的测验结果。
标准化的思想主要来自于自然科学中对实验条件进行严格控制以降低测量误差,其方法主要源自实验心理学中对无关变量和干扰变量控制的方法。
标准化:
是指测验编制、实施、记分和对分数的解释必须遵循严格的统一的科学程序,保证对所有被测者来说,施测的内容、条件、记分过程、解释系统都相同。
它包括:
●测验题目的标准化;
●实施过程和记分的标准化;
●选用有代表性的常模;
(一)原始分数与标准分数
原始分数的高低很难直接进行比较和评价,不能直接反映出考生间差异状况,不能刻划出考生相互比较后所处的地位,不能说明考生在其他等值测试上应获得什么样的分值。
●标准分数:
原始分数通过与常模比较,可以转换成等值的导出分数,即为标准分数。
●原始分数:
通过将被试的反应与标准答案相比较,直接获得的分数。
接受测验后,按照评分标准对其作答反应直接评出来的分数。
原始分反映了考生答对题目的个数,或作答正确的程度。
●导出分是在原始分的基础上,按一定的规则推导出来的,其目的就是进一步解决原始分所没有解决的问题,或者说,就是为了更好、更科学地解释分数的含义,进行分数的组合,实现分数的等值化。
这种把原始分数转化为导出分的过程,称作分数转换。
导出分的种类有很多,最常用的是百分等级和标准分数。
标准分是一种由原始分推导出来的相对地位量数,它是用来说明原始分在所属的那批分数中的相对位置的。
(二)标准分数求法
Z分数是以一批分数的平均数作为参照点,以标准差作为单位表示距离的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第三 人员素质 测评 解释