量化的教学评价的方法与技术Word文件下载.docx
- 文档编号:16910981
- 上传时间:2022-11-27
- 格式:DOCX
- 页数:21
- 大小:43.09KB
量化的教学评价的方法与技术Word文件下载.docx
《量化的教学评价的方法与技术Word文件下载.docx》由会员分享,可在线阅读,更多相关《量化的教学评价的方法与技术Word文件下载.docx(21页珍藏版)》请在冰豆网上搜索。
度(用留出的答题的空白多少去限定)。
这样能使学生在答题时能合理地分配时间和充分利用
时间。
要避免出现任选题(如两题中任选一题作答),因为两个任选题很难做到等值,试题的
效度就会受到影响。
3、事先拟出每题的答案要点和评分标准
在出题的同时拟出各题的答案要点及相应的评分标准,将来评卷时就有了明确的依据,就
可以提高评分的信度。
论文式问题可按题意的限制与否分为两种。
一种为限制反应题,要求学生在所限制的范围
内发表自己的意见,例如,“说明戊戌变法中的重要人物、事实经过及结果”。
另一种为引申
论述题,给学生较大的自由,学生可以根据给定的主题自由发表见解,例如“试分析知识在经
济发展中的重要性”。
这两种类型的问题在制定评分标准时宜采用不同的方法。
对于限制反应
题,应事先准备好一个范文的纲目或答案要点并给每一个要点分配适当的分数。
评分时按学生
是否答对各题的要点给予分数,最后将各要点的得分相加,作为学生该题的成绩。
对于引申论
述题,由于没有固定的答案要点,所以不能按要点给分,只能采用评等法评分,即将学生的答
案分为优、良、中、差或
A、B、C
几个等级。
具体操作时,教师首先总体浏览学生的答案,确
定一个分等的一般标准,然后按此标准将每个学生的答案分成好、中、差三堆,然后再重新阅
读一遍答案,将每一堆再分成两三个更小的堆。
通过这种比较给予学生较客观和具体的评分。
4、对同一试题的评分集中一次完成
对同一试题的评分集中一次完成,可以避免对同一试题在不同的时间评分而发生的评分标
准的变化,也可避免对不同试题在同一时间依次评分时可能产生的光环效应(halo
effect)即
第一题答得出色会影响对第二题的评分,觉得第二题答得也会同样出色。
具体操作时,可采取
分题阅卷的方式。
当同一试题的卷子不能一次连续评完而必须间断时,当再次开始评分前,先
浏览几份已经评过的卷子,以确保在评分标准上保持一致。
5、评分时不看学生的姓名
评分时不看学生的姓名,可以避免因看到姓名而导致的评分偏差,层管这种偏差可能是无
意的。
比如,对于平时学习成绩好的学生或自己喜欢的学生,教师可能会在评分时给出比其应
得的分数要高的分数;
相反,对于平时学习成绩不好的学生或自己不太喜欢的学生,教师可能
会在评分时给出比其应得分数更低的分数。
因此,为保证评分的客观、分正,教师去评分时应
将学生试卷上的姓名封上后进行。
论文式问题的优缺点及编题指导
论文式问题的优点:
的编写迅速而容易
△可以使教师评价学生对知识的组织和综合等较高级的认知能力
论文式问题的缺点:
分费时而困难
分带有主观性、信度较低
取样范围小,缺乏代表性
论文式问题的编题和评分指导:
问题尽可能简单、明确、具体
出每题的分值和限定答题时间
△制定出每题的答案要点和评分标准
题阅卷,对同一试题的评分集中完成
分时不看学生的姓名
(采自
C·
B·
Mc
Cormick,1997)
(二)多重选择题
多重选择题(multiple-choice
item)是指针对某一问题,让学生从多个可能的答案中选
择一个正确答案作为回答的试题形式。
选择题由题干和选项两个部分组成。
题干是要求学生回答的问题,通常用直接问句或不完
全陈述句来表达;
选项包括一个正确答案和几个干扰项(错误答案)。
干扰项一般为
3-5
个。
干扰项越多,学生猜测正确答案的概率越小。
例如,若有三个干扰项,学生猜对的概率是
1/4(0.25),若有四个干扰项,学生猜对的概率下降为
1/5(0.20)。
选择题可适用于文字、
数字、图形、表格等各种形式的信息资料。
一般认为多重选择题只能让学生完成一些较低水平的认知活动,问题通常要求学生再认在
课堂上或书本中学过的概念定义。
例如,下面的这个多重选择题要求学生再认本章第一节学过
的一个定义:
个体的操作成绩要与其他人的操作成绩相比较的评价是:
A.常模参照评价
B.标准参照评价
C.形成性评价
D.总结性评价
(答案为:
A)
然而,多重选择题并非只能评价学生对定义的再认,教师也可以通过设计多重选择题来评
价学生高级的思维技能,提出布鲁姆教育目标分类学中较高层次的认知问题,比如,让学生比
较不同点、寻找相同点、应用知识、做出因果关系的预测或推论等。
在数学等学科中,学生要
首先在题干中解决一个问题或完成一个计算任务,然后从选项中选择一个正确答案。
例如,下
面的一个多重选择题还要学生将本章第一节学过的一个定义应用在一个真实的生活情境中:
一个大公司每年都要对全体雇员施行进级考试。
考试分数处于前
10%的雇员将得到晋升的
机会,而考试分数处于后
10%的雇员将被降级为见习生,留公司查看一年。
这种进级考试运用
的是:
A、常模参照评价
B、标准参照评价
C、形成性评价
D、总结性评价
多重选择题的优点是:
第一,评分客观、可靠。
每一问题都有客观的标准答案,避免了论
文式问题在评分时的主观性和信度较低的缺点。
第二,试题取样范围广,能够涵盖课程的主要
内容,保证测验的有效性。
第三,答题和阅卷均较方便、高效,在较短的时间里就可以施测较
多的项目,学生答卷时只需在几个选项中做出一个选择,教师阅卷时只需判断学生选择的正误
即可。
因而效率很高。
正因为有这样一些优点,因此,多重选择题应用广泛,被认为是客观测
验中最好的一种方法。
然而,多重选择题也有其缺点:
第一,编写困难、费时。
将课程内容设计成一个又一个的
多重选择题,仔细考虑选项中正确答案与各干扰项之间的各种微妙的关系,是一项费时而困难
的工作。
第二,由于选择题的答案是固定的,因而不易测量学生的创造力、组织和综合能力。
如何编写出既容易理解又实用的多重选择题呢?
下面是一些心理学家提出的建议。
编写多重选择题的要点
言的运用要尽可能简单、明确。
选项要简短,将选项中相同的用词置于题干中。
△避免在题干中出现否定性陈述。
如果不可避免,对于题干中的否定部分要用加黑的字体或
下面划线等方式醒目地标示出,以引起学生的注意。
扰项看起来似乎是正确的。
有效的干扰项常常是人们经常出现的错误或误解。
△不用或少用“以上几项都不是”作为选择项。
△确保各选项与题干在语法关系上是正确的。
选项尽可能相似,长度大体相同。
中正确答案的位置应随机安排,避免使答题者找到规律。
△确保每一个问题都是独立的,一次只能陈述单一问题,避免出现歧义。
△避免一个问题包含着另一个问题的答案。
下面是一个用词不当或编写得不好的多重选择题样例:
下面的哪一项与编写多重选择题的建议不相符:
A、用词要简明。
B、运用着起来似乎正确的干扰项。
C、不要运用否正的陈述
D、常见的误解是有效的干扰项并将吸引那些对所测验的正确概念知之甚少的学生的注意力。
E、以上几项都不是
这样编写的多重选择题的毛病是:
题干是否定性陈述,选项
C
和
E
也是否定性陈述,使问
题变得更加混乱;
选项
D
的长度与其它几个选项相差太大,而且选项
实际上包含了选项
B
的
内容。
一个多重选择题编写出之后,教师如何才能确定该题使用起来是否有效呢?
怎样知道一个
多重选择题是否需要修改呢?
项目分析能够帮助回答这些问题。
项目分析(item
analysis)包括对项目的难度、项目的区分度以及干扰项的分析。
一些商
业性软件程序可以迅速而容易地完成项目分析任务。
即使没有这样的软件可用,广大教师也可
以用手来操作的方法完成一些基本的项目分析。
下面介绍的便是项目分析的具体操作方法。
项目难度(item
difficnlty)是通过项目分析可以决定的一个测验项目的重要特征。
确定
项目难度的一个方法是计算学生正确回答一个项目的百分比。
“好”的项目难度的标准是什么
呢?
对这个问题不能简单地做出回答,因为项目难度的适当性因教师使用测验的目的而变化。
如果一个项目被正确回答的百分比是
10%,那么该项目的难度为
0.1,表明该项目是很难的;
如果一个项目被正确选择的百分比是“90%”,那么该项目的难度为
0.9,表明该项目是很容易
的。
在常模参照测验中,大多数测验项目的难度既不能太容易又不能太难,而应处于中等水平。
在标准参照测验中,项目难度可以在较大范围内变化,某些测验项目几乎所有的学生都能正确
回答,而某些项目几乎所有的学生都可能答错,然而,大多数的项目难度应在
0.8
或在
以
上。
通过项目分析可以确定的另一个测验项目的重要特征是项目区分度。
项目区分度(item
discrimination)是指一个测验问题能够将学得较好的学生与学得较差的学生区分开来的能力。
也就是说,在一个测验中得分最高的学生应该能够正确回答一个项目,而在此测验中得分最低
的学生应该不能正确回答项目。
下面是教师可以用来计算项目区分度的具体方法和步骤
(Hopkins
&
Stanley,1981;
Popham,1995):
首先,将所有的试卷按总分从高到低排序。
然后,自上而下将所有的试卷分成四组,每组
里的试卷份数相同。
对于每一个测验项目,计算出在总分最高的
1/4
学生中答对的百分比和在
总分最低的那
学生中答对的百分比。
用成绩最好的组的答对的百分比减去成绩最差组答对
的百分比,所得结果就是一个测验项目的区分度。
例如,对于测验项目
1,如果在成绩最好的
那
学生中,有
90%答对了,而在成绩最差的
学生中只有
20%答对了,那么,测验项目
1
的区分度为
0.90-0.20=0.70。
这意味着测验项目
1
能够成功地区分成绩好的学生和成绩不好的
学生。
只要测验项目的区分度能够达到
0.40
或
以上,那么该测验项目就能够较好地将那
些在整个测验中答得好的学生与在整个测验中答得差的学生区分开。
如果成绩最好的
学生
中的
25%答对了测验项目
1,而成绩最差的
1/4
学生中的
20%答对了项目
1,那么,测验项目
0.25-0.20=0.05。
这个区分度意味着试题
不能将成绩好的学生与成绩差的学生
区分开,因此,该试题需要修正。
20%答对了项目
1,而成绩最差
的
学生的
70%答对了项目
1,那么,测验项目
0.20-0.70=-0.50。
这个区分度
意味道着虽然能够将成绩差的学生与成绩好的学生区分开,但成绩差的学生更容易正确回答。
这是不正常的,因此,当项目区分度为负值时,该试题需要修正。
有一点非常重要,那就是,
我们必须意识到项目区分度与项目难度是联系在一起的。
如果一个测验项目非常难,或者非常
容易,那么,这个项目的区分度会很低,难以将成绩好的学生和成绩差的学生区分开。
对多重选择题进行项目分析的第三个内容是干扰项分析(item
distractor
analysis)。
通过干扰项分析教师可以评价一个干扰项设计得是否适当。
如果高成绩组的学生都一致地选择
了某个干扰项,把它当作了正确答案,那么,教师需要检验这个干扰项正确的可能性并予以修
正。
如果一个干扰项没有被任何一个学生选择,那么这个干扰项也应被修正或替换。
项目分析举例
下面是三个多重选择题的项目分析结果以及对结果的进一步分析。
1,正确答案是
A
A、项目难度为
0.50,项目区分度为
0.60。
B、20%的学生选择,差生选择较多。
C、10%的学生选择,差生选择较多。
D、20%的学生选择,差生选择较多。
问题
具有相当的难度(半数学生回答正确),但这是一个适当的难度水平,如果是在常模参
照测验中的一个问题,该难度水平就尤其适合。
项目的区分度也相当高。
所有的干扰项都吸引了
一些学生选择,这些学生主要是一些成绩较差的学生。
该问题设计合理,无需修正。
2,正确答案是
C
A、60%的学生选择,优差生均有选择
B、5%的学生选择,差生选择较多。
C、项目难度为
0.30,项目区分度为
0.10。
D、5%的学生选择,差生选择较多。
在问题
2
中,选择错误答案
A
的人数是选择正确答案
的人数的两倍。
选择答案
的区分
度也太低,不能将成绩好的学生与成绩低的学生区分开。
因此,该测题需修正,特别要检查选项
是否也是一个正确答案。
3,正确答案为
0.95,项目区分度为
0.05。
B、3%的学生选择,差生选择较多。
C、2%的学生选择,差生选择较多。
D、没有学生选择。
3
中,几乎所有的学生都选择了正确答案
A,所以这是一个很容易的测题。
如果这是
常模参照测验中的一个问题,那么,该问题的区分度太低,需要修正。
而且,干扰项
无人选择,
也需修正,以吸引一些学生,特别是成绩不好的学生去选它。
如果是在标准参照测验中的一个试
题,那么该问题可原题保留。
McCormick
等,1997)
(三)匹配题
匹配题(matching
item)是选择题的一种变式,让学生将一栏前提项(通常是左侧的一栏
单词或短语)与一栏反应项(右侧的一栏单词或短语)相互匹配。
匹配题是评价某种类型的事实性知识(例如,人物与他们的业绩、日期和历史事件、范畴
和实例等)的一种可靠的、客观的、有效的方式。
例如,从下面右栏所列的书名中找出左栏所
列的每位作者的作品,并把相应的字母填在括号中:
1、吴承恩()A、《窦娥冤》
2、蒲松龄()B、《三国演义》
3、关汉卿()C、《红楼梦》
4、曹雪芹()D、《梦溪笔淡》
5、罗贯中()E《水浒传》
6、施耐奄()F《聊斋志异》
G《西游记》
编制匹配题时,既要注意减少学生寻找的时间,提高答题效率,又要注意降低学生猜测的
可能性,因此要运用适当的命题技术。
编写匹配题的技术要点
△在前提项与反应项中均需采同同类的资料,如用人名时都用人名,用书名时都用书名。
项目的数目上,提供的反应项目要多于前提。
干必须清楚明确,并对配匹的方法作出适当的说明。
讲清每一选项可用一次还是可用多次。
项或反应项的数量一般不应超过
10
个或
12
干与前提项与反应项的文字必须出现在同一页上。
(四)是非题
是非题(true/false
items)是要求学生对一则陈述的命题给予是非(正误)判断的一种
试题形成,也叫正误题或判断题。
例题:
请判断下列各项陈述是否正确,并将√或×
写在后面的括号中:
1、叶绿素是植物进行光合作用的重要物质。
()
2、各种植物的生长都离不开光合作用。
是非题的优点是:
编写相当容易,回答和评分都很方便,取样范围较广,可以有效地测量
学生对一些知识点的掌握情况。
是非题的缺点是:
第一,是非题测量的常常是一些较低水平的细节性的知识点,而不易测
量一般原理或对知识的应用、分析、综合、评价等。
第二,是非题的猜测正确的概率是
50%,
因此,它的可靠性较差。
有时教师要求学生将判断为错误的题改正过来,但这样做使是非题答
起来更加困难而且评分也更费时间。
如何更好地编写是非题呢?
心理学家(Mehrens
Lehmann,1991;
Eggen
等,1992;
Ory
等,1993)提出了一些具体建议(见专栏
9-5)
编写是非题的技术要点
言陈述要简单、明确
△每一个问题中只包含一个论点,避免由两个以上的论点在同一题中出现,而造成题目本
身的歧义性或似是而非。
题目数量上,使属于“非”的题目稍多于属于“是”的题目,因为学生猜测时倾向于选“是”
的机会较多。
△尽量采用正面的肯定的陈述,避免采用否定性陈述。
△使属于“是”的题目与属于“非”的题目随机排列。
目的文字避免直接抄录教材内容,因为抄录教材上的原话,学生可能会出现再认正确但
不理解其含义的情况。
△避免使用一些具有暗示性的特殊用词,如“总是”、“从不”、“每一个”、“全部”、“所有”等等。
(五)填空题
填空题(fill-in-the-blank
items)是要求学生在一个留有空白的未完成句子中填上适当
的词或短语以构成一个完整的句子。
在下面的句中填上适当的词:
植物体内用来进行光合作用的重要物质是。
填空题的优点是比选择题容易编写,凭猜测作答的机会也较少;
答案规范、简短,使得评
分可靠而容易。
填空题的不足之处与是非题一样,测量的是较低水平的对知识的记忆,而不易
测量较高水平的认知能力。
一些教师用填空题测验词汇知识或者用于平时的形成性测验中寻找
到学生经常填错的答案,然后将这些错误的答案作为编写多重选择题的干扰项,最后将编好的
多重选择题用于期末的总结性测验中。
编写填空题时要注意以下几点:
1、填空题让学生填的应该是一些关键字句,并与上下文有着密切的关系。
2、在一个题内不要留有过多的空白,否则会失去意义上的连贯性,使学生无法理解题意。
一般留有一个或两个空白为宜。
课
程
内
容知
识理
解应
用分
析综
合评
价
合计题数
课堂测验的目的
个是非题
个选择题
个论文式问题
5
论文式问题的特点
个论文式问
题
4
多重选择题的特点
匹
配
题
特
点
3
是
非
表
“测验编制技术”的双向细目表
3、各题留出的空白的长度应相符,而不要有长有短,以免空白的长度对正确答案的字数产
生暗示作用。
4、避免直接引用教科书中的词句
5、为每题准备一个正确答案和可接受的变式的标准,并具体规定是否答案部分正确也可适
当给分。
二、测验的准备与实施
教师自编测验用于教学评价是一个复杂的过程。
从测验的准备准备到测验的实施要经历一
系列的阶段或步骤。
(一)确定测验目的
测验准备的第一个阶段就是确定测验的目的。
教师要考虑测验的内容是什么?
测验要评价
学生的何种操作?
测验与教学目标的关系密切程度如何?
是形成性测验还是总结性测验?
是常
模参照测验还是标准参照测验?
(二)测验题的选择和准备
用何种类型的测验题来测量所期望的知识与技能呢?
用于指导测验题的选择与准备的一个
蓝图是双向细目表(two-way
specification
table)。
双向细目表以一种简明的方式表达了教学内容、期望学生达到的认知能力类型以及能体现
这种认识能力的测验题的类型和数目。
例如,表
就是一个双向细目表,左边一栏列出的是课
程的内容,上面一行列出的是布鲁姆教育目标分类中的认知领域的六级目标。
表中测验题的类
型和数目,用来反映所要测量的课程内容与教学目标的权重或重要性。
教师应该将双向细目表
与学生分享,以便使学生了解期待他们掌握的内容并指导他们的学习。
填
空
合
计
数
6
7
2
为了保证测验的信度,需要设计足够的题数,但题目的总数又不能太多,以免学生在限定
的时间内答不完。
另外,测验题的安排一般应从容易答的题目开始,将内容相近的题目放在一
起,将同一类型的内容放在一起,将费时较多的题(如论文式问题)放在最后。
(三)测验的实施
将设计好的题目印成试卷后就进入测验的实施阶段了。
在测验实施过程中,要排除可能会对学生答题造成干扰的一些分心因素。
比如,在考场的
门外挂一块警示牌,上面写着“正在考试,闲人勿扰”。
确保学生了解测验的要求,包括每题
的分数、答题的时间、记录答案的方式、猜错是否扣分、是否可以用字典或计算器等等。
测验实施中的另一项工作是减少作弊的可能性和机会。
为了减少作弊,可以在考试前事先
宣布考试的一般性质和内容,让学生进行充分的考前准备而不是依靠作弊。
在考试进行中,要
监控学生的行为,将所有的书和笔记等放在学生拿不到的地方,在座位的安排上使学生不容易
互相看到考卷,不允许共用橡皮、计算器等用具,试卷分为
A、B
两套等值的备选试卷。
要宣布
考试纪律,让学生清楚地知道作弊被抓的后果,并严格执行考试纪律。
(四)考卷的评分
考试后,教师对所有的试卷进行评分。
在评分时,教师一定要努力做到客观(公正而无偏
见)和可信(前后一致)。
对于客观测验题,做到这一点比较容易,对于论文式测验题,要做
到评分客观和可信,必须遵循我们前面提供的一些评分建议。
(五)结果反馈的
评分后,要将结果反馈给学生。
对于常参照测验,让学
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 量化 教学 评价 方法 技术
![提示](https://static.bdocx.com/images/bang_tan.gif)