1、2016.05.172016.05.17第6组大学英语四级考试信度与效度大学英语四级考试信度与效度研究的文献综述研究的文献综述目录1.文献范围2.基本趋势3.研究方法4.研究内容 4.1 理论层面 4.2 实践层面5.研究反思及展望 1.文献检索范围本文选取了2000年至2015年间国内外语教学6种核心期刊和1种重要期刊（共7种），有关大学英语四级考试信度与效度研究的文章共15篇。外语界外语教学外语电化教学外语与外语教学山东外语教学外语教学与研究西南民族大学学报（人文社科版）篇数占比200011113.33%200111213.33%200211213.33%200300%200400.00%
2、200511213.33%200621320%200700%200800%2009116.67%201011213.33%2011116.67%201200%201300%201400%201500%共计共计612212115刊物年份图1.过去15年大学英语四级考试信度与效度研究情况 2.基本趋势2000200120022003200420052006200720082009201020112012201320142015012322223121篇数篇数图2.过去15年大学英语四级考试信度与效度研究发展趋势结果显示：国内对于大学英语四级考试信度与效度研究的趋势是波动的，研究热潮集中在2000-
3、2003年、2005-2006年、2009-2011年三个阶段。我们大胆假设，其发展趋势跟大学英语四级的发展、改革相关的。1.1.参考人数逐年增加：参考人数逐年增加：大学英语四级考试开始于1987年9月，考试发展的15年里（至2001年），参考人数逐年递增，由1987年的10万人，增长至2001年的448万人，其中2000年至2001年的增幅最为明显，因此2000-2003年研究的热度较高。2.大学大学英语四级考试英语四级考试制度调整或改革制度调整或改革：p1990-1996 年主要调整英语考试流程、题型和成绩统计方式。p1999 年增加英语口试。p2005 年改革计分体制（满分710，不设及
4、格线）、改革成绩报道方式，由考试合格证变为成绩报告单（总分、单项分）提出研究开发计算机口语测试，进一步扩大口语考试规模p2006年实施网上阅卷2000200120022003200420052006200720082009201020112012201320142015012322223121篇数篇数图2.过去15年大学英语四级考试信度与效度研究发展趋势 3.研究方法 20世世纪纪90年年代代以以后后,随随着着外外语语教教学学研研究究的的不不断断深深入入,国国内内越越来来越越多多的的专专家家学学者者开开始始关关注注外外语语教教学学的的研研究究方方法法。其其中中，高高一一虹虹等等有有关关研研究究
5、方方法法分分类类的的标标准准,将将研研究究方方法法分分为两大类为两大类:实证性实证性实证性实证性研究研究研究研究和和非材料性研究。非材料性研究。非材料性研究。非材料性研究。实实证证性性研研究究以以系系统统的的、有有计计划划的的材材料料采采集集和和分分析析为为特特点点，包包括括定定定定量量量量研研研研究究究究、定定定定性性性性研研研研究究究究以以及及定定定定性性性性定定定定量量量量相相相相结结结结合合合合的的的的研究研究研究研究。非非材材料料性性/非非实实证证性性研研究究指指不不以以系系统统采采集集的的材材料料为为基基础础的的研研究究,包包括括个个个个人人人人感感感感想想想想、操操操操作作作作描
6、描描描述述述述(对对大大纲纲、教教学学方方法、测试方法等具体操作性描述和评价法、测试方法等具体操作性描述和评价)及理论反思等。及理论反思等。实证研究非材料性研究024681012114篇数篇数73%17%图3.过去15年中大学英语四级考试信度与效度研究方法情况 由由此此可可见见，过过去去1515年年的的研研究究主主要要采采用用实实证证研研究究方方法法，包包括括对对比比试试验验法法、问问卷卷调调查查法法、对对卷卷面面、题题型型等等材材料料分分析析定性法等。定性法等。也也有有少少数数研研究究采采用用非非材材料料性性研研究究法法，如如解解释释分分数数测测算算的具体操作、从理论出发对考试的信度与效度进
7、行评析等。的具体操作、从理论出发对考试的信度与效度进行评析等。4.研究内容4.1 理论层面 在在理理论论层层面面，纵纵观观目目前前的的研研究究发发现现研研究究焦焦点点主主要要集集中中于于两两方方面面：一一方方面面是是研研究究信信度度、效效度度的的含含义义及及延延伸伸；另另一一方方面面是是探探讨讨大大学英语四级考试信度和效度的影响因素学英语四级考试信度和效度的影响因素。经过经过研究发现，目前国外对语言测试的信度和效度定义研究较研究发现，目前国外对语言测试的信度和效度定义研究较为成熟且有延伸，我国虽起步晚也发展较为迅速，但目前对信度为成熟且有延伸，我国虽起步晚也发展较为迅速，但目前对信度和效度的界
8、定仍未达成一致，且对信度定义的探讨较少。和效度的界定仍未达成一致，且对信度定义的探讨较少。（1）含义含义：关关于于效效度度的的含含义义：国外的研究中，较早的效度定义是由Kelly提出的，他认为效度就是一项测试是否真正测量了它所要测量的东西。后来,对效度的认识一直有两个不同的体系：一是认为效度可以分割成不同的种类;另一种观点认为效度应该作为一个整体去认识和理解。同时，Messick、Bachman等把效度看作一个不可分割的整体,它既不是某个内涵单一的概念,也不好按其内涵分成不同的种类。（薛梅2006.06)Richard认为在测试中效度是“指一个测验能测出预定要测量的事物的程度,或能够引起预报作
9、用的程度”（转引自李炯英 2002，05）。Messick(1989)将考试效度的概念扩展到了包括考试使用、社会后果等在内的以构念效度为核心的整体效度观。这种效度观认为,效度并不是对考试本身的评价，而是对测试结果的解释和使用的评价，效度研究是收集不同方面的证据支持对测试结果的解释或使用的合理性(转引自金艳 2006.06)。Baehman(1990:289)认为效度是关于测试分数解释和使用方式充分性和适当性的一个整体概念，是语言测试开发、解释和使用中应考虑的最重要的因素,主要用于测试分数或结果的解释和使用(转引自穆惠峰 2011,04)。在国内的研究中，杨惠中(2003,25)认为效度是指考试
10、能准确反映学生实际运用语言的能力。李筱菊称,“语言测试的效度，亦指有效性，指测试所考的，是否就是所要考的，或者说,在多大程度上,是考了目的所要考的”(转引自江澜,冯晓媛2003:85)。李清华（2006）指出语言测试界对考试效度的传统定义是“考试是否或多大程度上测试了设计者想要测试的内容”，测试内容和形式是这种效度观所关注的核心。关关于于信信度度的的含含义义：徐强认为（2000)信度是指同一考生在不同的考试条件下(如不同的考场、不同的考官等)参加同一项考试后所得到的分数是一致的（转引自蔡基刚.2005.04)。杨惠中(2003:25)认为“信度是指对学生的语言水平提供可靠的度量。李筱菊（200
11、1）称测试信度是指测试结果是否可靠可信。（2）影响因素影响因素：在关于效度和效度影响因素的研究中，研究内容多样化并取得了很大的进展，对后续的探索具有很好的借鉴意义。首先，不少学者探讨了影响英语技能测试（口语、阅读、写作）的因素。庞继贤（2005.07）认为口语考试的效度和信度受到多方面因素的影响。例如：口试形式、任务内容、评分标准和考官素质等。蔡基刚(2005.04)在大学英语四、六级计算机口语测试效度、信度和可操作性研究中指出施考的条件、试卷的内容和难易度、阅卷评分是否一致等会影响口语考试的信度与效度。辜向东（2009.01）的大学英语四级考试快速阅读部分内容效度研究结果表明快速阅读部分在选
12、材、词汇范围、话题范围、阅读速度要求、考查技能、题目题型分布方面影响内容效度。Hughes(2003)相信如果阅卷员能够得到较好的培训,写作测试的评阅信度系数有可能达到0.60以上（引自张森2010.05）。此外，不少学者试求基于新热点角度进行探讨。Alderson认为语料库的应用可以提高考试的内容效度，因为测试材料选自真实语言文本,具有自然语言特征。也就是说，语料库作为一种手段，可以用来提高考试内容效度(转引自邹申2008.11)。薛梅（2006.06)在基于效度验证的新四级考试效度的探讨中认为试卷内容、反应过程、试卷的内部结构以及测试的后果与其他外部变量之间的关系这四方面会新四级考试的效度
13、有较大影响。金艳（2010，03）在大学英语四级网考效度初探中认为影响网考效度的因素产生于测试任务的呈现方式和考生答题方式，而且这些因素可能对不同的考生会产生不同的影响，包括考生对考试的态度和评价、考生的心理过程、认知策略、答题策略以及考试成绩。4.2 实践层面 研究内容多样化，包括对英语英语技能测试技能测试（口语、阅读、写作）和新热点新热点的研究。（1）英语技能测试 蔡基刚（2005）对大学英语四、六级计算机口语测试效度、信度和可操作性进行了研究。蔡基刚通过计算机口语考试和目前的面试型口语考试的对比研究,发现计算机考试无论在效度和信度方面都将超过目前四、六级面试型口试。在考试成本上也有较大的
14、降低。文章对如何实行大规模口语考试提出了建议：我们建议考试委员会是否可以确立几个考试点,进行计算机口试的试点工作,边试验边摸索,为大规模推行找到最佳管理组织模式。考试点可以通过投标方式产生。愿意承担考试点的学校应能提供符合计算机考试的场地和设备,并负责组织口试工作。考试委员会可在全国聘请和培训稳定的专业计算机口语考试评分员。张森、于朋（2010）对大学英语四级考试作文网上评阅信度保障进行了研究。结果显示网上阅卷系统能明显提高评阅信度,培训实验有助于阅卷员掌握评分尺度。本研究最后对改进网上阅卷员培训及保障网上阅卷评阅信度提出了建议。目前的网上阅卷系统在保障随机发卷的基础上已能够保证较高的评阅信度
15、,但在阅卷员培训和阅卷组长如何更好地凭借阅卷系统实施有效监控方面仍有进一步提升的空间以达到更高的评阅信度。阅卷组长组织阅卷组成员进行面对面的讨论,确保阅卷员之间对每一份试卷的评分尺度把握一致。阅卷组长除了参照相关系数、平均分、平均用时及图表等数据和使用抽查等方法进行有效监控外,还应考虑评卷系统所提供的标准方差、综合指数等数据,不应片面追求较高的相关系数而伤害评阅信度。辜向东、李志芳、张书奎（2009）对大学英语四级考试快速阅读部分内容效度进行了研究。研究结果表明该部分具有较高的内容效度。优势：文章选材基本符合考试大纲要求，话题广泛,词汇属于教学要求规定的范围；阅读速度达到教学要求和考试大纲对快
16、速阅读每分钟100词的要求；采用的题型多样;充分考查了考生的查读技能。不足：但是,分析也表明快速阅读部分在选材、考查技能和题目分布方面存在一些问题文章的题材和体裁较单一；难度较高,波动幅度也较大;几乎没有考查考生的略读技能；题目分布大都按照从首段依次排列至末段的顺序。基于以上分析，本文建议：快速阅读部分选材应更注重体裁多样化，难度适中并保持一定的稳定性,加强略读技能的考查以及题目分布随机化。穆惠峰（2011）基于语料库的大学英语四级完型填空测试内容效度验证研究。本文作者发现2006-2010大学英语四级完型填空测试项目总体来说符合考试大纲的要求，但也存在一些不足之处，包括部分考点的典型性不太高和部分干扰项的设计不够科学等。为了提高我国大学英语四级完型填空测试项目的命题质量，以便更好地考核学生的综合语言知识和能力，本文作者提出以下建议：在考前命题时可运用基于计算机的语料库帮助我们选择更加有代表性、典型性的测试材料；在编制测试项目时可运用基于计算机的语料库帮助我们设计考点的分布；在校对测试项目时可运用基于计算机的语料库来帮助我们更好地检验考点的典型性；运用基于计算机的语料库也可帮助我们设计
