第三节实验研究的效度和信度.docx

第三节实验研究的效度和信度.docx

《第三节实验研究的效度和信度.docx》由会员分享，可在线阅读，更多相关《第三节实验研究的效度和信度.docx（12页珍藏版）》请在冰豆网上搜索。

第三节实验研究的效度和信度

第三节实验研究的效度和信度

第三节实验研究的效度和信度

这一节我们要讨论的是:

如何评价一个实验,对这个问题的回答总是涉及两方面的内容:

其一，实验是否明确、有效、可操作;其二，实验是否可重复、验证。

这其实也就是实验研究的效度和信度问题。

效度就是实验结果的准确性和有效性程度，信度就是实验结果的可靠性和前后一致性程度。

效度和信度是实验研究成败的关键，也是对任何实验进行评价的指标。

一、实验研究的效度

实验效度是指实验方法能达到实验目的的程度，也就是实验结果的准确性和有效性程度。

实验效度主要包括内部效度和外部效度，不过在这两者之前，首先要提及的是实验的构念效度（constructvalidity）。

构念效度是实验研究初期不可忽视的重要因素，也是研究者形成实验假设和进行实验设计时必须考虑到的因素。

它是指实验研究假设和测量指标的理论构思及其操作化问题，即理论构思及其转换的有效性。

构念效度直接决定了研究者的设想能不能以实验的形式表现出来，具体来说:

构念效度首先要求研究题目的来源具有合理性，在有关理论中占有一定的权重，也就是说具有一定的重要性，同时还要具有一定的独特性;其次要求研究的理论构思结构严谨、清晰明确，有一定的层次性;最后根据理论构思的要求，要对实验研究中的自变量和因变量给出严格的操作定义，并对自变量的操作水平和因变量的测量指标作出明确的界定。

一个研究者要提出合理的、独特的理论假设，并能将之有效地转换成可操作、可验证的形式，必须要具备扎实的专业基础，对相关研究领域的已有理论和实验研究具有很好的把握，这是一项研究具有良好构念效度的首要条件。

此外，由于心理现象是错综复杂的，具有多维性特点，因此在研究中也要选取多种指标，运用多种方法，从不同角度出发进行多维的分析和构思，以提高研究的构念效度。

（一）内部效度

实验的内部效度是指实验中的自变量与因变量之间因果关系的明确程度。

如果在实验中，当自变量发生变化时因变量随之发生改变，而自变量恒定时因变量则不发生变化，也就是说确实是自变量而不是其他因素引起了因变量的变化，那么这个实验就具有较高的内部效度。

由此可知，内部效度与无关变量的控制有关。

当实验中未得到控制的无关变量越多时，因变量的变化不是由自变量引起的可能性就越大，实验的内部效度就越低。

当实验结果未受到任何其他变量的干扰，自变量与因变量的因果关系明确时，实验的内部效度就是高的。

例如，某研究者想考察单词的音节数与学习难易程度之间的关系，他在实验中选取了1、2和3三个音节（三个水平的自变量）的单词让被试进行学习，并以正确回忆率作为因变量指标。

他发现被试学习的单词音节数越多，正确回忆率越低，于是得出结论认为单词的音节数是导致学习难易程度的因素。

在这个

例子中，实验者忽略了重要的无关变量?

?

音节短的单词使用的频率高，而单词使用频率在实验中没有得到有效控制。

因此，我们认为该实验的内部效度不高，其研究结果未必有效。

1（内部效度的影响因素

内部效度问题其实就是实验变量控制的问题，在本章第一节中介绍的各种典型的无关变量都会影响到实验的内部效度，而对这些变量的控制技术也都能有效地提高实验的内部效度。

（1）主试—被试间的相互作用。

如第一节所述，在心理学实验研究中，除了主试给出指导语及被试按指导语要求完成任务的相互作用之外，他们之间还可能存在着某种干扰实验、使实验结果发生混淆的相互作用。

尽管研究者总要在研究中引入尽可能多的实验控制，但即使是在最谨慎的研究者那里，有两种来源的偏差仍可能受到忽视:

要求特征和实验者效应。

心理学实验中，有效消除主试—被试间不恰当的相互作用，由此保证实验内部效度的通用手段是双盲实验法。

也就是说，主试和被试都不清楚实验的具体目的，因而可最大程度上避免主试的暗示和被试的顺从。

（2）统计回归。

此前我们已经提到过回归假象的概念:

第一次测量平均值偏高者，第二次测量平均值有趋低的倾向（向常态分布的平均数回归）;第一次测量平均值偏低者，第二次测量平均值有趋高的倾向（也向常态分布的平均数回归）。

当实验分组涉及某些具有极端特性的个体作为被试（如高焦虑组和低焦虑组）时，统计回归将对实验的内部效度起到极大的影响，实验者将无法区分统计回归的效应和自变量本身的效应。

为避免统计回归对实验效度的影响，通常建议实验者在匹配被试时必须考虑两组被试本身是否同质，如果不同质（就像白人儿童和非洲裔儿童），就必须以几组被试各自的相对水平进行匹配。

此外，利用统计控制进行协方差分析，在某种程度上也能降低统计回归对实验效度的影响。

（3）其他影响内部效度的因素。

实验内部效度还与许多其他因素的控制有关。

例如在实验中，被试的一些固有的和习得的差异，如性别、年龄、经验、个性等都对研究存在一定的影响。

在对被试进行分组时，如果没有使用随机取样和随机分配的方法，即存在被试的选择偏性的话，那么实验结果就会发生混淆，

从而降低内部效度。

另外在一些长期实验中，参加实验的人员的流失率会随着时间而增大。

即使开始参加实验的被试样本是经过随机取样和随机分配的，但由于被试的中途缺失，常常使缺失后的被试样本难以代表原来的样本，这同样会降低实验的内部效度。

对于时间跨度较长的实验，必须考虑到个体本身的生长和成熟因素也能影响内部效度。

此外，增设控制组，同样能够解决由于实验程序本身、控制方式的不一致以及测量程度的变化对实验内部效度的影响。

例如，在使用前测、后测的实验研究中，一般正常情况下，即使没有接受任何实验处理，后测的分数也将比前测的分数高一些。

这中间可能包括练习因素、临场经验以及对实验目的敏感程度的效应。

而这些影响实验效度的问题，可以通过增设一个无实验处理，仅有前后测的控制组加以解决。

如果实验组的后测明显高于控制组的后测，那么实验组被试的前后变化就确实是由自变量引起的（至少是高于控制组的那部分）。

2（零结果对内部效度问题的提示

如果在一项实验研究中，由于上述种种原因造成了严重的混淆，导致自变量的操纵和变化没有引起因变量相应的变化，那么实验就会出现零结果。

因此，如果零结果不是真正意义上说明自变量和因变量毫无关系，那么就必然提示了实验的内部效度存在大问题。

一般来讲，零结果产生后，我们要在以下几方面寻找原因以改进实验的内部效度。

一是自变量的操纵是否有效。

如果自变量的操纵本身较失败，那么就不足以引起因变量的变化。

二是因变量的测量是否充分。

如果因变量的测量范围受到限制，出现天花板效应或地板效应，那么实验的内部效度也将大打折扣。

三是额外变量是否得到有效控制。

如果实验对额外变量的控制不够充分，自变量与因变量之间因果关系的明确程度就大大降低，那么实验就很有可能出现零结果。

无论是何种情况下，当一项研究出现了零结果时，它可以告诉研究者很多信息。

一方面，它提醒研究者可能他的实验操纵存在问题，实验的内部效度已经受到了严重的威胁。

需要研究者重新考虑该如何对待这种操纵的失误，并采取相应的措施来弥补，比如重新实验。

另一方面，它告诉研究者可能他的实验假设存在偏颇。

需要研究者重新谨慎地思考其假设背后的理论的正确性。

虽然这种情况很难让每个研究者都接受，但却可以真实地反映研究者的科学态度。

3（内部效度的特例?

?

统计程序的有效性

最后，需要补充说明内部效度的一个特例，即统计程序的有效性，也就是指有关决定实验处理效应的数据分析程序的有效性和准确性。

统计程序的有效性涉及研究误差的变异来源和如何恰当运用统计显著性检验的问题。

例如，如果研究的样本较小时，采用统计显著性水平作出推论则是很危险的。

因为小样本时，样本成分和测量都波动比较大，具有不稳定性。

有两方面条件都能影响到统计程序的有效性。

一是数据的质量，包括数据的类型、分布和量表特征等。

它们决定了该采用何种统计分析程序来对数据进行分析才是正确的。

例如，如果数据是计数型数据应采用非参数检验，如果数据是计量型的则应采用参数检验。

二是统计检验的假设。

数据分析中所采用的各种统计方法都有其明确的统计检验假设。

在一项实验研究中，如果所得到的数据特征不能满足某种统计分析程序所要求的统计检验假设，那么就不能运用该统计方法进行数据分析，否则必然影响统计结论的效力。

由于统计程序有效性问题是直接关系到心理学实验结论效力的内部效度问题，也有人称其为“统计结论效度”。

（二）外部效度

实验的外部效度是指实验结果能够普遍推论到样本的总体和其他同类现象中去的程度，即实验结果的普遍代表性和适用性，研究者也将之称为生态效度。

普遍性的问题在所有类型的研究中都存在，也是研究者感兴趣的问题。

它涉及实验结果的概括力和外推力，也就是实验结果接近现实的程度。

对于任何一个实验结果来说，最为关键的问题是当超出产生该结果的实验条件之外它仍会存在的普遍性问题。

詹金斯（Jenkins，1979）的记忆实验四面体模型向我们提供了四个评价这种普遍性的维度:

（1）用其他的被试人群也能得到同样的结果吗,

（2）用其他的实验材料也能得到同样的结果吗,（3）用其他不同类型的测验会出现同样的结果吗,（4）用不同的实验处理和不同的自变量操作方式也能出现同样的结果吗,概括地讲，也就是一个特定的结果能否从诸如被试人群、材料、情景以及因变量的测量等几个方面推广出去。

对所有这些问题的回答，其实就是研究的外部效度问题。

以人的行为为对象所获得的实验结果，其推论往往会具有相当的局限性。

因此，实验的外部效度就要受到很多因素的制约。

主要有以下三个方面的影响。

（1）实验环境的人为性。

实验是在严格的控制条件下进行的，实验环境的人为性可能使某些实验结果难以用来解释日常生活中的行为现象。

在特定的实验情境中，被试通常知道自己是处于被观察的地位，因此其行为可能会受到影响，表现为与他们不知道自己正在被观察或不参加实验时有很大的不同。

而且实验室中的仪器设备也会影响被试的典型行为。

此外，像我们在前面所提到的那样，被试参与实验时都存在一定的动机和对实验的预期，这些因素都会影响其行为表现。

要改变这些因素的影响，可以提高实验情境与现实情境的相似性。

一般来说，这种相似性越高，实验结果的可推广性也就越高。

而且研究中所使用的变量强度和范围，也应该尽可能地接近研究结果所要应用的实际情况。

此外，在进行某些特定领域（如被试行为受实验情境影响较大）的研究时，还可以增加现场实验的数量，在非实验环境下对被试进行自然观察，或者采用间接观察或参与观察等。

这样，实验的外部效度就会有很大的提高。

（2）被试样本缺乏代表性。

从理论上讲，参与实验的被试必须具有代表性，必须从将来预期推论、解释同类行为现象的总体中进行随机取样。

但实际上这很难做到。

因为如果总体很大，即使能够随机取样，但由于心理学实验的被试通常是自愿的，所以也很难把被随机选上的人全部请来做实验。

如果总体是无限的，例如“七岁儿童”就是一个无限的总体，包括过去的、现在的、将来的所有七岁儿童，随机取样实际上是行不通的。

这样的结果自然会降低实验的外部效度。

同样，如果研究者选择一些具有独特心理特质的被试进行实验时，因为这些独特的心理特质有利于对实验处理造成较佳的反应，就很难将得出的结果推广到其他特质的被试上去。

例如，如果选择一些智力水平较高的学生，进行发现式教学与传统教学的比较，实验结果发现前一种教学法优于后一种教学法。

但是这一结果显然不能推论到实验以外的其他一般的学生中去。

因为参加实验的对象是具有高智力水平的学生，他们也许比这种特质低的学生（例如低智力水平的学生）更能从发现教学法中获益。

如果将这种结果随意推广到所有学生上去，显然会造成推论的错误。

这为我们回答前面詹金斯的第一个问题增加了难度:

用其他的被试人群也能得到同样的结果吗,如果我们所选取的样本并不能很好地代表所要研究的总体，就无法确定是否在变换了实验样本后还能得到同样的结果。

（3）测量工具的局限性。

实验者对自变量和因变量的操作性定义往往以所使用的测量工具的测量结果来加以考虑的。

例如，把成就动机作为一个因变量，实验者常以某种成就动机量表所测得的分数来界定并评价其强度。

但成就动机的测量工具有各种不同的形式，所测量出的分数并不代表同一种成就动机及其强度。

如果在实验时采用的是某一种成就动机的量表，那么所得出的实验结果便不能推论到采用其他成就动机的量表的情况中去。

测量工具的局限性直接影响到我们对詹金斯所提出的两个重要维度问题的回答:

当使用其他的实验材料或其他不同类型的测验时也能得到同样的结果吗,实验材料和测验类型的差异可能会使多个研究者对同一个问题的研究结论无法会聚，也就是说可能导致不同的结论。

这直接影响到实验研究的外部效度，以及我们对某一研究对象的正确和深入的理解。

詹金斯向我们提供的评价研究外部效度或普遍性的维度是很有建设性的，它提示我们在选择合适的被试样本的前提下，应进行系列实验研究。

因为仅仅一项研究很难在被试、变量、情境等多方面均保证其具有普遍性意义。

只有进行多项会聚研究后，才能得出关于研究问题的比较精确的结论。

但最值得我们关注的是，对研究外部效度的要求向我们提示了进行多因素实验的必要性。

也就是在实验中引入多个自变量，尽可能多地控制额外变量，以更精确地揭示自变量对因变量的效应，以及多个自变量之间的交互作用。

多因素实验不仅可以大大提高研究的效率，更重要的是它为有效提高研究的外部效度提供了可能。

从上面的讨论中，我们可以看出，实验的内部效度越高，其结果就越能确认是由实验处理所造成的;而实验的外部效度越高，其结果的可推论范围就越大。

而且，实验的内部效度和外部效度是相互联系、相互影响的。

有时提高实验内部效度的措施可能会降低其外部效度，而提高实验外部效度的措施又可能会降低其内部效度。

那么在一项实验研究中，要如何平衡这两种效度的相对重要性呢,这主要取决于实验的目的和要求。

一般情况下，实验中发生混淆的因素越少，在实验中控制额外变量的程度越大，也就是实验的内部效度越高，则对因果关系的测量就越有效。

因此，研究者通常会在保证实验内部效度的前提下，采取适当措施以提高外部效度。

二、实验研究的信度

实验信度是指实验结论的可靠性和前后一致性程度。

实验结果的可靠性可以简单归结为:

如果再重复实验，其结果会与第一次相同吗,这在心理学研究中是一个关系重大的问题，它涉及实验研究的可验证性。

如果我们没有理由证明所得出的实验结果是可信的，那么研究将毫无价值。

（一）影响实验信度的因素

决定实验信度的一个关键是观察量。

观察量越大，我们就越有理由相信样本统计值接近总体参数值，也就是样本更能够代表其所在的总体。

例如，在我国随机抽取一个样本进行问卷调查，调查的内容是关于他们对即将实施的某项政策的态度，我们相信样本容量为10万人要比样本容量只有100人更能准确地反映出全国民众的意愿。

同样，如果一个研究者想对中国大学生的心理健康状况进行调查的话，他需要做的是

在中国的各个地区随机选取所需要的大学生样本，而不是仅局限于他所在的城市。

因此必须牢记，研究中某一特定结果的信度取决于产生这一结果的观察量。

在实际研究中，我们一般尽量使观察量增加到最大限度。

这样做不仅可以提高结果的信度，而且增强了我们所使用的统计检验的效力，或者说增强了拒绝虚无假设的检验能力，也就是说使我们更能够确信自变量对因变量存在影响。

同时，实验信度还涉及对结果的统计检验。

在任何实验中，当得出结果时，我们首先会问自己:

它是真的吗,这就又将我们带回到了信度的问题中，即:

如果再做一遍实验，还会得到与之相同的结果吗,回答这个问题的一个方法就是计算推断统计的结果。

简单地说，推断统计用来确定两种实验条件下的差别到底是由自变量还是随机因素造成的。

如果不同实验条件下所得出的结果之间差异很大，而且这种差异由偶然因素造成的概率低于5%时，那么就可以排除偶然因素造成实验结果的可能性，认为该结果是由自变量造成的。

根据统计检验所得出的差异是具有统计信度的。

统计信度是得出实验结果的必要条件，但更多的研究者倾向于实验同时还具有实验信度。

因为，尽管结果具有了统计信度，但其中仍有5%的犯错误的概率，也就是仍然存在着偶然因素会混淆实验结果的可能性，而且即使实验控制得很好，这种问题也会发生。

（二）实验信度的验证

实验信度其实就是实验的可验证性问题。

要保证实验信度，就应鼓励研究者进行验证性实验，这样即使推断统计显示仍存在犯错误的可能，但实验结果也是可信的。

有三种类型的实验验证:

直接验证、系统验证和概念验证。

我们使用吉克和霍利约克（Gick&Holyoak，1980，1983）的思维系列实验来说明确定实验信度的重要性。

他们研究的主题是类比推理对问题解决的作用。

所谓类比就是指人们往往会借助一些观点来帮助理解其他的观点，进而获得新的发现。

在他们的研究中使用的问题叫辐射问题，它首先被东克尔（Dunker,1945）使用，可以表述如下:

假如你是医生，面临着一个胃内有恶性肿瘤的病人。

肿瘤不切除，病人就会死去，但是，在肿瘤上又不能动手术。

有一种辐射能摧毁肿瘤。

如果辐射以足够高的强度立刻到达肿瘤，肿瘤会被摧毁。

但不幸的是，其他的健康组织同时也会被摧毁。

而辐射强度较低时，射线对健康肌体无害，但对肿瘤也就不起作用。

那么，我们应该用什么类型的辐射去摧毁肿瘤同时又能避免伤害健康的组织呢,（Gick&Holyoak,1980,

pp（307-308）

对此最具创造性和有效性的解决办法是从不同方向分别向肿瘤射几束弱射线，并使它们会聚在一起。

由于每束射线本身强度较弱，因此通过肌体时不致产生伤害，但是所有这些射线的强度聚集在一起则足够摧毁肿瘤。

东克尔在对这一问题的最早研究中发现，45个被试中只有2个（4%）给出了这个解决办法。

吉克和霍利约克（1980，1983）所感兴趣的是，当在辐射问题前先给出一个类似的问题及其解决办法时，被试是否能从第一个问题中抽象出基本原则并运用到第二个中去。

基于这种想法，吉克和霍利约克设计了一些“类比故事”。

这些类比故事中蕴涵着高效解决辐射问题的基本原则。

例如，在一个叫“指挥官”的故事中，一支坦克部队的指挥官要向敌军司令部发起攻击。

如果使用很多坦克，他赢的机会就很大，但他的部队必须经过一个又窄又不牢固，且仅能通过少数坦克的桥;而如果使用少量的坦克发起袭击则易被敌方击退。

为了取得胜利，这支坦克部队的指挥官制定了一个让坦克分别通过每座小桥，进而包围敌军司令部的计划。

这样，所有坦克都能同时过桥攻击和占领敌军司令部。

很明显，在坦克袭击问题与辐射问题之间具有很高的相似性。

实验中被试是否能使用指挥官故事中的道理来帮助其解决辐射问题,为了回答这个问题，吉克和霍利约克（1980）设计了一系列实验进行研究。

在他们的系列研究中涉及所有三种类型的实验验证。

1（直接验证

在吉克和霍利约克的前三个实验中，吉克和霍利约克研究了三种情况下被试对辐射问题的解决。

三种情况分别为:

在解决辐射问题之前，被试阅读过类似于“指挥官”的包含类比推理的故事（实验条件）;没读过任何其他的故事（控制条件）;或阅读过不相关的故事（控制条件）。

然后比较了不同条件下被试的问题解决情况。

结果他们发现，那些在解决辐射问题前没有阅读故事或阅读无关故事的被试中仅有大约10%使用了最有效的方法来解决问题，而解决辐射问题之前阅读过类比故事的被试中有大约75%在时间限度内使用“会聚解决法”（从不同方向发射射线）解决了辐射问题。

这些实验的结果说明人们对问题的解决能从类比中受益。

他们在多次的实验中都验证了这一观察，也就是重复了他们的实验结果。

如果吉克和霍利约克（1980）进一步选择不同的被试，并试图尽可能准确地重复他们的实验的话，那么就构成了对他们的实验的直接验证。

也就是说直接验证是指在尽可能保持原实验方法的情况下在实际中重复实验，就像其名称所蕴涵的那样。

吉克和霍利约克后来发现，在其前三个实验的每个条件下，他们都提示了被试利用所阅读的故事试着解决后来面对的辐射问题。

于是，他们对另一个问题产生了兴趣，并接下来进行了他们的第四个实验。

2（系统验证

在吉克和霍利约克（1980）系列研究的第四个实验中，他们让所有被试先阅读类比故事，然后解决辐射问题。

与先前实验不同的是，他们在实验中增加了一个条件。

在提示条件中，告诉被试在向他们呈现辐射问题前，先要阅读一个故事，并且这个故事能够被利用来作为提示帮助其解决后面的问题（这是在前三个实验中都有的条件）。

而在无提示条件中，主试没有提示被试，他们刚刚读过的故事与即将面临的问题

的被试解决了问题;相反，当没有给出提示时，解决任务之间存在联系。

结果他们发现，当给出提示后，92%

则仅有20%的被试解决了问题。

也就是说，他们发现这种提示实际上是实验控制的一个关键部分;仅让被试学习故事然后试着解决问题而不作特别的提示时，能够解决辐射问题的被试人数就远远地少于前面三个实验。

这一结果似乎表明，只给出类比是不够的，提示是解决类比推理问题的一个重要因素。

在实验四中，吉克和霍利约克尝试变化的这一变量特征虽然看上去很小，但却是对实验的系统验证。

运用系统验证时，实验者试图变化那种先前被认为与实验结果不相关的因素，也就是说，在实验中引入原来未加控制的变量。

如果原始实验中发现的某种现象是真的，那么尽管重做时其中一些因素发生了变化，原来的实验结果应该仍然会出现。

如果重做时原始实验的结果不再产生，那么研究者就在他的实验中发现了重要的边界条件。

这是一种很有趣的验证类型，它可以产生重要的新信息。

3（概念验证

进行概念验证时，研究者试图验证一个现象，但在某种程度上又与原先的实验有很大的不同。

在前面所提到的多个实验之后，吉克和霍利约克（1983）又做了一系列实验，试图确定能够促进类比故事对问题解决产生正迁移的条件。

在含有辐射问题和另一个其他问题的三个实验中，吉克和霍利约克让被试以不同的方式（实验条件）来加工类比故事，以便了解正迁移量能否增加。

正迁移量是以实验条件下被试解决问题的百分比与控制条件的百分比之差作为指标。

对照组只呈现类比故事而不带任何指导语（控制条件）。

他们发现下列情况下正迁移量没有得到改进:

要求被试概述故事而不是要他们为了回忆测验而学习（实验一）;是否以言语或文字的形式给出这一故事所表达的道理和它的策略本质（实验二）;把图解和故事一起呈现给被试（实验三）。

结果他们成功地揭示了在解决辐射问题时产生类比故事的正迁移的条件。

当被试学习两个类比故事并亲自描述其相似性（在问题前给出）时，产生的正迁移要比只学习一个故事大得多。

吉克和霍利约克认为，被试学习两个类比故事，然后思考其相似性能产生好的内在观念（或图式），这一观念能自动地用于解决新问题。

吉克和霍利约克（1983）的实验并非直接或系统地验证了他们早期得出的被试难以自发应用类比解决问题的研究结果，但他们会聚出了一个相同的结论，即难以从类比来改善推理。

因此，这些实验可被看做概念验证。

尽管实验技术与原始实验相比并不是精确的复制，但在某种程度上他们验证了那种没有明确指导条件下的类推困难现象的本质。

总之，从上面的讨论中，我们可以认识到:

在直接验证中，研究者努力尽可能准确地重复原实验，看能否在第二次得到同样的实验结果;而在系统验证和概念验证中，研究者的兴趣并不在于精确地重复实验，在于描述某一心理现象的边界条件，即保证该现象存在的条件。

换句话说，一旦超出了这些条件，那么该现象则不复存在。

实验的验证问题与结果的普遍性问题其实是交织在一起的。

系统验证和概念验证实验同时也是为了说明结果的普遍性。

实验结果能从系统验证实验程序中比较轻微的变化到概念验证实验程序中比较大的变化中得到推广吗,通常，当研究者能够发现某一现象不能被验证的条件时，我们对该现象的理解就更深入了。

在某种意义上说，如果研究者发现了该现象不能被验证的条件，那么对于研究本身来说，可能是最好的结果。

因为，当这种边界条件被证实，研究者理解了什么因素影响某个心理现象的出现与否时，就可以建构关于这一现象的更好的理论。

实验研究的效度和信度从来都不是相互割裂的:

一个具有良好效度的实验，将得益于其对变量