重新审视德尔菲法旅游研究中的德尔菲法.docx
- 文档编号:24659549
- 上传时间:2023-05-29
- 格式:DOCX
- 页数:18
- 大小:34.84KB
重新审视德尔菲法旅游研究中的德尔菲法.docx
《重新审视德尔菲法旅游研究中的德尔菲法.docx》由会员分享,可在线阅读,更多相关《重新审视德尔菲法旅游研究中的德尔菲法.docx(18页珍藏版)》请在冰豆网上搜索。
重新审视德尔菲法旅游研究中的德尔菲法
重新审视德尔菲法:
旅游研究中的
德尔菲法
BRIANGARRODANDALANFYALL
InstituteofRuralSciences,UniversityofWalesAberystwyth,LlanbadarnCampus,Aberystwyth,Ceredigion,SY233AL,UK;
InternationalCentreforTourismandHospitalityResearch,BournemouthUniversity,Poole,UK
(涂馨200920711008)
简介
德尔菲法属于定性研究方法,是依赖于所要考虑问题的专家的个人判断之上的。
其他的'判断'研究方法,包括行政陪审团意见,主观概率评估和消费意向调查(Frechtling,1996)。
德尔菲技术首先在50年代由美国兰德公司的研究人员得到发展,德尔菲法已发现有很多跨若干议题的应用,包括旅游业。
事实上,德尔菲法是普遍认可的代表了一种十分灵活的研究方法,一个能够在另一个严格的补充层面去解决各种问题的方法,而这些问题在使用更传统的方法时是很难研究的。
在挖掘下表面的问题和利用专业知识以及研究者们无法获得的洞察力上,该技术也有让人非常钦佩的能力。
尽管德尔菲技术已经引起了学术界和研究的专业人士更广泛争议,特别是在其作为研究方法的价值上。
因此,尽管有技术的德尔菲一些热心的支持者,也有许多激烈的批评。
在德尔菲方法价值的激烈的学术争论上,连同严格性的长期不足,普遍认为是关于何时和如何最好地运用的指导方针(Rowe和Wright,1999),加之早些年一些草率的执行(Stewart,1987),已经可以说给这种方法留下了坏印象。
事实上,一些评论家认为,德尔菲法作为一种研究工具毫无价值。
例如,Bowers(1997:
141),驳回德尔福仅仅是“失去名誉的”。
本章的目的是介绍德尔菲法,以评估其主要强项和弱点,并探讨在旅游业中该方法可以如何被应用,研究方面使用的是德尔菲方法研究“海洋生态系统”如何被最佳定义的一个个案研究。
(Garrod,2003a)。
个案研究在一些创新功能,内置的方法上是启发性的,包括利用稻草模式去引导专家,这种引导是通过德尔福流程专家去确定是否有足够的专家小组仍然很好的平衡的成功的标准。
这些创新试图解决在旅游领域中以往德尔菲研究的明显的一些缺点。
本章的结论是通过提出一些在旅游研究上德尔菲法运用实验性可操作的准则。
哲学语境的德尔菲法
德尔福的技术的基本原理是征求问题,这些问题非常复杂而且必然是主观的,要求部分受访者拥有高水平的知识和专门技术。
使用传统问卷调查或采访的研究技术,这些问题不容易处理。
例如,即使产生抽样框架也是不可能的,因为有能力作出有效反应的调查个体数量有限。
潜在的受访者中,高度专业的也往往是在地理上广泛分布,因此让他们融合成焦点小组或专家委员会的费用让人望而却步。
德尔菲法的目的,是最大限度地解决这些问题,通过运用一个专家小组,和使他们“几乎”能相互作用,实际上他们相互并没有见过。
同样,人们普遍认识到,要求受访者对非常复杂和具有争议的问题作出一次性的判断,可能会导致来自以传统的调查为基础的研究错误的结论。
德尔福技术的迭代性,在受访者有机会在知情的基础上进行他们的再次判断,并且被认为减少了受访者作出瞬间判断的潜在可能性。
这可能增加研究结果的准确性,而且使它们更加可靠(Aytonetal.,1999)。
因此德尔菲方法,与其他调查方法相比似乎有一些固有的优势。
但是德尔菲法从来不是作为统计上更加严格或统计模型为基础的程序替代物而发挥作用的,认识到这一点很重要,这一点已普遍证明德尔菲法不如这些过程(RoweandWright,1999)-但德尔菲作为分析问题的切实可行的解决方法,传统的方法是更加不容易适用这些问题的。
在研究方法的标准上是不容易适用于研究边缘的,而德尔菲法可以。
事实上,Rowe和Wright(1999)作了比较研究的综述,研究表明,德尔菲一直都优于统计组和这种情况下的互动群体标准。
什么是德尔菲技术
Helmer(1972:
15)形容德尔菲法:
通过一系列的调查问卷,收集一个专家小组的意见的一种系统方法,其中问卷中该小组的反馈意见分布在一轮又一轮的调查中被提供,同时保证受访者答复的匿名性(引自MasserandFoley,1987:
217–218)
因此德尔菲程序看似简单,涉及小组判段的匿名启发,这些小组判断使用了有反馈回路的迭代测量技术。
对于看做德尔菲的过程,Rowe和Wright(1999年)规定了四个认为是德尔菲过程的必要特征:
匿名,迭代、反馈控制,以及群体反应的统计汇总。
德尔菲法主要通过邮寄,电子邮件或偶尔的和研究小组成员的个人访谈等形式使不愿透露姓名的受访者受保护。
维持被受访者匿名的目的是减少同伴压力,组织忠诚或知名人士进入受访者的判断过程。
这意味着,所涉及的问题更有可能只在其内在的价值上进行判断,尽量减少外来因素影响受访者反应的复杂性和有争议的判断的影响的潜在性。
在德尔菲的研究中,全部受访者的匿名性在各个迭代,或'调查轮'中被保护。
这种迭代让受访者仅有一次的机会,使他们能够更深入慎重的思考眼前的问题,并最终运用他们的专业知识。
个人在偏离其初步意见上是自由的,并且能够这样做而不担心在这个领域的其他专家面前丢面子(RoweandWright,1999)。
反馈控制在调查轮之间被给出,以便通知该集团总的判断小组成员。
通常这种反馈是以一个中值的形式,但有时这些信息是通过选定小组成员补充的匿名的书面理由(例如,那些不属于跨阶层的范围的判断)。
在'经典'德尔菲法中,研究人员寻找一个实现所有专家的共识运动。
当达到足够的共识程度时,德尔福过程也就结束了,然后结果组的判断可以适用于手头的问题。
但是应当指出,最近使用中的一些德尔菲法的运用并没有寻求融合,组内分歧同样被认为是有效的。
根据Archer(1976),Richeyetal.(1985),Smith(1995)andFrechtling(1996),对该技术的说明,表8.1总结了一个典型的德尔菲研究的基本步骤。
首先,集合一个专家小组。
成员选自所要解决问题相关领域和有知识基础的专家。
小组规模并不是一个关键问题。
事实上,史密斯(1995)认为,该小组的规模应该由可获得专家的数量决定,通常是40至50个,但他又补充说,成功的德尔菲法的研究,曾在少至4个和多达904个小组成员中进行。
同时,Yongetal.(1989)认为在15到20个小组成员的专家小组一般是足够的。
但是,被认为是至关重要的德尔菲小组成员需要在背景和能力上平衡,并保持使整个研究连续几轮(Wheelleretal.,1990),。
如果该小组变得不平衡,他们的小组判断很可能偏向支持在小组中过于展示自己个性的个人。
德尔菲的第一轮研究往往被称为'范围轮。
在这里,鼓励专家们就需要解决的主要问题建立研究的中心焦点。
小组成员通常发出一份调查表,并给在预先指定的最后期限没有完成的那些人以提醒。
信息包往往在研究开始时就提供给小组成员,以确保它们开始于一个共同的出发点。
研究小组的资源也往往放在那些需要进一步的资料的小组成员那里以供使用-也许是以有影响力的报告或文件的形式-以改善他们的判断。
随后的几轮研究通常被称为'衔接轮'。
小组成员通常收到一份就问卷问题作出总判断的总结,这些问题是在上次调查中所涉及的,以及一个新的要求他们再次做出判断的调查表。
答复可能被量化,排序,在一些尺度上被测量,甚至文字的。
那些在一次或多次提醒后而没有返回给定的问卷的人,在下一次调查之前将排除在这项研究进一步参与之外。
这是因为他们的反应将不被其他小组成员所看到,或者是没有建立在下一轮调查问卷基础之上,所以重新把他们引入到德尔菲过程中可能在调查结果上产生严重的偏差。
但是,不遵从在最后期限之前返回的小组成员的排除往往会导致相关的小组自然减员的问题,而随着小组的缩小,该小组经常会变的不平衡。
最后阶段是应用通过德尔菲过程达成的决策去解决手边的问题。
在许多情况下,集中趋势的测量及传播措施将是足够的,在这种情况下,一般首选中位数及跨阶层的范围。
后者是指所取得的共识的程度,从而表明了该小组的判断质量。
通常,出于礼貌问题,最后的反馈报告会准备好并且送到的所有小组成员那里。
表8.1.德尔菲技术的基本步骤.
1.选择合作小组成员.
2.为专家小组的潜在候选人的评估制定标准.
3.确定潜在的候选人,也许是在文献审查/专业协会的基础上.
4.要求他们的参与(可能由一个有声望的人).
5.最后确定小组的组成.
6.确定需要考虑的问题和发展初期(范围)问卷.
7.发出第一份问卷.
8.整理答复.
9.设计第二份(融合)调查问卷,包括所有新的问题,也许使用数量尺度或排名系统校准反应.
10.发出第二份问卷.
11.整理答复.
12.必要的话,开展进一步迭代(也许直到达到衔接可接受水平).
13.将汇总结果发送给所有受访者.
14.通过德尔菲研究运用决策解决所要解决的问题.
德尔菲法的起源和一些旅游研究中的应用
在声称是第一个德尔菲的研究中,DalkeyandHelmer(1963)试图征求专家意见,从一个苏联的军事规划者的观点去评估击中的原子弹的数量,这些原子弹的数量被要求将美国大军火供应在两年内从现在的水平减少到其四分之一,不包括新的投资。
自那时起,德尔菲技术被发现可以在预测领域进行应用,特别是'技术预测'。
这个研究领域试图预测,特别是技术进步时:
不是特别适合更为传统经验和模型基础的预测技术的任务。
德尔菲技术预测使用的显著例子是现在一个非常有名的研究,这个研究是由英国卫生经济办公室发起的,题为20世纪90年代的药业(Teeling-Smith,1971)。
德尔菲法一个非常相似的用法是事件预测,在这些事件中专家被要求就特定事件的可能性和时间性作出判断。
在旅游领域的事件预测中,德尔菲法有许多有趣的应用。
Yongetal.(1989),例如,集合了23个法官,他们被要求就事件的可能性和新加坡旅游前景相关的26个事件陈述的重要性作出判断。
Kibedi(1981),同时,在1979年举办的国际旅游研讨会上组织的一个德尔菲调查的报告要求受访者查明和排序是他们认为1980国际旅游业务最有影响力的事件。
同时,KaynakandMacaulay(1984)利用德尔菲法进行调查可能性,事件最可能发生的年份,和NovaScotian旅游业的大量相关可能事件的重要性(例如未来立法对每周工作时间的变化)。
最近,MoutinhoandWitt(1995)报告了25个专家参加的研讨会中德尔菲专题讨论会的结果,这些专家要求就一些有可能的前景发展的事件的可能性和重要性作出判断,而这些发展影响到世界旅游业,同时也预测这些发生事件可能的年份。
同时,Lloydetal.(2000)使用德尔菲法预测1997年英国将主权移交中国后香港酒店业的变化。
这里也有一些在预测旅游需求变量使用德尔菲法的显著研究。
事实上,德尔福法被广泛的定义为旅游预报的一种有用的定性方法(Archer,1976,1980;UysalandCrompton,1985;Calantoneetal.,1987;Frechtling,1996),而且在这里这个技术可能最容易被旅游研究者进行分类。
一种广泛引用的例子是Liu(1988)研究的:
雇用了29名当地人和外部专家小组就夏威夷的旅游需求的一系列特征进行预测,所有这些都基于2000年以前的的研究。
专家们被要求预测到访旅客人数,国内移民和瓦胡岛的旅客所占份额,游客与居民的比例和旅客住宿的供应。
但是,应当指出德尔福现在更多的当做定性的方法被使用,而不是简单的发展定量变量的预测。
例如,Greenetal.(1990),试图利用德尔菲确定范围和新的旅游吸引物的发展的潜在环境影响的扩,Bradford的盐岭。
他们使用德尔福的理由是,比起一个全面的环境评估,它实施起来更便宜,并且所耗时间更少,在帮助加快规划决策过程上提供更及时的成果。
另一个说明德尔菲使用变量的应用是三个对比研究,是由Panetal.(1995)出版的。
首先调查是否应该将戈佐岛作为自己的目的地来销售,而不是作为马耳他销售的部分,其次是在中国影响旅游设施投资的因素,第三是可能影响英国伯利兹旅游产品的战略营销的事件。
德尔菲法的更多的定性应用的进一步的例子包括在Garrod和Fyall(2000年)的研究中,这些研究应用德尔菲法去调查了对英国文物旅游部门非常重要的议题的专家意见,而Miller(2001)的意见试图为跨越各种情况下的可持续旅游业产生一组量化绩效指标。
德尔菲法的强项和缺点
近半个世纪前德尔菲法首次使用时就遭到了一定的争议。
虽然这次的争议很大,大部分的争议是由于一些研究人员运用德尔菲法时缺乏严格性,还有一些对德尔菲法众所周知的批判:
方法鲁棒性的基础和作为一个研究工具的有效性(例如,HillandFowles,1975;Sackman,1975)。
同时,其他的作家一直坚定的支持着德尔菲技术;最显著的是Linstone和Turoff(1975)。
表8.2列出了德尔菲法的主要优势和弱点,这些结论是在这些著作和其他人的著作上得出的(尤其见Rotundi和Gustafson,1996)。
对德尔菲法的优点大多是直接了当的,并已作了论述。
因此下面的讨论将集中在德尔菲法的一些弱点。
表8.2.德尔菲技术的强项和缺点.
强项:
1.该技术在适用于各种情况以及范围广泛的复杂的问题上是足够灵活的,这些问题通常没有其他合适的分析方法.
2.迭代方法允许专家根据同伴的反馈重新考虑他们的意见.
3.这个过程也给参与者在行动之前有更多时间去考虑他们的想法,从而产生更优的反应.
4.这一方法的匿名性让专家可以自由地表达意见,这种方法不会有体制的忠诚或同伴群体压力.
5.人格的潜在影响也以这种方式去除了.
6.多余的'噪音'(假设“噪音导致牵制”讨论)可以由项目经理控制.
7.这一过程产生了该小组的想法,它可以根据需要的那样被重新考虑.
8.该方法可用于评估意见的扩散以及点共识.
缺点:
1.德尔菲法可能非常敏感:
(a)小组成员专业知识或技能水平.
(b)小组组成
(c)问题的清晰度
(d)项目经理报告的异常值的原因的方式
(e)问卷的管理.
2.它假定专家愿意让他们的判断在其它人的意见上重新形成.
3.该专家小组是非常容易自然减员,原因是这些主题厌倦率高,过程的幻灭,在下轮调查开始之前没有时间问卷.
4.一些Delphi从业人员使用的货币支付或道德劝说的方式,鼓励小组成员坚持到底,但是,这可能偏置研究的结果.
5.还有一个'似是而非的共识'的风险正在形成,即小组成员遵循中立的判断是为了独立存在(或因没有时间考虑适当考虑手头上的问题).
6.在寻求共识时就存在着决定究竟什么构成共识的问题;因此当迭代过程应该停止时,最终成果被报告出来.
7.该技术通常需要大量的时间来完成,而且就研究人员的时间来说是昂贵的.
首先,德尔菲批评者指出,该技术可能会对设计特点非常敏感的,包括小组成员的专业知识水平,小组的组成,所提出问题的清晰流畅程度,如何报道离群问题,调查如何实施。
例如,Wheeller(1990年)指出了Greenetal.(1990)研究指出的一个德尔菲法的批判。
Greenetal.(1990)的这个研究是在旅游吸引物发展的环境影响上进行的。
研究指出其中一个问题是问卷问题没有得到严格的设计。
举例来说,在一定时期内没有一个地方声称预测景点的旅游人数。
似乎也没有问题的预测试。
考虑到德尔菲研究中受访者数量相对较少,受访者对所问问题的误解可能会潜在地传递了一种非常严重的偏见的结果,严重将其价值观带入问题中。
评估德尔菲法的第二批评是,它隐含地假设了,专家愿意让他们的判决在受到其他人的意见上重新形成。
当然,在许多情况下,这样作出的假设并不是不合理的。
例如,许多德尔菲研究是在学者中进行的,这些学者通常在学习环境中工作,而在这种学习环境中,个人被鼓励根据别人的意见形成自己的观点。
但是,在其他情况下,受访者们愿意就一个共同的组观点改变自己的观点的假设很可能不那么容易达成。
当正在讨论的问题有一个'对'或'错'的答案,或一个很强的道德层面时,那么很可能一些专家会在他们的立场上很坚定。
德尔菲法的第三个批评是,研究通常报道一个高水平的小组自然裁员,这可能因支持整个小组的活跃成员而导致研究结果的偏向性。
根据Wheeller(1990年)和Greenetal.(1990)的研究,这是几乎可以肯定的情况。
研究中的活跃小组成员人数从开始的40个下降到完成时的21个。
因此,即使假设该小组在研究开始时,在良好的背景,知识和其成员专业知识方面是均衡的(这并不明朗),而到最后就不均衡了。
一些团体(如学者),主要坚持自己的意见,因而在最后一轮问题中过于表现,而其他人(如本地居民)成员则打算退出且表现不足。
因此研究的结果就有了相当多的疑点。
当然有这里也有很多专家小组成员放弃德尔菲过程的原因:
题材无聊性,过程的破灭,或没有时间来完成调查问卷。
但是其中的部分原因,比其他人更严重。
事实上,有些原因可能是研究的设计和执行中的严重缺陷。
例如,如果所问的问卷类型,需要受访者投入大量的时间获得自己的反应,小组成员可能会拖延完成问卷,从而更有可能不进行进一步的研究,因为他们已经错过了返回的最后期限。
一些德尔菲研究人员已经选择使用货币支付或道德劝说去鼓励专家们保持组内活跃,这就形成了对德尔菲法第四批评。
由于小组自然减员,为保持专家活跃尔提供的奖励可能有助于防止偏差,但它也可能为研究的其它形式的偏见打开了大门。
例如,如果用货币支付方式鼓励专家去完成和收回问卷,就会存在使那些受利益驱使的专家将一直留在小组中直到进程结束得这样一个危险。
与那些没有收到货币驱动的成员相比,这个子小组很可能就德尔菲法正在考虑的问题表达对问题的不同意见,因此使得研究结果偏差了。
因此,在某种意义上,当采用货币或道德劝说的方式去防止组内自然裁员时,德尔菲研究人员就进入到一个'不赢'的状态,基于这个原因,许多德尔菲研究人员不喜欢这种鼓励措施。
这导致了德尔菲法的第五个批评,那就是'貌似有理的共识'达成的危险(Sackman,1975)。
这是该小组成员的判决,这个判断似乎是趋同的,但是这完全是因为小组成员选择符合一致的中立判断(他们通常由上一轮的反馈提供)以留给研究人员。
他们这样做可能是因为他们太忙,而无法合适的思考手头的问题,而事实上是因为他们缺乏真正尝试完成调查问卷的必要知识或专业知识。
虽然貌似有理的共识出现在德尔菲过程的潜在性不可能完全删除,但可以通过仔细研究设计使其最小化。
特别是,应就小组成员在主题领域的专业技术基础上进行仔细选择,并对他们进行认真的测试以确保小组所有成员有能力处理这些问题。
要设置合理的返回期限:
太短的时间,专家没有时间去处理,或者时间太长,专家们会失去调查轮之间的思路,或者是对讨论感到厌烦然后脱离这一进程。
德尔菲法的第六个批评是,大多数的研究说的很清楚,完全的共识不是所追寻的,在严格意义上的不追寻共识意味着要到最后一轮研究时必须做出一个主观的判断,Delphi的一些研究人员认为其中60%的小组成员达到的共识就可以被认为是构成了足够小组的共识(HillandFowles,1975),其他人的共识,跨阶层的范围应不高于或低于中值的10%,(Frechtling,1996),其他的时间和预算限制应由要进行的研究轮数所决定。
但何时考虑德尔菲过程完成的所有这些决定方法,显然是武断的:
没有好的理由去解释不同的拇指规则不会同样有效的原因。
最后,德尔菲法有时被认为是'快而脏”的研究技术。
这不仅是低估德尔菲法的潜在方法复杂性,而且误解了其使用的理由。
德尔福的目的是作为一种方法来探讨和分析问题,而这些问题是研究者无法使用传统的调查方法来进行的。
它不是-而且明显从来都不是-一个长期设立的研究方法的迅速或廉价的替代物。
在这里分析所审议的问题时传统的调查方法被更好的取代了,这些技术应始终优先于德尔菲法。
事实上,声称德尔菲是'快而脏'的方法的认识可能是错的:
该技术通常需要大量的时间来完成,而且就研究人员的时间来说可能是昂贵的。
更有甚者,如果削减的德尔菲方法,以加快这一进程(例如,设置问卷返回不切实际的短期限),这项技术可能产生太'脏'(即不可靠)而没有任何作用的结果。
案例分析:
'定义海洋生态旅游'
这个部分报道了一个德尔菲研究的设计和研究,这个项目在2000年作为欧盟的区域间题为'大西洋海洋生态旅游"的项目的一部分进行的。
EATA的总体目标,是要探索'海洋生态旅游'促进欧盟的大西洋边缘的边缘社区(seeBruceetal.,2001;Garrodetal.,2001).的经济,社会和生态良好的福祉的潜力。
它出现在毫无共识的项目的早期阶段,在关于'海洋生态旅游'的活动合理构成上甚至是研究小组成员也没有共识。
一些团队成员倾向于相当狭窄的定义,包括观察海洋动物,与自然间相互作用为焦点的潜水,岩石池等。
其他人试图扩大定义,以包括如沿海行人路步行、帆船,独木舟,以及沿海和海上垂钓等活动。
不幸的是,现有的生态旅游资料没有提供明确的仲裁(比方说见Fennell,2000;Hollandetal.,2000)。
德尔菲法被选定作为使团队坚定研究目的中海洋生态系统如何被最好的定义的一种适当的方法。
选择德尔菲法主要是因为其务实,对于分析如有深度的海洋生态系统这样的复杂概念的定义很少有合适的方法。
例如,一个邮政调查被排除了,因为在寻找有着在高度专业化领域专业知识的足够的受访者以形成一个具有代表性的样本是困难的。
同时考虑到可以确定的专家的广泛的地理分布,咨询专家的雇佣和重点小组的使用也在成本的基础上也被排除了。
德尔菲法的使用可以带来进一步的研究,这个研究使用常规焦点小组是不可能的。
特别是在处理这些复杂和有争议的主题时,专家们需要一个相当长的时间去思考和形成自己的反应,以及考虑其他人的意见。
来自这个项目的三个合作伙伴国家,即英国,加那利群岛和爱尔兰,的15个专家的小组为了德尔菲研究的目的聚在了一起。
记得证据表明,德尔菲小组的规模往往对研究结果影响不大(Rowe和Wright,1999),考虑到小组保持均衡,一个15个人的小组在区分成员的不同观点时被认为是足够大的,但在促进多轮研究的及时实施上又是足够小的。
通过利用当地的知识和人脉关系,合作伙伴项目研究的带头人确定了候选人。
300费用提供给那些同意完成所有调查的受访者。
紧随Richeyetal.(1985)的良好做法,潜在的成员被要求填写一份简单的申请表格。
这确立了每个人的专业和学术背景,个性和在相关生态旅游领域的职业兴趣和居住地点。
做这个的目的是为了确保小组内成员专业知识和知识的很好的平衡。
以下是使用的可接受性标准:
●发展海洋生态旅游的实践经验,或有兴趣这样做。
●在相关领域5年以上的专业经验。
●合作伙伴项目地点之一的良好知识或海洋生态旅游的某一特定候选人类型(例如鲸赏或潜水)。
小组成员需要掌握高标准的书面英语,它是项目的工作语言。
它决定了那些不符合这些基本标准的候选人不能被邀请参加进一步研究,而对他们的兴趣只能表示感谢。
但是,在该事件中没有必要从德尔菲小组成员中排除任何候选人,合作伙伴的项目研究员的领导人,能够吸纳足够的能力的人。
通过提供付款来协助这个就有可能的,但应该指出,最终只有一个小组的成员声称了他们的实际费用。
正如Wheeller(199
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 重新 审视 德尔菲法 旅游 研究 中的
