文本情感分析.docx
- 文档编号:30305178
- 上传时间:2023-08-13
- 格式:DOCX
- 页数:43
- 大小:48.58KB
文本情感分析.docx
《文本情感分析.docx》由会员分享,可在线阅读,更多相关《文本情感分析.docx(43页珍藏版)》请在冰豆网上搜索。
文本情感分析
ISSN1000-9825,CODENRUXUEWE-mail:
jos@
JournalofSoftware,Vol.21,No.8,August2010,pp.1834−1848
doi:
10.3724/SP.J.1001.2010.03832Tel/Fax:
+86-10-62562563
©byInstituteofSoftware,theChineseAcademyofSciences.Allrightsreserved.
文本情感分析
∗
赵妍妍+
秦兵,刘挺
(哈尔滨工业大学计算机科学与技术学院信息检索研究中心,黑龙江哈尔滨150001)
SentimentAnalysis
ZHAOYan-Yan
+
QINBing,LIUTing
(CenterforInformationRetrieval,SchoolofComputerScienceandTechnology,HarbinInstituteofTechnology,Harbin150001,China)
+Correspondingauthor:
E-mail:
yyzhao@
ZhaoYY,QinB,LiuT.Sentimentanalysis.JournalofSoftware,2010,21(8):
1834−1848.
1000-9825/3832.htm
Abstract:
Thispapersurveysthestateoftheartofsentimentanalysis.First,threeimportanttasksofsentiment
analysisaresummarizedandanalyzedindetail,includingsentimentextraction,sentimentclassification,sentiment
retrievalandsummarization.Then,theevaluationandcorpusforsentimentanalysisareintroduced.Finally,the
applicationsofsentimentanalysisareconcluded.Thispaperaimstotakeadeepinsightintothemainstream
methodsandrecentprogressinthisfield,makingdetailedcomparisonandanalysis.
Keywords:
sentimentanalysis;sentimentextraction;sentimentclassification;sentimentretrievaland
summarization;evaluation;corpus
摘要:
对文本情感分析的研究现状与进展进行了总结.首先将文本情感分析归纳为3项主要任务,即情感信
息抽取、情感信息分类以及情感信息的检索与归纳,并对它们进行了细致的介绍和分析;进而介绍了文本情感分
析的国内外评测和资源建设情况;最后介绍了文本情感分析的应用.重在对文本情感分析研究的主流方法和前
沿进展进行概括、比较和分析.
关键词:
文本情感分析;情感信息抽取;情感信息分类;情感信息的检索与归纳;评测;资源建设
中图法分类号:
TP391文献标识码:
A
随着Web2.0的蓬勃发展,互联网逐渐倡导“以用户为中心,用户参与”的开放式构架理念.互联网用户由单纯
的“读”网页,开始向“写”网页、“共同建设”互联网发展,并由被动地接收互联网信息向主动创造互联网信息迈进.
因此,互联网(如博客和论坛)上产生了大量的用户参与的、对于诸如人物、事件、产品等有价值的评论信息.
这些评论信息表达了人们的各种情感色彩和情感倾向性,如喜、怒、哀、乐和批评、赞扬等.基于此,潜在的用
户就可以通过浏览这些主观色彩的评论来了解大众舆论对于某一事件或产品的看法.由于越来越多的用户乐
于在互联网上分享自己的观点或体验,这类评论信息迅速膨胀,仅靠人工的方法难以应对网上海量信息的收集
和处理,因此迫切需要计算机帮助用户快速获取和整理这些相关评价信息.情感分析(sentimentanalysis)技术应
∗SupportedbytheNationalNaturalScienceFoundationofChinaunderGrantNos.60803093,60975055(国家自然科学基金);the
NationalHigh-TechResearchandDevelopmentPlanofChinaunderGrantNo.2008AA01Z144(国家高技术研究发展计划(863))
Received2009-08-14;Revised2009-12-25;Accepted2010-03-11
赵妍妍等:
文本情感分析1835
运而生(本文中提及的情感分析,都是指文本情感分析).
文本情感分析又称意见挖掘,简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的
过程.最初的情感分析源自前人对带有情感色彩的词语的分析[1]
如,“美好”是带有褒义色彩的词语,而“丑陋”是
带有贬义色彩的词语.随着互联网上大量的带有情感色彩的主观性文本的出现,研究者们逐渐从简单的情感词
语的分析研究过渡到更为复杂的情感句研究以及情感篇章的研究.基于此,按照处理文本的粒度不同,情感分析
可分为词语级、短语级、句子级、篇章级以及多篇章级等几个研究层次[2]
.按照处理文本的类别不同,可分为基
于新闻评论的情感分析和基于产品评论的情感分析.其中,前者处理的文本主要是新闻评论,如情感句“他坚定
地认为台湾是中国不可分割的一部分”,表明了观点持有者“他”对于事件“台湾归属问题”的立场;后者处理的主
要是网络在线的产品评论文本,如“Polo的外观很时尚”,表明了对评价对象“Polo的外观”的评价“时尚”是褒义
的.由于基于产品评论的情感分析可以帮助用户了解某一产品在大众心目中的口碑,因此受到很多消费者和商
业网站的青睐.而基于新闻评论的情感分析多用于舆情监控和信息预测中,是国内外评测中重要的评测任务.
情感分析涉及多项非常有挑战性的研究任务.本文综合已有的研究成果,将情感分析归纳为3项层层递进
的研究任务,即情感信息的抽取、情感信息的分类以及情感信息的检索与归纳,如图1所示.
Fig.1Researchframeworkofsentimentanalysis
图1情感分析的研究框架
情感信息抽取是情感分析的最底层的任务,它旨在抽取情感评论文本中有意义的信息单元.其目的在于将
无结构化的情感文本转化为计算机容易识别和处理的结构化文本,继而供情感分析上层的研究和应用服务.如
将情感句“我觉得Canon的相片质量不错”转化为如图1所示的结构化文本形式.情感信息分类则利用底层情感
信息抽取的结果将情感文本单元分为若干类别,供用户查看,如分为褒、贬两类或者其他更细致的情感类别(如
喜、怒、哀、乐等).按照不同的分类目的,可分为主客观分析和褒贬分析;按照不同的分类粒度,可分为词语级、
短语级、篇章级等多种情感分类任务.这些分类任务在情感分析初期吸引了大量的研究者.最高层的情感信息
的检索与归纳可以看作与用户直接交互的接口,着重强调检索和归纳两项应用.该层次的研究主要在前两项任
务即情感信息抽取和分类的结果的基础上进行进一步的加工处理.
情感分析是一个新兴的研究课题,具有很大的研究价值和应用价值[3−5]
.鉴于此,该研究课题受到国内外越
来越多的研究机构的重视.本文在接下来的部分首先分别详细阐述情感分析的3个主要研究任务,重点针对各
任务的主流方法和前沿进展进行对比分析;接着介绍国内外主流的评测会议以及现有的资源建设情况;然后介
绍情感分析的几个重要应用点;最后,展望情感分析技术的发展趋势.
1情感信息抽取
情感信息抽取旨在抽取情感文本中有价值的情感信息,它可以看作情感分析的基础任务.一直以来,学术界
对它兴趣不减.纵观目前的研究现状,有价值的情感信息单元主要有评价词语(如优秀、好用)、评价对象(如GPS、
Sentimentextraction
OpinionholderPolaritywordTargetAppraisalexpression
我不错相片质量不错_相片质量
Sentiment
classification
Sentimentretrievaland
summarization
Summarization
这个数码相机的镜头
非常不错.但就是照
相的时候快门太响.
Search:
Canon4D
1.Canon4D用起来不错
2.…
3.…
Bypurpose
Subjectivityanalysis
Polarityclassification
Bygrain
Wordlevel
Phraselevel
Sentencelevel
Documentlevel
…
1836JournalofSoftware软件学报Vol.21,No.8,August2010
屏幕分辨率)、观点持有者(如国家政府、台湾当局)等.在对大量的情感文本进行分析之后,不少研究者发现,某
些组合搭配对于情感分析的上层任务如情感信息分类以及情感信息的检索与归纳有更直接的帮助,如评价搭
配(评价对象和评价词语的搭配,如屏幕分辨率-高)、评价短语(程度副词及其修饰的评价词语的搭配,如不怎么-好)等.下面本文将一一介绍目前情感信息抽取的具体任务及其主要实现技术.
1.1评价词语的抽取和判别
评价词语又称极性词、情感词,特指带有情感倾向性的词语.显然,评价词语在情感文本中处于举足轻重的
地位,评价词语的识别和极性判断在情感分析领域创建伊始就引起了人们极大的兴致.基于前人大量的研究工
作,评价词语的抽取和判别往往是一个一体化的工作,主要分为基于语料库和基于词典两种方法[6]
.
基于语料库的评价词语抽取和判别主要是利用大语料库的统计特性,观察一些现象来挖掘语料库中的评
价词语并判断极性.早期的一些学者发现,由连词(如and或but)连接的两个形容词的极性往往存在一定的关联
性,如and连接的形容词(如lovelyandbeautiful)极性相同,然而but连接的形容词(如lovelybutunnatural)极性相
反.基于这种现象,Hatzivassiloglou和McKeown[1]从大语料库华尔街日报(WallStreetJournal)中发掘出大量的形
容词性的评价词语.Wiebe等人[7]沿袭了较为相似的工作,他们使用了一种相似度分布的词聚类方法在大语料
库上完成了形容词性的评价词语的获取.然而,以上的两种方法仅将评价词语的词性局限于形容词词性,却忽略
了其他词性的评价词语.为了避免评价词语词性的限制,Riloff等人[8]手工制定一些模板并选取种子评价词语,
使用迭代的方法获取了名词词性的评价词语.随后,Turney和Littman
[9]提出了点互信息(pointmutual
information)的方法判别某个词语是否是评价词语.这种方法适用于各种词性的评价词语的识别,但是较为依赖
种子褒/贬词语集合.鉴于此,基于语料库的方法最大的优点在于简单易行,缺点则在于可利用的评论语料库有
限,同时评价词语在大语料库中的分布等现象并不容易归纳.
基于词典的评价词语抽取及判别方法主要是使用词典中的词语之间的词义联系来挖掘评价词语.这里的
词典一般是指使用WordNet或HowNet等.很自然地,有学者想到利用词典将手工采集的种子评价词语进行扩
展来获取大量的评价词语[10−12]
.这种方法简单易行,但是较依赖于种子评价词语的个数和质量,并且容易由于一
些词语的多义性而引入噪声.为了避免词语的多义性,一部分学者使用词典中词语的注释信息来完成评价词语
的识别与极性判断[13−16]
.此外,一些学者[17]沿用了Turney等人的点互信息的方法[9]
通过计算WordNet中的所有
形容词与种子褒义词代表good和贬义词bad之间的关联度值来识别出评价词语.然而,并非所有语种的情感资
源都像英文一样丰富,对于某些词典资源非常稀缺的语种,有学者将词典资源丰富的语种的情感词典翻译到资
源较少的语种中[18]
如将英文的情感词典翻译成中文,供中文情感分析应用.但是实验显示,不少评价词语在经
过翻译之后极性发生了改变.这也印证了Wiebe在文献[19]中所指出的“词语的词义和其极性有一定的关系,但
是相同的词义并不一定有相同的极性”.鉴于此,基于词典的方法的优点在于获取的评价词语的规模非常可观,
但是由于很多词存在一词多义现象,构建的情感词典往往含有较多的歧义词,如词语“好”在大多数情况下表现
为“优秀”的意思,但在某些情况下扮演修饰成分(如“他跑得好快啊!
”).
此外,还有一部分学者采用基于图的方法来识别评价词语的极性[6,20]
.具体来说,该方法将要分类的词语作
为图上的点,利用词语之间的联系形成边来构建图,继而采用各种基于图的迭代算法(propagationalgorithm)来
完成词语的分类.如,有学者考察图中两个词语的注释信息而构建图[20]
继而使用Spin模型对图中的点迭代地进
行概率计算,得出每个词语的极性.还有一些学者尝试使用多种图模型[6]
如最小切分模型(mincuts)、随机最小切
分模型(randomizedmincuts)、标签迭代模型(labelpropagation)等完成评价词语的褒贬分类.实验证实了基于图
的方法的有效性.基于图的方法是一种新颖的方法,它可以灵活地将词语间的各种联系作为特征融入图中,继而
进行迭代计算.然而,寻找更为有效的词语间特征以及如何选取图算法是值得深入研究的问题.
1.2评价对象的抽取
评价对象是指某段评论中所讨论的主题,具体表现为评论文本中评价词语所修饰的对象,如新闻评论中的
某个事件/话题或者产品评论中某种产品的属性(如“屏幕”)等.现有的研究大部分集中于产品领域的评价对象
赵妍妍等:
文本情感分析1837
的抽取,他们大多将评价对象限定在名词或名词短语(候选评价对象)的范畴内,进而对它们进行进一步的识别.
一部分学者使用基于规则/模板的方法抽取评价对象.规则的制定通常要基于一系列的语言分析与预处理
过程,如词性标注、命名实体识别、句法分析等.相应地,制定的规则也包括词序列规则、词性规则以及句法规
则等形式.Yi
[21]使用3条限制等级逐渐递进的词性规则从候选评价对象中抽取出真正的评价对象.还有的学
者[22,23]使用关联规则挖掘的方法或是基于句法分析的结果[24]找出频繁出现的候选评价对象,继而使用两种剪
枝方法去除错误样例.然而,这些方法仅能找出频繁的评价对象.为了发掘出非频繁的评价对象,有学者尝试使
用含有评价词语和评价对象槽(slot)的词序列模板[22]
.此类方法最主要的优点在于针对性强,可以直接针对待解
决的问题或特定的语言现象制定规则/模板;而其缺点则在于规则/模板的可扩展性差,人工编写的工作量大,成
本较高.
有学者[25]从另一个角度诠释了评价对象的抽取.他们将评价对象看作产品属性的一种表现形式(如对数码
相机领域而言,“相机的大小”是数码相机的一个属性,而“相机滑盖”是数码相机的一个组成部分),继而考察候选
评价对象与领域指示词(如“整体-部分”关系指示词“scannerhas”)之间的关联度来获取真正的评价对象.实验结
果表明,这种方法取得了较好的实验效果,超过了基于规则/模板的方法,但难点在于领域指示词的获取.
近年来,随着话题模型(topicmodel)
[26,27]的逐渐兴起,很多学者将其应用到情感分析领域.由于评价对象是
蕴涵于情感文本中的某些话题,因此可以使用话题模型来评价对象的识别.有学者[28]采用多粒度的话题模型挖
掘产品领域情感文本中的评价对象,并将相似的评价对象进行聚类.这种方法理论上能够提高评价对象抽取的
召回率.但遗憾的是,还没有实验将这种方法与上述传统的基于名词短语的方法进行对比.
此外,还有一部分学者从事新闻评论文本中的话题评价对象的抽取[29,30]
.如,对于情感句“所有人都认为政
府应该加强改善医疗卫生条件”,抽取话题评价对象“政府应该加强改善医疗卫生条件”.
1.3观点持有者抽取
观点持有者的抽取在基于新闻评论的情感分析中显得尤为重要,它是观点/评论的隶属者,如新闻评论句
“我国政府坚定不移的认为台湾是中国领土不可分割的一部分”中的“我国政府”.很自然地,人们会想到评论中
的观点持有者一般是由命名实体(如人名或机构名)组成,因此可以借助于命名实体识别技术来获取观点持有
者[31]
.此外,还有学者曾尝试借助语义角色标注来完成观点持有者的抽取[29]
.但是这些方法较为依赖自然语言
处理的基础技术,有较低的语言覆盖现象和较差的领域适应性.
还有人将观点持有者的抽取定义为分类任务,这种方法的关键在于分类器和特征的选取.如Choi将其看作
一个序列标注问题[32]
并使用CRF(conditionalrandomfield)模型融合各种特征来完成观点持有者的抽取.相似
地,Kim
[11]将所有名词短语都视为候选观点持有者,使用ME(maximumentropy)模型来进行计算.
以上的方法将观点持有者的抽取当作一个独立的任务.通过观察许多研究者发现,观点持有者一般是与观
点同时出现的,所以可以将观点和观点持有者的识别作为一个任务同时解决.Bethard
[33]在抽取出情感句中的观
点单元(多是由一些短语组成)之后,分析句中观点和动词的句法关系,即可同步获取观点持有者.
由于产品评论中一般默认观点持有者是用户本身,因此鲜有研究者在产品评论领域研究这一任务.
1.4组合评价单元的抽取
评价词语在情感分析中的作用是不言而喻的.然而在某些情况下,单独的评价词语存在一定的歧义性,如评
价词语“高”在以下3个句子中的使用:
•Sen1:
凯越的油耗真高.
•Sen2:
捷达的性价比相当高.
•Sen3:
这辆车有1米多高.
Sen1和Sen2是情感句,但是评价词语“高”在修饰不同的评价对象时表现出不同的极性.如,“高”在Sen1
中表示贬义,而在Sen2中则表示褒义.此外,评价词语往往也会出现在非情感句中,如Sen3.因此,仅考虑单独的
评价词语在情感分析中的应用是远远不够的.研究者们发现,有些包含评价词语的“组合评价单元”(如组合“油
1838JournalofSoftware软件学报Vol.21,No.8,August2010
耗-高”、“相当-高”)对于处理情感分析的上层任务更有帮助.下面将具体来介绍各种形式的组合评价单元.
1.4.1主观表达式的抽取
主观表达式(subjectiveclues)是指表示情感文本单元主观性的词语或词组.第1.1节的评价词语是主观表达
式的一部分.此外,某些词语的组合(如villageidiot或getoutofhere)也能很明显地标识文本的主观性,虽然它们
中的任何一个词语单独可能都并非评价词语.如何获取这些有意义的词组是主观表达式抽取的重点.
Wiebe和Wilson是这项任务的引领者[34]
.近几年来,他们挖掘大量的主观表达式形成主观表达式库,并基于
此完成文本的主客观分类和褒贬分类.具体来说,他们首先从语料中抽取出所有的n元词语/词组(1≤n≤4)作为
候选主观表达式;继而通过对比训练语料中的标准的主观表达式,为每个候选主观表达式计算出可能成为主观
表达式的概率;最后通过对概率值的分析,获得这些主观表达式.Wiebe和Wilson[35]在随后的工作中又引入了
“主观表达式密度”协助判断主观表达式.2004年,Wiebe和Wilson将他们前期的工作进行了总结[36]
从不同的语
料中扩充了大量的主观表达式,主要包括手工收集的一部分主观表达式以及自动从标注/未标注语料中学习而
来的一部分主观表达式.此外,他们首次利用句法分析的结果发掘了句法主观表达式[37]
.随后,Wiebe和Wilson采
用多种特征及机器学习方法对他们获取的大量的主观表达式的情感程度(strong或weak)进行了识别.
1.4.2评价短语的抽取
评价短语表现为一组连续出现的词组,但不同于主观表达式,该词组往往是由程度副词和评价词语组合而
成,如“verygood”等.因此,这种组合评价单元不仅顾及了主观表达式的情感极性,还考察了其修饰成分.这些修
饰成分或加强或减弱或置反了主观表达式的情感极性,使得评价短语成为一种情感色彩丰富的组合评价单元.
有学者采用基于一些情感词典的方法识别这种评价短语.如Whitelaw[38]结合WordNet使用半自动的方法
构建了形容词性的评价词词典以及修饰词词典.对于一个含有评价词语的情感文本,该方法首先查看评价词前
面的词语,如果属于修饰词词典,获取这个词组作为评价短语.根据两个词典中的属性值计算出情感极性.这种
方法由于基于较为细致的词典,因此准确率较高,然而,由于词典中词语有限而限制了召回率.还有学者使用依
存句法结构(如ADV,ATT以及DE结构),在句法树上获取评价短语[23]
.这种方法巧妙地利用了评价短语中所含
词语之间的句法修饰关系,但是较为依赖句法分析的结果.
评价短语考察的是连续出现的词组,然而有些表示修饰关系的词语并非总是和评价词语连续出现.如在情
感句“[Idid[not]
−
haveany[doubt]
−
aboutit.]
+
”中,修饰词not和评价词doubt并非连续出现,但它们共同决定了
情感句的最终极性.Moilanen等人[39]和Choi等人[40]将其定义为“组合语义单元(compositionalsemantics)”,具体
表现为一组非连续的词语,通过相互作用来表达出某种情感极性.组合语义单元可以看作一种更为复杂的评价
短语,大多使用人工总结或半自动生成的模板来识别.
1.4.3评价搭配的抽取
评价搭配是指评价词语及其所修饰的评价对象二者的搭配,表现为二元对〈评价对象,评价词语〉,如情感句
“凯越的油耗很高”中的“油耗-高”.前面所介绍的“主观表达式”和“评价短语”主要是考察含有情感极性的一些
词和短语,然而情感句中出现的某些“主观表达式”和“评价短语”并非真正地表现出情感极性.如情感句s1“车跑
得好快啊”中的词语“好”并不存在情感极性,需要过滤掉.此外,还有一些“主观表
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 文本 情感 分析