文本挖掘在电子商务场景中的应用PPT资料.pptx

文本挖掘在电子商务场景中的应用PPT资料.pptx

《文本挖掘在电子商务场景中的应用PPT资料.pptx》由会员分享，可在线阅读，更多相关《文本挖掘在电子商务场景中的应用PPT资料.pptx（38页珍藏版）》请在冰豆网上搜索。

文本挖掘在电子商务场景中应用、机遇和挑战,千诀/孙健,电子商务场景中的用户痛点海量文本挖掘在电子商务场景中的应用针对用户点评信息的挖掘和应用购物知识搜索产品中的文本挖掘构建电子商务知识词库机遇和挑战,提纲,购物链,用户痛点1:

@#@点评这么多？

@#@,用户痛点2：

@#@有疑问怎么办?

@#@,电子商务场景中的用户痛点海量文本挖掘在电子商务场景中的应用针对用户点评信息的挖掘和应用购物知识搜索产品中的文本挖掘构建电子商务知识词库机遇和挑战,提纲,针对用户点评信息的挖掘和应用

（1）,针对用户点评信息的挖掘和应用

（2）,淘宝每天的点评量约700万；@#@一淘每天的点评量约36万；@#@,针对用户点评信息的挖掘和应用（3）,针对用户点评信息的挖掘和应用（4）,针对用户点评信息的挖掘和应用（5）,“外观不错，功能也挺多，就是玩游戏有点卡，触屏有时反应没那么快，不过这确实不是卖家能解决的问题总体来说不错了”,电子商务场景中的用户痛点海量文本挖掘在电子商务场景中的应用针对用户点评信息的挖掘和应用购物知识搜索产品中的文本挖掘构建电子商务知识词库机遇和挑战,提纲,购物知识搜索中的文本挖掘,购物知识搜索中的文本挖掘,购物知识搜索中的文本挖掘,羽绒服怎么洗涤羽绒服怎么挑选怎么防止羽绒服掉毛羽绒服十大品牌羽绒服能水洗吗怎样去除羽绒服上的油污,购物知识搜索中的文本挖掘,购物知识搜索中的挖掘,购物知识搜索中的挖掘,购物知识搜索中query相关知识挖掘,这个问题抽象为由一个query给出几个相关知识这几个相关知识的语义互相独立,购物知识搜索中query相关知识挖掘,挖掘方法把知识聚成几类，每类里面挑选最优的知识条目展现知识聚类传统的向量空间模型有两个问题：

@#@一是不能解决同义词或多义词问题，二是向量维度高，聚类效果不好；@#@采用主题模型（topicmodel），可以较好解决这两个问题,购物知识搜索中query相关知识挖掘,购物知识搜索中query相关知识挖掘,query“羽绒服”及所有与其相关的知识点（这里只显示title，共19200条知识点）,羽绒服,购物知识搜索中query相关知识挖掘,知识点的主题概率向量P（topic|doc）比如“羽绒服坏了一个小眼,漏毛怎么办?

@#@”这个知识doc的topic向量如下（80个topic）,购物知识搜索中query相关知识挖掘,Kmeans聚类后的簇示例从中可以看到，簇以及簇内的title的质量都参差不齐，所以需要对簇以及簇内的title都进行排序，然后挑选。

@#@,购物知识搜索中query相关知识挖掘,最后得到的相关知识结果,羽绒服,购物知识搜索中的挖掘,淘宝详情页是很大的知识宝库,淘宝详情页是很大的知识宝库,http:

@#@/,阿里内部各产品线具有大量的优质数据详情页淘宝帮派生意经,问答数据的全网获取,宝贝详情页数据,生意经、CRM等,资讯、BBS等内网数据,外部Q&@#@A专业网站,外部购物相关BBS,内网,外网,数据预处理,单页面信息抽取,多页面信息处理,问答知识库,人工干预,B2C网站购物问答,基于Wrapper的问答知识抽取,抓取数据,URLpattern过滤,全文条件过滤,建立抽取树,结构化知识,定位关键区域,获取字段值,过滤去噪,单记录生成,类目映射,合并去重,淘宝详情页问答知识抽取流程,原始数据,解压缩,抽取有格式字段（类目、宝贝名）,获取无格式详情,建立抽取树（结构化详情文本）,抽取详情页中图片链接,去噪（过滤肯定不是KV的分支）,找Key（文本+结构+属性+风格）,后续Value（完整性并反馈找Key）,黑白名单等后处理,Dump图片,预处理（过滤文字占比过低）,OCR,合并去重,购物知识识别,结构化知识,文本,图像,挖掘到的数据量,电子商务知识词库建设,针对电子商务领域，赋予Term语义信息，比如产品词、品牌、型号、颜色等建立Term之间的关系，比如手机-诺基亚品牌含有哪些型号,电子商务知识库建设现状,电子商务场景中的用户痛点海量文本挖掘在电子商务场景中的应用针对用户点评信息的挖掘和应用购物知识搜索产品中的文本挖掘构建电子商务知识词库机遇和挑战,提纲,机遇,互联网信息正日益丰富E.gUGC计算能力越来越强，集群协同计算更深入实时性更强建立在用户数据积累上的对用户需求的理解,挑战,高质量的语义知识库从海量信息处理到海量信息的理解从人找信息到信息找人,谢谢！

@#@,