知识图谱数据构建.docx
- 文档编号:27844328
- 上传时间:2023-07-05
- 格式:DOCX
- 页数:8
- 大小:108.09KB
知识图谱数据构建.docx
《知识图谱数据构建.docx》由会员分享,可在线阅读,更多相关《知识图谱数据构建.docx(8页珍藏版)》请在冰豆网上搜索。
知识图谱数据构建
知识图谱
通用知识图谱,是面向全领域的,主要应用于面向互联网的搜索、推荐、问答等业务场景
由于它强调的是广度,因而更多的是强调实体,主要应用行业:
保险行业、金融行业、证券行业、电商行业、制造行业等
知识图谱的应用:
知识图谱可视化、智能搜索、搜索结果联想、个性化智能推荐、智能问答、深度问答、智能推荐、决策分析
核心技术:
①自定义模型训练②数据深度关联挖掘③可视化业务应用界面④知识建模、抽取、融合全流程
一、什么的知识图谱:
知识图谱(KnowledgeGraph)旨在描述世界万物的知识、概念、实体、属性、事件及其之间的关系。
可以将知识图谱简单理解为把知识连接在一起组成的网络,这些网络就是我们所谓的图谱。
它以结点来代表实体、概念、事件,每一个结点都是一知识点,而边代表实体/概念之间的各种语义关系。
定义:
知识图谱本质上是语义网络(SemanticNetwork)的知识库。
在知识图谱里,我们通常用“实体(Entity)”来表达图里的节点、用“关系(Relation)”来表达图里的“边”。
二、知识图谱构建:
1、抽取式构建:
非结构化数据转变为结构化数据的过程
①实体命名识别(NameEntityRecognition)
②关系抽取(RelationExtraction)
③实体统一(EntityResolution)
④指代消解(CoreferenceResolution)
2、映射式构建:
我们在过去的时间里存有了大量的已经结构化的知识,这些知识点可能是人工整理的、用各种正则表达式抽取的、也可能是在其他系统中已经通过NLP技术抽取出来的结构化的数据。
这些数据可能在Oracle、MySQL等数据库中,也可能在Excel、CSV的文件中,或者有可能在Hadoop、Hbase这样的大数据平台中。
我们可以通过规则、映射等方法,用这些数据构建图谱。
三、问答系统搭建,核心:
对业务的理解以及对知识图谱本身的设计
1、定义具体的业务问题
2、数据收集/预处理
3、知识图谱的设计
4、把数据存入知识图谱
5、上层应用的开发
四、图谱八大问答能力:
五、应用:
知识图谱应用场景介绍
一,金融领域应用
知识图谱在智慧金融中的应用可分为金融监管、金融机构应用和金融服务。
金融监管是国家金融监管机构金融市场及相关机构与个人的监督管理,金融机构应用是指金融参与者利用知识图谱技术实现的风险预测、智能营销等应用,金融服务是指金融机构面向企业或公众提供的智能化金融服务。
1.知识图谱在金融监管领域的应用包括资本市场监管、新型金融监管、债券市场风险、个人信用反欺诈、反洗钱。
2.知识图谱在金融应用领域包括风险预测、智能投顾与智能投研、智能营销、智能搜索和可视化。
3.知识图谱在金融服务领域的应用包括银行业信贷风险评估、银行客户全生命周期价值评估、失联客户管理。
这里以“个人信用反欺诈”为例进行说明。
通过构建已知的主要欺诈要素(包括手机号码、账号和密码、地理位置等)的关系图谱,全方位了解借款人风险数据的统计分析,基于知识图谱挖掘疑似欺诈用户,并对疑似欺诈用户进行规则判定、图谱验证、欺诈判定等过程,对潜在的欺诈行为做出及时而迅速的反应。
比如说,在用户申请贷款时,根据用户提交的材料及事先制定的欺诈判断规则(如,同一个WiFi下多个借款用户;多个借款用户用同一设备),提示贷款方该用户的欺诈系数是多少。
也可以基于用户行为相似,特征相似,以历史欺诈用户对应的图谱数据,自动生成对应的欺诈判断规则。
二,保险行业的应用
A.风险控制
保险公司在建立知识图谱时,如果加入自身消费者维度的数据,就能够很容易地对消费者的不良行为进行跟踪,及时对异常节点予以关注。
例如,原本在图谱中毫无关系的消费者节点,在很短的时间内,建立起了相对复杂的联系,从而导致其在图谱中的结构发生了显著变化,那么这可能意味着潜在风险的提高,值得保险公司提高警惕并采取必要的措施,从而将风险扼杀在摇篮之中。
B、优化保险行业监管
在监管层面能够建立起囊括所有保险公司的知识图谱,那么从监管层的角度来看,保险公司的种种行为均会映射到图谱的节点或者结构之中,再结合图搜索技术,就能比较准确地把握保险公司的整体经营状况,实现监管上的未雨绸缪。
C、优化消费者服务体验
虽然保险本身是一种弱需求,但长期以来真正阻止消费者购买保险产品的十分重要的原因之一是:
保险产品条款本身的复杂性。
保险条款中充斥着大量的难以理解的专有名词,这是被消费者所排斥的。
并且保险代理人在进行产品的销售时,也未必熟知产品条款中的所有细则。
这种情况给消费者提供了极差的服务体验,在一定程度上也造成了保险行业的低声誉状况。
这种局面的解决方法之一是,把保险条款中的内容提取出来,并转化为知识图谱的表示方式。
保险公司或者保险科技公司能够基于这样的图谱建立起保险产品的比价系统和智能问答系统。
一方面,基于知识图谱的产品比价系统拥有庞大的数据支撑,使用者可以结合自身的实际情况,选取任何感兴趣的维度进行产品之间的比对,这些信息是消费者通过传统销售渠道无法获得的。
另一方面,智能问答系统能够接受用户关于产品的提问并进行智能分析,给出用户满意的回答。
如用户提问:
“XX产品的保险期间是多长?
”系统能够准确地给出产品的保险期间长度,其他用户不明白的问题均可通过这个系统得到解决。
简而言之,产品比价系统能够解决交易行为中消费者的信息不对称问题,而智能问答系统能够有效降低消费者获取产品信息的成本,二者的结合和运用将极大提升用户的体验感。
D、辅助保险产品设计
大量的结构化数据能够比较清晰完整地反映市面上保险产品的概况,诸如各个险种的分布情况、某一险种的发展趋势以及某些产品的设计逻辑等,都能够基于图谱数据运用定量化的方法得出相关的结论。
那么当产品的设计者手中有这样一份数据时,就能够设计出更加贴近市场、更加顺应潮流的保险产品。
三,智慧医疗
围绕医疗核心知识库,智慧医疗应用包括医疗过程智能辅助、患者智慧服务、医学科研、医学教学。
医疗过程智能辅助实现基于医疗知识库的临床决策辅助、合理用药、临床数据洞察和病历质检等;患者智慧服务能够根据患者历史就医及医疗知识,为患者提供健康知识推送、健康评估、智能分诊等智能应用服务;医学科研基于医学基础知识库,辅助医疗科研工作者实现疾病风险预测、药物研发及医学证据挖掘与化综合分析;智能医学教学针对医学生、低年资医生存在的经验不足、缺乏实战经验等问题提供虚拟问诊、病案学习、场景化实训等智能服务。
四,智能制造
1、石油化工领域的应用
石油化工业具有易燃易爆、流程工艺复杂、控制要求精细、信息高度集成等鲜明特点,在加工过程中从原料到中间馏分与产品的物性分析数据纷繁多样。
由于炼化的复杂性,现实中仍存在大量无法通过机理模型或模拟软件所不能解释的现象是。
针对上述问题,可借助知识图谱在较短的时间内从众多影响因子的因果变化关系中找出满足优化目标的操作参数,从而为解决许多生产问题提供帮助。
炼化生产过程中众多影响因子间的因果变化关系是一个复杂的关系网络,可以用知识图谱来分析。
2、钢铁行业生产知识整合
由于炼钢连铸的生产工艺较复杂,工序繁杂,如何在合理时间内掌握各个生产环节的关系并进行生产过程的智能调整或者智能调度是极其困难的事情。
借助知识图谱可进行关联性分析,发现一些有价值的新现象和新规律,而传统数据分析方法限于某个局部,造成了数据之间的断裂,数据中的规律无法充分挖掘。
此外,知识图谱解决方案可以不改变企业原有数据体系,并以统一模型和实体为上层应用提供数据共享服务。
知识图谱在钢铁工业智能制造中的主要应用是实现机器的感知、传递和自我诊断,通过分析工业生产中收集的数据,优化设备的产出和减少资源的浪费。
3、设备制造商全数据链整合
生产企业在不同的应用方向往往存在多个独立系统,如库存管理系统、生产执行系统、物流追溯系统、订单管理系统、维保管理系统、人力资源管理系统、市场监控系统、运营管理系统等。
在企业内,不同的应用领域,往往会有相应的专家知识库,例如:
市场预测方法、故障维修方法、生产排期方法、销售违规判定方法等,这些孤立的专家知识库仅利用了局部知识,无法形成完整的知识脉络。
通过构建全面的企业知识图谱,能够实现企业内各业务数据及专家知识的全面整合,有助于消除数据孤岛并帮助生产企业进行决策管理优化。
五,教育领域应用
知识图谱技术用到智慧课堂、教学资源智能推荐、高考智能估分、学习成效分析等多元场景,同时为教师、学生、家长、校园管理人员等多方提供服务,并借助智能终端的覆盖和更新不断提升用户的使用体验。
六,智慧政务
知识图谱有助于实现事前事中事后全流程综合市场监管,提高监管效率和效能。
在政府市场监管由单一行业监管向新技术引领下综合市场监管转变的大趋势下,基于国家到地方市场监管部门的市场监管事项建立监管目录,通过政府数据共享交换平台完成数据采集汇聚,以企业为对象构建综合市场监管知识图谱,实现食药品安全监管、生态环境监管、企业信用监管等监管事项的集成和优化。
七,司法领域应用
知识图谱的构建是实现智慧司法不可逾越的建设基础,知识图谱能够表达法律知识体系间的逻辑关联,并显示被关联的体系内的知识。
司法知识图谱可实现智慧司法的技术底层,找到对应的实体属性概念,触发相关的推送知识,还可以通过配对的规则,用概率来实化现排名推荐,对类案进行分析,还可以广泛运用于要素式的审判,法律行为分析的预测,结果预判的分析等等,能很好地达到数据关联、知识拓展和应用支持。
八,交通领域应用
知识图谱在交通领域应用包括:
城市安全及交通管理服务,如城市事件感知与智能处理、人车识别、交通信号控制等;出行服务,如路径规划、停车诱导等;交通拥堵缓解,如交通诱导、不停车收费ETC等;交通规划决策支持,综合交通信息平台、交通数据采集等。
九,电网领域应用
知识图谱在智能电网领域的应用主要面向设备运维、客户服务、知识管理中心等方面,涉及电力设备缺陷记录检索、电网公司客户服务、智能变电站二次安全措施自动生成、全业务统一数据中心、设备故障诊断与管理等。
十,公安领域应用
基于公安知识图谱的应用分类,可分为4大方向:
全息档案研判、战法应用、情报检索与分析、事件预警等。
其中,全息档案研判包括认为画像、案件画像等;战法应用包括高危人员分析研判、嫌疑人分析、串并案件分析、伴随分析及时空轨迹研判等;情报检索与分析包括深度语义检索、警务知识问答、网络有害信息识别等;事件预警包括群体性事件预警、社会稳控事件预警等。
可有效指导城市公共安全防控、警力资源调度、重大安保布防等应用,将极大地提供公安警力资源的利用率,降低城市案发率。
十一,农业领域
目前,我国的农业仍处于分散式、半机械化的阶段,存在多种资源利用率低的现象。
而且大量的农业数据资料是很分散的、不集中的,很难形成一个相互联系的整体,因此农民及研究学者很难从中获取到直观有价值的信息。
知识图谱可将这些离散的信息相互关联,把复杂的农业知识直观地展示给农民、农业技术人员和相关决策者。
十二,社交领域
知识图谱在社交网络常用于使社交网站、互联网应用等可以成为个性化用户社交环境并发挥价值(涉及搜索、推荐、娱乐、社交、商务等)的场景,并以数据信息、资料、图谱等形式开展商业应用,如数字社区个性化、社会化信息互荐、娱乐、消费等。
十三,零售行业
电商认知图谱在原有的电商知识体系的基础上融入了大量概念和知识,为商品搜索引擎的智能化升级带来了新的动力。
以“国产冰箱”关键词搜索为例,传统搜索引擎中可能因为没有“国产”这个概念而无法得到全面的结果,而在知识图谱体系中“国产”可作为一个品牌类概念的一个属性,每一个冰箱的品牌都将能查询到这一属性,从而解决该问题。
认知图谱在电商推荐也得到了广泛应用。
主题推荐区别于商品推荐,将认知图谱中的电商概念包装成一个主题卡片的形式,穿插在商品信息流推荐页面中呈现给用户。
如果推荐准确,将大大提升用户体验,仿佛是一个导购员,猜中了客户的需求,并提供一系列不同商品以供选择,会让用户觉得很舒心。
另一个重要的应用是推荐理由,认知图谱的电商概念是用户需求的表达,又是两三个词组成的短语,本身就是一种简洁有力的推荐理由,在商品推荐中加入电商概念作为推荐理由,可以帮助提升用户体验,让用户更好地接受推荐的商品。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 知识 图谱 数据 构建