哈工大人工智能课件chpt9PPT推荐.ppt

哈工大人工智能课件chpt9PPT推荐.ppt

《哈工大人工智能课件chpt9PPT推荐.ppt》由会员分享，可在线阅读，更多相关《哈工大人工智能课件chpt9PPT推荐.ppt（156页珍藏版）》请在冰豆网上搜索。

语言是思维的载体，是人际交流的工具。

语言的两种属性文字和声音人类历史上以语言文字形式记载和流传的知识占知识总量的80以上。

11基本概念什么是处理处理是指对信息的接收、存储、转化、传送和发布等等操作分级：

字级处理、概念处理和智能处理智能处理的主要研究领域：

自然语言理解、计算机视觉、机器人学及知识工程智能的未来发展，将会对知识库、专家系统、推理系统和神经网络等综合应用，达到能够模拟人类比较复杂的思维和行为12为什么要研究自然语言处理？

信息时代到了！

语言是信息的载体。

提高计算机的智能：

能理解和处理大量语言信息。

13机器能够理解人的语言吗？

很难，但是没有证据表明不行。

什么是理解？

结构主义：

机器的理解机制与人相同。

问题在于谁也说不清自己理解语言的步骤。

功能主义：

机器的表现与人相同。

图灵测试：

如果通过自然语言问答，一个人无法识别和他对话的是人还是机器，那么就应该承认机器具有智能。

14一个NLP的例子：

英汉翻译输入英文句子：

MissSmithputtwobooksonthistable.形态分析（MorphologicalAnalysis）词形还原（Lemmatization）：

将词还原为词典中的原型。

词汇符号化（Tokenization）：

相当于中文分词。

分析结果：

MissSmithputtwobook+sonthistable.15句法分析（SyntacticAnalysis）：

分析句子的结构。

16词汇转换Miss小姐Smith史密斯put（+ed）放two两book+s书on在上面this这diningtable.餐桌短语转换小姐史密斯放两书在上面这餐桌史密斯小姐放两书在这餐桌上面17生成史密斯小姐放两书在这桌子上面。

史密斯小姐（把）两（本）书放在这（张）桌子上面。

最终翻译结果英文：

MissSmithputtwobooksonthetable.中文：

史密斯小姐把两本书放在这张桌子上面。

18机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理文本采集文本格式转换：

PDF、Office、HTML纯文本文本编码识别、转换：

GB、Big5、Unicode。

19机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理句子边界识别例如：

Mr.Wanglikesswimming,dancingandreading.20机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理研究构词方法，词的有意义的组合。

构词的基本单位：

词素（词根、前缀、后缀、词尾）例如：

老虎老虎；

图书馆图书馆例如：

work+erworkerdo+ingdoing21机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理将句子切分为词序列例如：

钓鱼岛/是/中国/的/领土/。

22机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理给句子的词标注正确的词性例如：

钓鱼岛n/是v/中国n/的de/领土n/。

23机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理分析句子的组成结构，句子结构成分之间的相互关系。

判定一个句子的合法性24机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理研究给句子的词标注正确的词义。

例如：

这个人真牛。

/牛：

动物了不起。

25机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理研究如何从一个语句中词的意义，以及这些词在该语句的句法结构中的作用来推导出该语句的意义。

语言和世界的映射关系施事、受事、工具等26机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理为什么要说这句话研究不同语境中的语句的应用，及语境对语句理解的作用语言交际目的：

主题、述体、焦点27机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理分析篇章的结构、主题、观点、摘要、有用信息主题分析观点分析自动文摘信息抽取信息过滤28机器如何理解自然语言？

机器理解自然语言的步骤文本预处理句子切分形态分析分词词性标注句法分析词义消岐语义分析语用分析篇章分析海量文档处理信息检索搜索引擎、数字图书馆文本分类、聚类分类检索、聚类检索话题探测与追踪29NLP的研究内容（基础研究）30NLPNLP的研究内容（应用研究）的研究内容（应用研究）31NLP的不同层次应用系统数字图书馆、电子商务、搜索引擎电子政务、远程教育、语言学习基础研究分词、词性标注、短语切分、句法分析、语义分析、篇章理解等应用技术研究自动问答、机器翻译、信息检索、文本挖掘、自动校对、信息抽取资源建设语料库资源建设语言学知识库建设语言学家NLP研究者软件企业32NLP的学科特点（交叉性学科）语言学：

语言学基础知识。

语言学理论：

形式语言文法语言学资源：

词典、语料库、知识库数学语料库语言学的数学基础：

概率论、统计学、信息论。

模型：

自动机、Markov模型、HMM等。

计算机科学机器学习：

机器的学习算法人工智能（问题求解,知识表示,状态空间图搜索算法）心理语言学：

研究人类理解自然语言的机制。

339.2句法分析与语法9.2.1语言的基本原理9.2.2句法分析过程第9章自然语言理解简介9.2.19.2.1语言的基本原理语言的基本原理形式语言（人造语言）被定义为一个字符串集合/字符串由终结符（词汇）串联而成/都有严格的定义自然语言却没有严格定义却被一个说话者群体所使用考虑用处理形式语言的方式处理自然语言自然语言可以用不同的但是相互联系的几组符号来表示包括语法、语义、语用等/尽可能采用形式化表示第9章自然语言理解简介35自然语言的符号系统自然语言的符号系统

（1）

（1）符号系统的核心是语义表示语义的基础是词汇自然语言中的终结符号，由它们依据一定规则构成有效字符串/不能“让人听不明白”语义必须保证其表示能够在智能体之间有效地进行通讯与有效的字符串结合/予以需要借助于语法进行表示语法是详细说明一种语言的有限规则集合自然语言没有正式语法/语言学家试图通过科学调查发现语言的特性，并编纂语法/还没有一个完全成功第9章自然语言理解简介36自然语言的符号系统自然语言的符号系统

（2）

（2）语义离不开具体的通讯环境/理解一个字符串的语用很重要语用是在一个特定情境（通讯环境）下表达出的字符串的实际含义由于语义相对于语法是深层结构，而语法作为表层结构其规则经过了很长时间的研究形成了相对稳定的体系更多的结构表示来自语法合乎语法的字符串子串短语结构第9章自然语言理解简介37自然语言的符号系统自然语言的符号系统（3）（3）短语结构是语言结构中的基础部分构成自然语言语句的字符串是由来自不同范畴的称为短语的字串构成/短语通常对应自然语言语义元素NP名词短语，指代世界中的事物/VP动词短语，描述事物的行为或状态/其他短语介词短语、形容词短语、副词短语、数量短语、其他短语符号和句子符号S统称为非终结符语法系统使用产生式规则形式来定义这些符号，规则也叫重写规则第9章自然语言理解简介38语言文法语言文法：

四元组：

G=（VN,VT,R,S）VN：

非终结符的集合，表示句子结构分析的中间成分VT：

终结符的集合，相当于词汇表。

R：

规则集：

基本形式：

。

其中：

，。

S：

初始符号，代表语言的句子。

句子：

Themanatetheapple.39形式化语法的类型形式化语法的类型Chomsky在1957提出了形式化语法的4种类型，其描述语言的能力可以按序递增由相应文法产生的语言分别叫做该文法语言正则文法约束最强，表示能力越弱上下文无关文法至少有些自然语言不是上下文无关的上下文有关文法其约束可以写成在相同的前后符号中，非终结符符号重写递归可枚举文法无约束的重写规则第9章自然语言理解简介40句法分析层次句法分析层次句法分析是为一个词汇字符串建立句法分析树的过程句法分析有一个专门的术语parsing（parse=V/N,parser=句法分析器）句法分析有不同的分析层次浅层分析（shallowparsing）和完全分析（fullparsing）浅层分析把句子划分为几个具有不同功能的部分完全分析给出句子的层次结构第9章自然语言理解简介419.2.29.2.2句法分析过程句法分析过程句法分析的前提是词典和语法词典词汇及其相关信息的集合/关于词汇的相关信息中最重要之一是词性（Part-Of-Speech，简称POS）词性把词汇划分为若干类开放类和封闭类语法关于