机器人视觉伺服定位控制与目标抓取PPT资料.ppt
- 文档编号:15407668
- 上传时间:2022-10-30
- 格式:PPT
- 页数:62
- 大小:25.14MB
机器人视觉伺服定位控制与目标抓取PPT资料.ppt
《机器人视觉伺服定位控制与目标抓取PPT资料.ppt》由会员分享,可在线阅读,更多相关《机器人视觉伺服定位控制与目标抓取PPT资料.ppt(62页珍藏版)》请在冰豆网上搜索。
灵活自主一般来说,抓取需要解决的两个基本问题:
抓哪里,抓哪里,Where?
怎?
怎么去抓,么去抓,How?
一一机器人抓取机器人抓取VS人的抓取人的抓取r解析抓取法解析抓取法解析法使用动力学评价准则(如:
force-closure)来估算抓取的稳定性,然后寻求合适抓取方案,使得这个评价准则达到最优。
该方法属于传统的抓取方法,在2000年前占主导地位。
该方法的前提要求:
1)精确的机械手动力学模型、目标物理模型;
2)机械手相对与目标物的位势信息。
二二机器人抓取研究现状机器人抓取研究现状首先通过观察学习人的抓取,根据任务约束、然后学习系统产生一种最佳的抓取模式,该方法的核心思想是基于模仿与学习理论该方法的核心思想是基于模仿与学习理论。
r经验学习抓取法经验学习抓取法该方法的前提要求:
1)完整的目标几何模型(2/3D)信息;
2)机器人视觉系统严格标定,已知机械臂动力学模型。
二二机器人抓取研究现状机器人抓取研究现状实例13D几何匹配抓取实例23D位势估计抓取r抓取类型一:
抓取类型一:
3D目标抓取目标抓取1、一种基于局部随机采样一致性鲁棒几何描述的3D匹配与位势估计抓取方法,该方法在噪声、遮挡环境测试中取得良好抓取效果。
2、综合双目和单目视觉信息、以及物体表面与几何模型实现深度提取、目标区域分割,以及位势估计,该抓取系统在遮挡、光照变化的室内环境中实现了机器人抓取操作缺点:
缺点:
依赖于物体的3D信息,3D计算复杂。
二二机器人抓取研究现状机器人抓取研究现状机器人单抓取点学习r抓取类型二抓取类型二:
2D位置学习抓取位置学习抓取直接从2D图像平面学习获取抓取位置,该方法首先采用人工标记抓取点的合成图像,提取分类图像特征向量,应用机器学习方法来训练抓点。
该方法该方法实施步骤:
实施步骤:
给定视觉场景学习模型得出抓取点计算抓取参数机器人动力学运动规划。
机器人多抓取点学习二二机器人抓取研究现状机器人抓取研究现状机器人模仿抓取人机交互抓取r抓取类型三抓取类型三:
高级人工智能学习抓取高级人工智能学习抓取模仿抓取:
模仿抓取:
通过观察人抓取目标的姿态,识别出人的抓取方式,进而映射到机器人抓取系统中。
交互抓取:
把人的操作嵌入到机器人的控制循环中,对机器人进行交互训练,使得机器人自动产生抓取动作,最终把人的抓取技能传授给机器人。
二二机器人抓取研究现状机器人抓取研究现状q综上抓取方法可知:
综上抓取方法可知:
1)解析建模抓取法需要对目标进行2D/3D建模,在复杂环境下建模精度难以保证。
2)经验学习抓取法通过学习或模仿人的抓取,在一定程度上克服了解析抓取法建模的固有缺陷。
但是,现有学习算法在稀疏样本学习中,算法的学习能力有限,机器人缺乏对新物体抓取的能力。
3)基于解析法和经验法的机器人抓取过程中,手臂的协调与定位都是需要预先标定,而后求取机器人的逆动力学进行控制的。
标定除了带来复杂的计算外,同时也限制了机器人应用的拓广。
二二机器人抓取研究现状机器人抓取研究现状三三基于多模特征深度学习的机器人抓取判别基于多模特征深度学习的机器人抓取判别r深度学习深度学习2006年多伦多大学Hinton等人在Science杂志上提出,该学习算法避免了特征抽取过程中了人为的干预,同时深度学习解决了传统多层神经网络学习过程局部收敛和过适性问题,深受业内的广泛关注,如括谷歌、百度在内的众多机构成立专门的部门致力于该学习算法的研究。
目前深度学习已经成功用于图像检索,语音识别,自然语言处理等领域,而该算法在机器人视觉领域的应用还处在刚刚起步阶段。
深度学习网络深度学习简介深度学习简介(插入)(插入)r人脑视觉机理人脑视觉机理n神经-中枢-大脑的工作过程,或许是一个不断迭代、不断抽象的过程。
n人的视觉系统的信息处理是分级的。
从低级的V1区提取边缘特征,再到V2区的形状或者目标的部分等,再到更高层,整个目标、目标的行为等。
深度学习简介深度学习简介(插入)(插入)r关于特征关于特征【通过传感器(例如CMOS)获得数据,然后经过预处理、特征提取、特征选择,再到推理、预测或者识别。
】深度学习简介深度学习简介(插入)(插入)r特征表示的粒度特征表示的粒度n学习算法在一个什么粒度上的特征表示,才有能发挥作用?
n素级特征结构性深度学习简介深度学习简介(插入)(插入)r初级(浅层)特征表示初级(浅层)特征表示n像素级的特征表示方法没有作用,那怎样的表示才有用呢?
n复杂图形,往往由一些基本结构组成,比如正交的edges。
深度学习简介深度学习简介(插入)(插入)r结构性特征表示结构性特征表示n小块的图形可以由基本edge构成,更结构化,更复杂,具有概念性的图形如何表示呢?
n更高层次的特征表示深度学习简介深度学习简介(插入)(插入)r需要有多少个特征需要有多少个特征n我们知道需要层次的特征构建,由浅入深,但每一层该有多少个特征呢?
深度学习简介深度学习简介(插入)(插入)rDeepLearning的基本思想的基本思想n假设有一个系统S,它有n层(S1,Sn),输入是I,输出是O,形象地表示为:
I=S1=S2=.=Sn=O如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的信息损失。
nDeepLearning:
需要自动地学习特征,假设有一堆输入I(如一堆图像或文本),假设设计了一个系统S(有n层),我们通过调整系统中参数,使得它的输出仍然是输入I,那么我们就可以自动地获取得到输入I的一系列层次特征,即S1,,Sn。
对于深度学习来说,其思想就是对堆叠多个层,也就是说这一层的输出作为下一层的输入。
通过这种方式,就可以实现对输入信息进行分级表达了。
深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。
因练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。
因此,此,“深度模型深度模型”是手段,是手段,“特征学习特征学习”是目的。
是目的。
深度学习简介深度学习简介(插入)(插入)rDeeplearning训练过程训练过程n非监督数据上建立多层神经网络的一个有效方法:
1)首先逐层构建单层神经元,这样每次都是训练一个单层网络。
2)当所有层训练完后,使用wake-sleep算法进行调优。
【使原始表示x向上生成的高级表示r和该高级表示r向下生成的x尽可能一致】nWake-Sleep算法分为醒(wake)和睡(sleep)两个部分:
1)wake阶段:
认知过程,阶段:
认知过程,通过外界的特征和向上的权重(认知权重)产生每一层的抽象表示(结点状态),并且使用梯度下降修改层间的下行权重(生成权重)。
【“如果现实跟我想象的不一样,改变我的权重使得我想象的东西就是这样的如果现实跟我想象的不一样,改变我的权重使得我想象的东西就是这样的”】2)sleep阶段:
生成过程,阶段:
生成过程,通过顶层表示(醒时学得的概念)和向下权重,生成底层的状态,同时修改层间向上的权重。
【“如果梦中的景象不是我脑中的相应概念,改变我的认知权重使得这种景象在我看来就是这个如果梦中的景象不是我脑中的相应概念,改变我的认知权重使得这种景象在我看来就是这个概念概念”】深度学习简介深度学习简介(插入)(插入)rDeeplearning训练过程训练过程ndeeplearning训练过程具体如下:
训练过程具体如下:
1)使用自下上升非监督学习)使用自下上升非监督学习(就是从底层开始,一层一层的往顶层训练):
采用无标定数据(有标定数据也可)分层训练各层参数,这一步可以看作是一个无监督训练过程,是和传统神经网络区别最大的部分(这个过程可以看作是featurelearning过程);
在学习得到第n-1层后,将n-1层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数。
2)自顶向下的监督学习)自顶向下的监督学习(就是通过带标签的数据去训练,误差自顶向下传输,对网络进行微调):
基于第一步得到的各层参数进一步fine-tune整个多层模型的参数,这一步是一个有监督训练过程;
第一步类似神经网络的随机初始化初值过程,由于DL的第一步不是随机初始化,而是通过学习输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果。
深度学习简介深度学习简介(插入)(插入)rDeepLearning的常用模型或者方法的常用模型或者方法nAutoEncoder自动编码器自动编码器【自动编码器就是一种尽可能复现输入信号的神经网络】1)给定无标签数据,用非监督学习学习特征:
)给定无标签数据,用非监督学习学习特征:
因为是无标签数据,所以误差的来源就是直接重构后与原输入相比得到。
深度学习简介深度学习简介(插入)(插入)rDeepLearning的常用模型或者方法的常用模型或者方法2)通过编码器产生特征,然后训练下一层。
这样逐层训练:
)通过编码器产生特征,然后训练下一层。
将第一层输出的code当成第二层的输入信号,同样最小化重构误差,就会得到第二层的参数,并且得到第二层输入的code,也就是原输入信息的第二个表达了。
其他层就同样的方法炮制就行。
nAutoEncoder自动编码器自动编码器【自动编码器就是一种尽可能复现输入信号的神经网络】深度学习简介深度学习简介(插入)(插入)rDeepLearning的常用模型或者方法的常用模型或者方法3)有监督微调:
)有监督微调:
到这里,这个AutoEncoder还不能用来分类数据,可以在AutoEncoder的最顶的编码层添加一个分类器,然后通过标准的多层神经网络的监督训练方法(梯度下降法)去训练。
也就是说,这时候,我们需要将最后层的特征code输入到最后的分类器,通过有标签样本,通过监督学习进行微调,这也分两种,一个是只调整分类器(黑色部分);
另一种:
通过有标签样本,微调整个系统。
nAutoEncoder自动编码器自动编码器【自动编码器就是一种尽可能复现输入信号的神经网络】深度学习简介深度学习简介(插入)(插入)rDeepLearning的常用模型或者方法的常用模型或者方法nSparseAutoEncoder稀疏自动编码器:
稀疏自动编码器:
nDenoisingAutoEncoders降噪自动编码器:
降噪自动编码器:
深度学习简介深度学习简介(插入)(插入)rDeepLearning的常
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 机器人 视觉 伺服 定位 控制 目标 抓取