基于目标6D位姿估计的机器人自主抓取仿真系统及方法.pdf
- 文档编号:30809351
- 上传时间:2024-01-30
- 格式:PDF
- 页数:21
- 大小:1.07MB
基于目标6D位姿估计的机器人自主抓取仿真系统及方法.pdf
《基于目标6D位姿估计的机器人自主抓取仿真系统及方法.pdf》由会员分享,可在线阅读,更多相关《基于目标6D位姿估计的机器人自主抓取仿真系统及方法.pdf(21页珍藏版)》请在冰豆网上搜索。
(19)国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号202210585893.5(22)申请日2022.05.26(71)申请人四川大学地址610041四川省成都市武侯区一环路南一段24号(72)发明人周青华闵强强李安琪蒲伟周广武(74)专利代理机构北京正华智诚专利代理事务所(普通合伙)11870专利代理师韦海英(51)Int.Cl.G06F30/20(2020.01)G06F30/17(2020.01)G06T7/73(2017.01)G06T7/80(2017.01)G06T1/00(2006.01)G06V10/80(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06N3/08(2006.01)G06N3/04(2006.01)(54)发明名称基于目标6D位姿估计的机器人自主抓取仿真系统及方法(57)摘要本发明公开了一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法,该系统包括虚拟仿真交互平台和基于目标6D位姿估计的机器人自主抓取子系统。
其中基于目标6D位姿估计的机器人自主抓取子系统包括视觉传感器参数模块、环境信息获取图像模块、目标物6D位姿估计模块和机器人规划及抓取模块。
本发明利用ROSGazebo实现机器人视觉辅助抓取仿真系统的搭建,可直接在仿真环境进行全仿真模拟实验,相机与机器人的信息交互更加便捷化;并且对目标位姿估计采用深度学习思想实现对RGBD数据的特征提取及逐像素特征融合,再进行迭代细化得出精确位姿信息;结合深度学习与RGBD数据传输,有效提高对目标位姿估计的速度和精度。
权利要求书3页说明书12页附图5页CN114912287A2022.08.16CN114912287A1.一种基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,包括:
虚拟仿真交互平台,用于根据机器人自主抓取任务需求加载机器人、机械手抓、RGBD深度传感器的三维模型,并根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务;基于目标6D位姿估计的机器人自主抓取子系统,用于根据RGBD深度传感器采集的图像信息获取相机的内部参数和畸变系数、及图像配准矩阵,根据相机的畸变系数和图像配准矩阵对实时采集的图像信息进行配准;根据相机的内部参数对配准后的图像信息进行目标检测和6D位姿信息估计,得到目标位姿信息;根据目标位姿信息生成机器人抓取的过程轨迹规划路径,并传输至虚拟仿真交互平台。
2.根据权利要求1所述的基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,所述基于目标6D位姿估计的机器人自主抓取子系统包括:
视觉传感器参数模块,用于对RGBD深度传感器的彩色相机和深度相机进行离线标定,获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵,将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块,将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块。
3.根据权利要求2所述的基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,所述基于目标6D位姿估计的机器人自主抓取子系统包括:
环境信息获取图像模块,用于利用建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输,并通过订阅话题实时获取彩色图像信息和深度图像信息;根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准,并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块。
4.根据权利要求3所述的基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,所述基于目标6D位姿估计的机器人自主抓取子系统包括:
目标物6D位姿估计模块,用于对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码,从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征,将颜色特征和几何特征进行对应像素位置的逐像素特征融合,估计场景中每个对象的位姿信息,并对估计的位姿信息进行修正,将修正后的位姿信息传输至机器人规划及抓取模块。
5.根据权利要求4所述的基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,所述基于目标6D位姿估计的机器人自主抓取子系统包括:
机器人规划及抓取模块,用于根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系,将接收的位姿信息转换到机器人基坐标系,并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径。
6.根据权利要求4所述的基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,所述目标物6D位姿估计模块从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征的方法为:
采用全卷积神经网络对图像分割后的彩色图像信息进行特征提取,得到颜色特征;将配准后的深度图像信息点云化表示,并进行点云的关键点提取,将点云的形状、角权利要求书1/3页2CN114912287A2度、面积特征采用形状函数集合全局描述符表示,得到几何特征。
7.根据权利要求4所述的基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,所述目标物6D位姿估计模块对估计的位姿信息进行修正的方法为:
利用姿态估计细化网络对前一次迭代估计的姿态信息进行姿态的残差估计,并更新姿态信息;利用特征修正网络对更新后的姿态信息进行特征修正,将几何特征通过点云方法进行姿态转换,得到几何特征嵌入;将颜色特征首先通过点云投影到二维平面并判断是否正确投影;如果正确投影,则进行颜色特征到投影区域的图像修正,修正过程包括形态闭合和模糊周围区域,最后得到颜色特征嵌入;如果没有正确投影,则重用前一次迭代的颜色特征嵌入;将几何特征嵌入和颜色特征嵌入进行逐像素的融合,并采用深度学习网络预测位姿信息,进行下一次迭代。
8.根据权利要求7所述的基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,所述深度学习网络的训练方法为:
采用基于球面的随机快速采点方法进行训练数据集自动采集;对采集的训练数据进行自动快速标注;按照设定的数据集训练格式生成可训练的仿真数据集;利用生成的仿真数据集离线训练深度学习网络的权重参数。
9.根据权利要求1所述的基于目标6D位姿估计的机器人自主抓取仿真系统,其特征在于,所述基于球面的随机快速采点方法具体为:
首先设置相机高度区间和目标与相机的距离区间,并将目标与相机的距离作为球面半径,随机选取一个相机高度和球面半径,构建平面方程为:
其中,XYR表示相机坐标系的X轴、Y轴与球面半径的平面方程,rand表示取随机数,r表示球面半径,z表示相机高度,z_offset表示目标模型中坐标原点与其底面中点之间的偏置;然后对相机的姿态进行约束,使得相机在每个X轴、Y轴、Z轴位置时,目标都在相机的视野内,表示为:
rzarctan(dy,dx)其中,ry,rz分别表示相机绕Y轴和Z轴的旋转角度,x,y,z分别表示相机在X轴、Y轴、Z轴的坐标值;最终生成相机位姿(x,yz,rx,ry,rz),其中rx表示相机绕X轴的旋转角度。
10.一种基于目标6D位姿估计的机器人自主抓取仿真方法,其特征在于,包括以下步骤:
S1、利用虚拟仿真交互平台根据机器人自主抓取任务需求加载机器人、机械手抓、RGBD深度传感器的三维模型;S2、利用视觉传感器参数模块对RGBD深度传感器的彩色相机和深度相机进行离线标权利要求书2/3页3CN114912287A3定,获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵,将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块,将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块;S3、利用环境信息获取图像模块根据建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输,并通过订阅话题实时获取彩色图像信息和深度图像信息;根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准,并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块;S4、利用目标物6D位姿估计模块对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码,从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征,将颜色特征和几何特征进行对应像素位置的逐像素特征融合,估计场景中每个对象的位姿信息,并对估计的位姿信息进行修正,将修正后的位姿信息传输至机器人规划及抓取模块;S5、利用机器人规划及抓取模块根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系,将接收的位姿信息转换到机器人基坐标系,并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径;S6、利用虚拟仿真交互平台根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务。
权利要求书3/3页4CN114912287A4基于目标6D位姿估计的机器人自主抓取仿真系统及方法技术领域0001本发明涉及机器人仿真技术领域,具体涉及一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法。
背景技术0002机器人仿真技术是作业前对机器人的测试和验证的重要手段,如何基于含物理引擎的三维仿真软件设计模拟现实复杂作业任务和尽可能还原出现实场景的仿真测试平台是机器人仿真技术的研究要点。
由于直接在实物机器人上进行算法的训练时间成本大,训练过程复杂,硬件损耗大。
目前的研究是利用各优秀的物理仿真平台,建立模拟现实的仿真环境和机器人系统模型,在仿真环境进行训练,测试通过后在迁移到实物机器人上。
通过机器人仿真系统,可以无消耗、安全的测试视觉算法和机器人的运动控制。
但目前的机器人仿真系统主要是针对机器人的仿真,对于机械手抓和深度传感器的仿真应用较少,且对于支持的视觉测试算法没有什么扩展性和通用性,其他的仿真系统甚至无法与真机进行算法测试的对接,这样就失去了仿真的最终意义。
0003基于二维视觉图像的机器人工作平面的单目标抓取取得了丰富的研究成果。
但对于现实复杂环境中的三维目标物体,仅使用二维图像信息来表征目标信息存在信息损失问题,难以实现在非结构化环境中准确估计出6D位姿信息,对于机器人高精度抓取任务存在限制。
6D视觉比二维平面视觉多一个维度,从而提供的有效环境信息更加丰富,6D位姿估计可得到目标物的位姿信息,对于机器人的精细化任务至关重要,提高机器人的视觉感知能力对于机器人在复杂非结构化环境中进行高精度抓取任务是一项重要工作。
0004机器人视觉辅助抓取任务是指利用相机采集待抓取目标图像数据,经过目标检测、位姿估计等图像处理后得到抓取位姿信息,生成抓取策略并控制机器人进行抓取。
目前,传统的目标检测与位姿估计方法都是基于一些特定的算法,包括边缘检测、角点检测、点云分割等,但是基于传统算法的目标检测与位姿估计算法存在的主要技术问题是检测繁琐,处理过程时间长,消耗资源多等问题,存在局限性。
近年来,随着计算机技术的发展,深度学习方法优势逐渐显露,基于深度学习的机器人自主抓取是该领域的一个研究热点,能够实现在复杂环境下的自主抓取任务。
发明内容0005针对现有技术中的上述不足,本发明提供了一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法,以解决现有技术中机器人仿真方式的对象单一、扩展性和通用性较差,目标位姿估计检测繁琐,处理过程时间长,消耗资源多等问题。
0006为了达到上述发明目的,本发明采用的技术方案为:
0007第一方面,本发明提出了一种基于目标6D位姿估计的机器人自主抓取仿真系统,包括:
0008虚拟仿真交互平台,用于根据机器人自主抓取任务需求加载机器人、机械手抓、说明书1/12页5CN114912287A5RGBD深度传感器的三维模型,并根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务;0009基于目标6D位姿估计的机器人自主抓取子系统,用于根据RGBD深度传感器采集的图像信息获取相机的内部参数和畸变系数、及图像配准矩阵,根据相机的畸变系数和图像配准矩阵对实时采集的图像信息进行配准;根据相机的内部参数对配准后的图像信息进行目标检测和6D位姿信息估计,得到目标位姿信息;根据目标位姿信息生成机器人抓取的过程轨迹规划路径,并传输至虚拟仿真交互平台。
0010可选地,所述基于目标6D位姿估计的机器人自主抓取子系统包括:
0011视觉传感器参数模块,用于对RGBD深度传感器的彩色相机和深度相机进行离线标定,获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵,将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块,将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块。
0012可选地,所述基于目标6D位姿估计的机器人自主抓取子系统包括:
0013环境信息获取图像模块,用于利用建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输,并通过订阅话题实时获取彩色图像信息和深度图像信息;根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准,并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块。
0014可选地,所述基于目标6D位姿估计的机器人自主抓取子系统包括:
0015目标物6D位姿估计模块,用于对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码,从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征,将颜色特征和几何特征进行对应像素位置的逐像素特征融合,估计场景中每个对象的位姿信息,并对估计的位姿信息进行修正,将修正后的位姿信息传输至机器人规划及抓取模块;0016可选地,所述基于目标6D位姿估计的机器人自主抓取子系统包括:
0017机器人规划及抓取模块,用于根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系,将接收的位姿信息转换到机器人基坐标系,并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径。
0018可选地,所述目标物6D位姿估计模块从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征的方法为:
0019采用全卷积神经网络对图像分割后的彩色图像信息进行特征提取,得到颜色特征;0020将配准后的深度图像信息点云化表示,并进行点云的关键点提取,将点云的形状、角度、面积特征采用形状函数集合全局描述符表示,得到几何特征。
0021可选地,所述目标物6D位姿估计模块对估计的位姿信息进行修正的方法为:
0022利用姿态估计细化网络对前一次迭代估计的姿态信息进行姿态的残差估计,并更新姿态信息;0023利用特征修正网络对更新后的姿态信息进行特征修正,将几何特征通过点云方法进行姿态转换,得到几何特征嵌入;将颜色特征首先通过点云投影到二维平面并判断是否说明书2/12页6CN114912287A6正确投影;如果正确投影,则进行颜色特征到投影区域的图像修正,修正过程包括形态闭合和模糊周围区域,最后得到颜色特征嵌入;如果没有正确投影,则重用前一次迭代的颜色特征嵌入;0024将几何特征嵌入和颜色特征嵌入进行逐像素的融合,并采用深度学习网络预测位姿信息,进行下一次迭代。
0025可选地,所述深度学习网络的训练方法为:
0026采用基于球面的随机快速采点方法进行训练数据集自动采集;0027对采集的训练数据进行自动快速标注;0028按照设定的数据集训练格式生成可训练的仿真数据集;0029利用生成的仿真数据集离线训练深度学习网络的权重参数。
0030可选地,所述基于球面的随机快速采点方法具体为:
0031首先设置相机高度区间和目标与相机的距离区间,并将目标与相机的距离作为球面半径,随机选取一个相机高度和球面半径,构建平面方程为:
00320033其中,XYR表示相机坐标系的X轴、Y轴与球面半径的平面方程,rand表示取随机数,r表示球面半径,z表示相机高度,z_offset表示目标模型中坐标原点与其底面中点之间的偏置;0034然后对相机的姿态进行约束,使得相机在每个X轴、Y轴、Z轴位置时,目标都在相机的视野内,表示为:
00350036rzarctan(dy,dx)0037其中,ry,rz分别表示相机绕Y轴和Z轴的旋转角度,x,y,z分别表示相机在X轴、Y轴、Z轴的坐标值;0038最终生成相机位姿(x,yz,rx,ry,rz),其中rx表示相机绕X轴的旋转角度。
0039第二方面,本发明提出了一种基于目标6D位姿估计的机器人自主抓取仿真方法,包括以下步骤:
0040S1、利用虚拟仿真交互平台根据机器人自主抓取任务需求加载机器人、机械手抓、RGBD深度传感器的三维模型;0041S2、利用视觉传感器参数模块对RGBD深度传感器的彩色相机和深度相机进行离线标定,获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵,将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块,将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块;0042S3、利用环境信息获取图像模块根据建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输,并通过订阅话题实时获取彩色图像信息和深度图像信息;根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准,并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块;0043S4、利用目标物6D位姿估计模块对接收的配准后的彩色图像信息进行图像分割以说明书3/12页7CN114912287A7获取表示场景中对象的掩码,从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征,将颜色特征和几何特征进行对应像素位置的逐像素特征融合,估计场景中每个对象的位姿信息,并对估计的位姿信息进行修正,将修正后的位姿信息传输至机器人规划及抓取模块;0044S5、利用机器人规划及抓取模块根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系,将接收的位姿信息转换到机器人基坐标系,并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径;0045S6、利用虚拟仿真交互平台根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务。
0046本发明具有以下有益效果:
00471)本发明的仿真系统设计,利用ROSGazebo实现机器人视觉辅助抓取仿真系统的搭建,可直接在仿真环境进行全仿真模拟实验,相机与机器人的信息交互更加便捷化。
00482)本发明对目标位姿估计采用深度学习思想实现对RGBD数据的特征提取及逐像素特征融合,再进行迭代细化得出精确位姿信息。
结合深度学习与RGBD数据传输,有效提高对目标位姿估计的速度和精度。
00493)对神经网络的训练数据集制作,采用仿真相机在仿真环境利用基于球面的随机快速采点方法进行大量训练数据集自动采集,其次对采集的RGBD数据进行自动快速标注,最后是数据集训练格式生成,得到可训练的仿真数据集。
使深度学习网络估计结果更加快速有效和准确。
00504)采用ROSMoveIt进行机器人的轨迹规划生成和驱动控制,抓取策略生成实现机器人自主抓取的快速、低功耗化。
00515)应用了6D位姿估计的机器人视觉抓取能适应更杂乱无章的环境,使得机器人抓取的应用场景更加丰富。
可广泛应用于货物分拣、机械加工和装配、电气电子工业等行业的实际生产,具有广阔的应用前景。
附图说明0052图1为本发明实施例中一种基于目标6D位姿估计的机器人自主抓取仿真系统的结构示意图;0053图2为本发明实施例中虚拟仿真交互平台的结构示意图;0054图3为本发明实施例中MoveItSetupAssistant配置示意图;0055图4为本发明实施例中基于目标6D位姿估计的机器人自主抓取子系统的结构示意图;0056图5为本发明实施例中改进的DenseFusion网络架构示意图;0057图6为本发明实施例中目标物6D位姿估计模块的工作流程示意图;0058图7为本发明实施例中姿态迭代细化流程示意图;0059图8为本发明实施例中机器人目标抓取流程示意图。
具体实施方式0060下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发说明书4/12页8CN114912287A8明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
0061如图1所示,本发明实施例提供了一种基于目标6D位姿估计的机器人自主抓取仿真系统,包括:
0062虚拟仿真交互平台,用于根据机器人自主抓取任务需求加载机器人、机械手抓、RGBD深度传感器的三维模型,并根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务;0063基于目标6D位姿估计的机器人自主抓取子系统,用于根据RGBD深度传感器采集的图像信息获取相机的内部参数和畸变系数、及图像配准矩阵,根据相机的畸变系数和图像配准矩阵对实时采集的图像信息进行配准;根据相机的内部参数对配准后的图像信息进行目标检测和6D位姿信息估计,得到目标位姿信息;根据目标位姿信息生成机器人抓取的过程轨迹规划路径,并传输至虚拟仿真交互平台。
0064在本发明的一个可选实施例中,本发明首先构建虚拟仿真交互平台,来实现仿真环境中实验场景搭建。
具体而言,根据机器人自主抓取任务需求,加载机器人,二指机械手抓,RGBD深度传感和实验桌等三维模型,搭建机器人视觉辅助抓取仿真系统,建立可直接与仿真机器人抓取系统交互和实时可视化的平台。
0065如图2所示,本发明通过URDF(UnifiedRobotDescriptionFormat)或xacro文件赋予三维模型配置信息,如质量、颜色、关节属性、摩擦系数、转动惯量等,这些是三维物理仿真平台所需要的。
机器人固定在仿真环境中,以机器人基坐标系作为世界坐标系,二指机械手和RGBD深度传感器固定在机器人末端,实验桌放置在机器人旁。
0066为建立一个整体抓取系统,需联立机器人、二指机械手抓、RGBD深度传感器的模型文件,利用MoveIt进行驱动控制需进行MoveIt功能包的生成。
机器人的DH参数也通过xacro文件写入,通过TF坐标工具实现机器人的运动学正逆解,可以实时读取机器人每个关节相对于机器人基坐标的位姿信息。
MoveIt功能包的生成利用MoveItSetupAssistant进行配置,如图3所示,包括:
加载模型文件、生成碰撞检测矩阵、定义虚拟关节、配置规划组、添加位姿、配置控制器、生成配置文件和保存调试。
为使ROS驱动仿真机器人,需添加底层控制框架ros_control。
建立机器人、机械手抓、深度传感器等仿真驱动,使能通过ROS实现对机器人和机械手抓的驱动控制,使深度传感器能产生RGB、Depth数据帧。
0067如图2所示,虚拟仿真交互平台主要有Gazebo、Rviz和用户编程三大部分组成,其中用户编程端通过相关数据传输与Gazebo端进行实时交互,Rviz端则是实时监听Gazebo端的目标物状态、传感器数据和机器人状态等数据并进行可视化展示,便于用户编程端的交互调试。
Gazebo端则是利用仿真物理引擎对目标物体、传感器和机器人进行仿真并实时更新数据信息。
0068在本发明的一个可选实施例中,本发明在虚拟仿真交互平台设计完成后,在此基础上进行基于目标6D位姿估计的机器人自主抓取子系统设计,如图4所示,包括环境信息获取图像模块、视觉传感器参数模块、目标物6D位姿估计模块和机器人规划及抓取模块四个模块。
0069RGBD相机含彩色相机和深度相机,可同时采集彩色图像和深度图像,环境信息获说明书5/12页9CN114912287A9取图像模块中通过RGBD传感器获取环境的彩色图与深度图信息。
彩色图像含场景彩色信息,深度图像含场景到深度相机坐标系原点的距离信息。
采集一定的标定板的彩色图与深度图数据后,通过视觉传感器参数模块进行相机标定、图像配准等,获取彩色相机和深度相机参数,并将内参矩阵、畸变系数、图像配
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 目标 估计 机器人 自主 抓取 仿真 系统 方法
![提示](https://static.bdocx.com/images/bang_tan.gif)