9 机器视觉揭秘机器视觉中的深度学习基于机器视觉的工业机器人定位系统Word文档下载推荐.docx
- 文档编号:14375968
- 上传时间:2022-10-22
- 格式:DOCX
- 页数:15
- 大小:638.12KB
9 机器视觉揭秘机器视觉中的深度学习基于机器视觉的工业机器人定位系统Word文档下载推荐.docx
《9 机器视觉揭秘机器视觉中的深度学习基于机器视觉的工业机器人定位系统Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《9 机器视觉揭秘机器视觉中的深度学习基于机器视觉的工业机器人定位系统Word文档下载推荐.docx(15页珍藏版)》请在冰豆网上搜索。
4、采集卡:
针对传统相机,现在很多存在返卡。
5、运算平台:
通常来说,机器视觉的运算平台就是一个PC,只不过用的是工业把握机。
工控机是一个很牢固、扛燥的PC。
除此之外,也有一些是小型的嵌入式设备;
或运算平台和相机结合在一起,也就是智能相机。
常见的使用例子:
计数、包装印刷、纺织品、电子产品等的表面检测、运动定位、尺寸测量、OCR
机器视觉行业近几年的进展
在2000年以后才衰亡的;
在2008年,金融危机波折,使得整个行业受很大影响;
近年人工智能复兴,又进入了上升期。
项目开发流程:
需求、系统、算法、软件、投产生产
与计算机视觉、图像处理的区分:
机器视觉的理解很多,这里从狭义的基于图像的工业自动化检测。
光机电系统化、项目定制化。
光机电系统化、项目定制化
计算机视觉更为广义,对场景的理解。
图像处理:
底层技术,不管是计算机视觉还是机器视觉都用到很多图像处理的技巧。
二、深度学习在机器视觉行业的使用
深度学习
一般是指多层的卷积神经网络(图像)或者循环神经网络(言语或语音)在我的这次共享中,机器视觉专指深度的卷积神经网络或者是以这个为基础的其他一些算法。
模式:
卷积层+基础层,或者反复很多次,构成全连接,然后输出
核心:
多层次的卷积和非线性的激活
次要优化方法:
梯度负反馈
无效性的反馈:
基于目标数据的优化和充分的计算力量
涉及难点:
依据需求定义一个合适的损失函数
机器视觉行业
从产品上划分(如图)
机器视觉行业企业
从历史沿革上划分
传统机器视觉公司:
大恒、凌云、微视(之前的很多从业走出繁衍)
大型制造集团北京的机器视觉子公司:
海康、大华
人工智能浪潮下的创业企业
国际上:
美国、加拿大、日本、德国
机器视觉软件生态(如图)
ViDi
随着深度学习的衰亡而诞生
次要分三个组件
绿色:
针对分类问题
蓝色:
针对定位问题和识别问题,检测或计数的目标在哪等
红色:
缺陷检测
具体实现;
绿色模块(如图)
蓝色模块(如图)
红色模块(如图)
例子:
TensorFlow的FasterR-CNN(如图)
作用:
无代码或者少代码的实现物体检测,可以快速上手,且潜力巨大;
在与训练模型上做不需要几周几个月,一天即得;
简约切换训练数据,快速验证概念可行性
三、展望
深度学习的进展趋势与局限:
1、深度学习在图像处理方面是一种特征提取方法,是一种优化方法
2、在算法开发的各个流程,都还可以显著提升效果
3、受运算功能局限,网络不能无限加深,近期学术上争辩的热点是提高效率,缩小体积同时还能保证肯定的功能。
现在几乎各大厂商都在推出带有AI引擎的芯片来终端市场,就是想把深度学习赋能到生活中去
4、深度学习的使用领域还在不断拓展
5、非监督,少样本甚至单样本效果还不抱负
6、深度学习虽然很强大,但也只是算法,物理上拿不到的信息,深度学习也变不出魔法
机器视觉行业进展
1、以深度学习为基础,一些使用上会消灭规模化市场
2、对运算力量的需求还会连续添加
3、新一代的智能相机必备AI引擎
4、中高端定制化市场临时还难以被深度学习攻破,但会受益于深度学习带来的提高
以上就是本次线上直播的次要内容,信任你对该领域的学问已经有了肯定的生疏。
想了解更多更具体内容的小伙伴们,可以关注服务号:
FMI飞马网,点击菜单栏飞马直播,即可进行学习。
基于机器视觉的工业机器人定位系统!
建立了一个自动机器视觉定位系统,用于工业机器人对零件工位的精确定位。
接受基于区域的婚配和外形特征识别相结合的图像处理方法,该方法经过阈值和外形判据,识别出物体特征。
经试验验证,该方法能够快速精确 地得到物体的边界和质心,进行数据识别和计算,再结合机器人运动学原理把握机器人实时运动以衰退此误差,满足工业机器人自定位的要求。
1.引言
目前工业机器人仅能在严格定义的结构化环境中执行预定指令动作,缺乏对环境的感知与应变力量,这极大地限制了机器人的使用。
利用机器人的视觉把握,不需要事后对工业机器人的运动轨迹进行示教或离线编程,可节省大量的编程时间,提高生产效率和加工质量。
Hagger等人提出通过基于机器人末端与目标物体之间的误差进行视觉反馈的方法;
Mezouar等人提出通过图像空间的路径规划和基于图像的把握方法。
国内这方面次要使用于焊接机器人对焊缝的跟踪。
本文利用基于位置的视觉伺服思想,以六自在度垂直关节型喷涂机器人为载体,提出一种基于机器视觉的工业机器人自定位把握方法,处理了机器人末端实际位置与期望位置相距较远的问题,改善了喷涂机器人的定位精度。
2.视觉定位系统的组成
机器人视觉定位系统构成如图1所示,在关节型机器人末端安装喷涂工具、单个摄像机,使工件能完全消灭在摄像机的图像中。
系统包括摄像机系统和把握系统:
(1)摄像机系统:
由单个摄像机和计算机(包括图像采集卡)组成,担任视觉图像的采集和机器视觉算法;
(2)把握系统:
由计算机和把握箱组成,用来把握机器人末端的实际位置;
经CCD摄像机对工作区进行拍摄,计算机通过本文使用的图像识别方法,提取跟踪特征,进行数据识别和计算,通过逆运动学求解得到机器人各关节位置误差值,最终把握高精度的末端执行机构,调零件器人的位姿。
图1喷涂机器人视觉定位系统组成
3.视觉定位系统工作原理
3.1视觉定位系统的工作原理
使用CCD摄像机和1394系列采集卡,将视频信号输入计算机,并对其快速处理。
首先选取被跟踪物体的局部图像,该步骤相当于离线学习的过程,在图像中建立坐标系以及训练系统查找跟踪物。
学习结束后,图像卡不停地采集图像,提取跟踪特征,进行数据识别和计算,通过逆运动学求解得到机器人各关节位置给定值,最终把握高精度的末端执行机构,调零件器人的位姿。
工作流程如图2所示。
图2视觉定位系统软件流程图
3.2基于区域的婚配
本文接受的就是基于区域的相关婚配方法。
它是把一幅图像中的某一点的灰度领域作为模板,在另一幅图像中搜索具有相同(或相像)灰度值分布的对应点领域,从而实现两幅图像的婚配。
在基于区域相关的算法中,要婚配的元素是固定尺寸的图像窗口,相像准绳是两幅图像中窗口间的相关性度量。
当搜索区域中的元素使相像性准绳最大化时,则认为元素是婚配的。
定义P(i,j)P是模板图像中一点,取以P(i,j)P为中心的某一邻域作为相关窗口K,大小为(2w+1),假设K在原始图中,水平方向平移Δu,垂直方向平移Δu后,K所掩盖下的那块搜索区域叫做子图Sk,若K和Sk相同,则它们的差为零,否则不为零。
由此定义K和Sk的相关函数为:
当D(K,Sk)达到最小,K与Sk达到最佳婚配。
3.3图像的特征提取
工作台上的工件与工作台背景在颜色方面具有很大的差别,即工件呈现为黑色,将这一信息作为识别工件的重要特征。
工件的边缘处灰度有急剧的变化,可以以此推断出工件的边界点。
接受扫描线的方法,扫描方向上灰度剧变的像素点就是边界点。
最终,通过最小二乘法把找到的边界点拟合出圆周,并计算出圆心位置。
3.4试验与分析
试验目的是通过机器视觉,快速识别出工件的特征(这里是圆孔的圆心)。
(1)首先在原始图像(图3)选取被跟踪工件的局部图像作为模板图像template(图4)。
(2)以局部图像template为模板,在原始图像中进行基于区域的婚配,并以template的左
下角为原点,建立坐标系。
然后定义一个搜索区域ROI(regionofinterest),依据要提取的特征选择区域的外形,这里选择环形区域。
搜索区域必需包含全部目标特征。
在ROI中提取工件的特征,如图3所示。
图3圆心识别
该步骤相当于离线学习的过程。
每次使用前只需要学习一次即可。
通过离线学习,系统得到ROI与工件的相对位置关系,以便实时识别中工件消灭偏移、翻转等,ROI都可以精确 消灭在合适位置。
(3)离线学习后,视觉系统经过区域婚配、阀值分割和边缘提取等步骤找到需要识别的特征(这里是圆孔的圆点),如图4所示。
图4实时识别
3.5结果分析如下:
(1)识别率分析:
第一步通过离线学习,训练提取外形特征。
其次步使用离线学习得到的坐标关系,实时跟踪工件,得到需要跟踪的外形特征信息。
只需离线学习恰当,目标特征就精确 识别并且得到相关信息。
(2)实时处理结果分析:
图像采集卡的采集速度是25帧/s,每幅图采集时间为40ms。
摄像头采集一幅图像需要20ms,该图像处理的速度为10ms/幅。
通过程序优化,在采集的同时进行图像处理,而且图像处理的速度比采集的时间要短,就避开了图像的失真和抖动。
在物体运动不超过极限速度时,能够较精确 地找到圆心的位置。
4.空间坐标的猎取
由一幅图像得到的信息是二维信息,程序中使用的坐标是以像素为单位的,机器人在空间运动需要将图像的信息换算成三维空间坐标。
其计算过程如下:
(1)以工件上圆孔的圆心为机器人定位基准,A(X,Y,Z)圆心的世界坐标。
当圆心与视觉图像的中心重合时,机器人定位完成。
(2)标定摄像机,得到投影矩阵ceM,即图像中两个像素间的距离与世界坐标系的转换关系。
(3)摄像机拍摄图像后,经过特征识别得到圆心在图像中坐标a(x,y),计算出与图像中心的偏移量Δx、Δy。
(4)以A(X,Y,Z)为基准,依据下式计算机器人末端的世界坐标B(X'
Y'
Z'
):
其中,Mc是摄像机与机器人末端的坐标转换参数。
留意,本文使用单目视觉,所以这里假设Z坐标不变;
假如使用双目视觉,就可以通过立体视觉计算出Z’。
5.误差分析与补偿
本项目的喷涂机器人是六自在度的旋转关节操作臂,与UnimationPUMA560相像,关节4、5、6的轴线相互垂直,且相交与一点。
使用参考文献3的方法计算如下:
(1)通过机器视觉可以得到机器人末端的空间位置坐标B(X'
)。
(2)确定机器人的连杆参数表,如下表:
(3)运用DH法计算各关节的转角θi:
6.结论
本文描述了基于机器视觉的工业机器人定位系统,该系统将基于区域的婚配和外形特征识别结合,进行数据识别和计算,能够快速精确 地识别出物体特征的边界与质心,机器人把握系统通过逆运动学求解得到机器人各关节位置的转角误差,最终把握高精度的末端执行机构,调零件器人的位姿以衰退此误差。
从而处理了机器人末端实际位置与期望位置相距较远的问题,改善了喷涂机器人的定位精度。
该方法计算量小,定位精确 ,具有工程有用性。
本系统是使用C#在
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 机器视觉揭秘机器视觉中的深度学习基于机器视觉的工业机器人定位系统 机器 视觉 揭秘 中的 深度 学习 基于 工业 机器人 定位 系统