基于机器视觉的芯片快速识别定位系统设计毕业论文.docx

基于机器视觉的芯片快速识别定位系统设计毕业论文.docx

《基于机器视觉的芯片快速识别定位系统设计毕业论文.docx》由会员分享，可在线阅读，更多相关《基于机器视觉的芯片快速识别定位系统设计毕业论文.docx（39页珍藏版）》请在冰豆网上搜索。

基于机器视觉的芯片快速识别定位系统设计毕业论文

---文档均为word文档，下载后可直接编辑使用亦可打印---

摘要

在社会生产力大变革的前提下，机器识别能够有效的代替人工分类，大大缩减了生产效率，而在实际生产当中由于大多数芯片的尺寸较小、信号不易读取辨别，引脚易弯折、易造成实际生产中的误差，导致良品率不理想。

所以在实际生产中可以引入机器视觉中对芯片的快速识别并定位分析，提高实际生产中的生产效率以及产品的良品率。

本文所介绍的就是机器视觉的芯片快速识别系统的设计与实现当中的机器视觉算法部分。

实现对芯片的快速识别分析的算法，在芯片处理上，对工业相机（海康威视MV-CA013-20GMGC）拍摄出的图片进行灰度图转化，将芯片区域初步分割出来。

通过对芯片的面积、形状和阈值等参数对区域进行进一步的处理，其次对芯片图像进行OCR字符识别得出芯片的型号参数同时对芯片的引脚进行测量，判断其是否为合格品，最终得到测试数据。

最后，通过HALCON软件导出C＃程序，与VisualStudio软件构建的操作界面进行配合，大大提升了工作效率，在实际应用中更为实用。

关键词：

芯片；机器识别；图像处理；HALCON；OCR字符识别

Designandimplementationofamachinevision-basedrapididentificationandpositioningsystemforchips

-Machinevisionalgorithms

Abstract

Underthepremiseofgreatchangesinsocialproductivity,machinerecognitioncaneffectivelyreplacemanualclassification,greatlyreducingtheproductionefficiency,butintheactualproductionduetothesmallsizeofmostchips,thesignalisnoteasytoreadanddistinguish,thepiniseasytobend,easytocauseerrorsintheactualproduction,resultingintheyieldisnotideal.

Therefore,therapididentificationandpositioninganalysisofchipsinmachinevisioncanbeintroducedintheactualproductiontoimprovetheproductionefficiencyandproductyieldinactualproduction.Thispaperintroducesthemachinevisionalgorithmpartofthedesignandimplementationofthechiprapididentificationsystemformachinevision.

Analgorithmforrapididentificationandanalysisofthechipisimplemented,andthechipprocessingisusedtoconvertthegrayscaleimagetakenbyanindustrialcameraintoapreliminarysegmentationofthechiparea.Byfurtherprocessingthearea,shapeandthresholdparametersofthechip,followedbyOCRcharacterrecognitionofthechipimagetoobtainthechipmodelparametersandthechippinmeasurementtodeterminewhetheritisaqualifiedproduct,andfinallygetthetestdata.

Finally,byexportingtheC#programthroughHalconsoftwareandcooperatingwiththeuserinterfacebuiltbyVisualStudiosoftware,theworkefficiencyisgreatlyimprovedandmorepracticalintheactualapplication.

Keyword:

Chip;Machinerecognition;Imageprocessing;Halcon;OCRCharacterrecognition

1绪论

1.1研究背景及意义

1.1.1研究背景

机器视觉检测技术是建立在计算机视觉研究基础上的一门新型测试技术，它把图像当作检测和传递信息的手段或载体加以利用，从图像和中提取有用的信号，通过处理被测图像而获得所需的各种参数。

[1]机器视觉技术其囊括了多种学科与技术领域，其中包括了人工智能、神经生物学、物理学、心理学、计算机科学、图像处理、模式识别以及其他许多跨领域学科。

机器视觉技术就是将计算机代替人类眼睛的视觉功能，从视觉图像中提取出感兴趣的信息并将其处理为可由计算机识别并处理的信息，最终将获得的信息用于我们实验需要用到的检测与识别。

相较于传统检测技术的检测速度慢、精度差等缺点，机器视觉检测技术有着传统检测技术不可比拟的特点：

识别速度快、处理信息多、功能齐全并且能够实现无接触检测与保持较高的识别精度，使得机器视觉检测技术被广泛应用于实际的工业生产实践中。

（1）非接触性

非接触性即检测物体与被检测物体无直接接触，从而不会造成类似传统测量方法因直接或间接接触被测物体而造成被测物体变形、字体模糊等不利于检测的干扰。

（2）实时性

机器视觉检测技术是采用工业相机实时对被测物体信息进行采集并上传到计算机进行快速检测、分析、识别，实时采集并且实时分析更有利于加快实际生产实践中的效率。

（3）灵活性

图像处理的方法多样，可处理的图像类型也十分之多，对于图像数据的储存简单易行，Halcon软件可以与C#、C++等汇编高级语言进行通讯，可以实现远程操作，大大加大了生产效率。

（4）高可靠性

在适宜的环境内，采用机器视觉检测技术排除了不确定人工的干扰，得到了更加稳定、精确的实验数据，使实验数据更加真实可靠。

我国工业发展起步较国外要晚许多，所以我国引入机器视觉检测技术时间并不长，研究较国外而言也有一些差距。

但随着我国经济水平的发展，工业水平的进步，各行各业中对工业自动化、智能化需求加大，对电子元件的要求也更加严格，国内各研究所及企业开始在机器视觉领域开始了广泛的探索与发展，主要应用于工业生产、制药、印刷等行业中，但鲜有应用于高端领域。

由此可知，我国在机器视觉领域还有非常大的发展前景。

1.1.2本设计的目的、意义

当今世界工业蓬勃发展，随之而来的既是由工业社会发展到信息社会，而构成信息社会的不可或缺的一大重要组成就是电子元器件。

为了适应电子信息产业的快速发展，如今的电子元器件封装技术则是朝着便携性、微型化、网络化与高性能化发展。

而表面贴装技术（SurfaceMountTechnology，SMT）是当前世界元件封装技术的主流技术。

这些主流的后封装技术中有一个非常重要的前提——芯片引脚的缺陷检测。

导致贴片芯片引脚产生误差的其中一个主要原因是引脚变形。

鉴于传统的人工检测不能够保证完美实现高速率、高精度的检测出芯片引脚的缺陷，机器视觉检测技术较于传统检测技术的优势尤为凸显：

识别速度快、处理信息多、功能齐全并且能够实现无接触检测和保持较高的识别精度还能与其他编程语言联合编程实现对芯片引脚的检测。

此实验设计就是利用Halcon软件将工业相机（海康威视MV-CA013-20GMGC）拍摄出的图像进行灰度图转化，进行裁剪，减少无关区域的干扰。

利用模板匹配功能在我们模拟的工厂流水线中匹配到我们目标芯片，利用字符识别读取芯片型号信息，最终检测芯片引脚距离与标定距离的误差，判定芯片引脚是否存在缺陷。

从而实现对芯片的快速识别检测的一整套流程。

在工业的迅猛发展中，只有掌握核心科技，打破国外科技垄断，中国才能在世界中掌握更多的话语权，跟随时代发展的脚步。

研究机器视觉检测技术可以将推动我国贴片机的发展、提高半导体制作工艺技术，为贴片装备的核心技术打下夯实的基础，推动贴片机高端领域的研究发展。

如图1.1为华为海思芯片。

图1.1华为海思芯片

1.2机器视觉领域国内外发展现状及发展趋势

早在1965年，麻省理工学院的Roberts在他的论文中论述了以计算机理论为基础实现从拍摄物体的二维图像得到物体三维形状信息具备可能性，从此开辟了以解析物体三维场景为目的的机器视觉理论和实践研究。

[2]而到了二十世纪九十年代初开始，利用机器视觉的光学元件缺陷检测技术就已经逐步发展起来了。

1996年加拿大的Raafat及其研究人员基于机器视觉系统对玻璃或塑料表面质量进行检测，检测目标主要是表面划痕、气泡、裂缝等。

而在1999年，韩国的Kim提出了一种基于机器视觉的快速检测方法，实现对液晶显示器和等离子显示面板的在线质量检测.[3]到了2009年，美国劳伦新利弗摩尔国家实验室利用线扫描相位差分成像（linescanphasedifferentialimaging,LPDI）和移相衍射干涉仪（phaseshillingdiffractioninterferometer,PSDI）开发出检测系统，通过图像分析代码识别图像中潜在的相位缺陷。

所以在机器视觉领域欧美、日本和韩国等发达国家发展进度领先于我国，机器视觉技术主要应用于电子行业与半导体行业。

主要企业有：

西门子，欧姆龙，EVISION等。

而国内本世纪初才引进机器视觉，开始有关于机器视觉的概念，相较于国外起步晚了约30年。

且在很长的一段时间内，机器视觉技术并未引起广泛的关注，导致国内外技术差距比较大。

但虽然有着巨大的差距，国内机器视觉技术存在各种的困难，在国内相关的大专院校、研究所以及企业在机器视觉领域的不断探索与尝试。

从我国国内申请机器视觉专利数量上分析，此领域在二十一世纪初被引进之始几乎没有任何相关专利，而到了2011年，我国关于机器视觉领域的专利申请数量已经达到了267个，且数量逐年上升。

由此可见，机器视觉技术在国内获得了广泛的关注与认可。

现如今，机器视觉技术也广泛引用于工业领域：

印刷包装、半导体材料、药品等行业；科学研究领域：

材料分析、化学分析和生命科学；军事领域：

航空、航天、兵器（敌我目标识别、跟踪）及测绘。

[4]主要企业有：

商汤科技，旷视科技，海康威视等。

1.3研究的主要内容和目标

本文基于Halcon机器视觉软件作为此次设计的开发环境。

我们可以利用Halcon软件提供的丰富的函数库，包括blob分析、形态学、模板匹配、测量等功能，且适用于Windows、Linux和MacOS操作环境，整个函数库都支持使用C、C#、C++、VisualBasic等多种编程语言有效提高开发效率。

[5]

整个程序的流程大体为:

以计算机电脑为核心，工业相机通过USB端连接电脑。

由工业相机拍摄采集到的原始图像为MONO格式，分辨率为1280×1024的照片上传到计算机由Halcon软件对图片进行灰度图转化、滤波处理、阈值分割、腐蚀膨胀等将图片转化为信息更有利于处理的图像。

随后使用ORC字符识别并训练OCR可更高效的识别芯片信息，接着对芯片的引脚进行测量，判断其测量值是否符合误差范围，如若不符合则识别出来。

期间要保证处理速度快、处理效率高、处理稳定性可靠。

本设计要完成的目标：

（1）学习视觉相关书籍、论文和博客，为后续实践打下基础。

（2）学习Halcon软件的算法程序的编写。

（3）制定好芯片识别的流程。

（4）选择合适的芯片拍摄出符合要求的图像。

（5）用所学的模板匹配、字符识别、引脚测量对拍摄的芯片进行测量、识别。

（6）进行程序优化，写出符合本次设计高速、高效特点的程序。

（7）能够与队友所写的操作界面联合通讯，实现远程操作。

1.4本章小结

本章主要是对机器视觉检测技术的背景和现状及发展趋势进行分析得出了本次设计的一个大前提——中国机器视觉领域正在迅猛发展，接着分析本次设计的目的与意义，分析得出本次设计的必要性。

最后介绍了本次设计的主要内容与本次设计中个人需要达到的目标和完成的任务。

2基于机器视觉的芯片快速识别系统的总体设计方案

本文中使用中国HIKVISION公司的CA系列工业面阵相机MV-CA013-20GM黑白相机作为图像采集硬件。

并且本设计的芯片承载台可以适用多种型号芯片，会产生自身的自转，相机在此速度下进行对芯片的采集可以大大提高芯片识别的效率。

工业相机通过传感器触发拍照，由Halcon进行机器视觉算法计算，再由人机交互界面显示出来。

最终实现芯片快速识别效果。

2.1设计概述

与传统的人工检测相比，机器视觉的优势在于它精确性高、速度快、稳定性高、信息的继承与留存可追溯。

在检测芯片等小型零件上，基于机器视觉的快速检测系统能够大大提高生产力，创造更大的社会效益和经济效益。

比起很多工业相机，本设计采用中国HIKIVISION公司的MV-CA013-20GMGC工业相机，此相机有很多优点且更适合做本系统的工业相机，它是采用CMOS成像相机，具有性价比高的优势、图像采集速度快、相对易开发等特点。

2.2芯片快速识别系统的设计要求

本设计所应达到的要求有:

①能够适应多种芯片型号;②能够保证转盘旋转过程中芯片的稳固;③能够保证芯片在经过传感器时被准确检测;④动态识别、LED光源与工业相机能够巧妙配合;⑤后台图像检测算法能够筛选数据库数据并成功传送到程序界面;⑥硬件和软件能够协调搭配，达到快速、精准、灵活、可靠的设计目的。

2.3芯片快速识别系统的总体方案

2.3.1芯片快速识别系统的组成

基于机器视觉的芯片快速识别定位系统是以机器视觉架和芯片承载台为基础，结合计算机、传感器与工业相机，对芯片引脚进行图像采集检测、特征预处理、图像特征提取、匹配识别以及检测。

在机器视觉架上有以MV-CA013-20GMGC工业相机为核心，将光源镜头加此架上，芯片承载台可放多种型号芯片，在台边缘放传感器来触发相机拍照。

2.3.2芯片快速识别系统的结构图

整个系统包含硬件模块和软件模块，系统的框架图如图2.1所示，其中硬件模块是有工业相机、镜头和光源组成，主要作用是对被测芯片进行高质量成像；软件模块包含界面显示、数据库和机器视觉检测算法，主要作用是对被测芯片字符引脚的自动化、智能化、高精度、高效率检测。

图2.1系统结构图

2.4本章小结

本章主要是对基于机器视觉对芯片的识别与检测系统进行一个总体方案的概述，罗列了本文系统的概述、整体系统的要求以及总体方案的思路与结构图

3基于Halcon软件的数字图像处理

3.1Halcon软件的介绍

Halcon软件是德国MVTec公司设计的一套机器视觉软件，其是在世界范围内使用最广泛的的机器视觉软件之一，用于机器视觉的综合标准软件，集成了极具完善的开发环境（HDevelop）。

[6]它的高效性与高稳定性可以帮助企业节省成本并缩短产品上市时间。

Halcon的体系结构灵活，适用于快速开发任何种类的机器视觉应用程序，有利于企业的发展。

其拥有一整套图像处理库，由一千多个各自独立的函数，以及底层的数据管理核心构成；其中包括了各类滤波、色彩分析以及几何、数学变化、形态学计算分析、校正、分类、辨识、形状搜索等等基础的几何以及图像计算功能，由于这些功能大多数非针对特定工作设计，因此只要关乎图像处理方面，就可以用Halcon强大的计算分析能力来完成工作。

[7]

Halcon主要优点如下：

（1）软件内集成大型成像库，最多可容纳2,000多名操作员，满足企业多人同时加工的需求。

（2）集成了用于机器视觉的集成开发环境（IDE）：

HDevelop，可直接在Halcon软件内编写、修改、执行程序，并可在变量窗口中查看计算过程中的所有变量程序设计完成后，可直接输出C，C++，C＃和VisualBasic.NET等升序代码。

真正的实现多平台、多软件内高效运行。

（3）自动运算器并行处理（AOP）技术是Halcon11的独特之处，支持超过75个运算器的图像处理算法与GPU处理，比其他任何软件开发包都要多。

基于聚焦变化的深度图像获取（depthfromfocus）、快速傅立叶变换（FFT）和Halcon的局部变形匹配都有显著的加速。

（4）Halcon软件对于采集设备选取及其宽容，可以根据自己需求选择合适的设备。

原厂已提供了60余种相机的驱动链接，即使是尚未支持的相机，除了可以透过指标（pointer）轻易的抓取影像，还可以利用Halcon开放性的架构，自行撰写DLL文件和系统连接。

[8]

（5）适用于Windows，Linux和MacOSX等多种操作平台，无需担心不支持操作平台而造成的麻烦。

为了能够更加高效的处理，Halcon还支持使用多处理器的计算机来运行软件。

（6）Halcon逐年更新，通过使用最新的指令集和GPU加速来实现高性能，提高生产效益。

[9]

3.2数字图像处理的基础知识

3.2.1通道分离

彩色图像拥有R、G、B三个通道（即红绿蓝三原色）。

在图像处理中，往往需要将图像通道分离，选择出最适合当前设计所需通道的那张图进行后续处理，选择合适的通道对处理效率有着显著效果。

如图3.1通道分离对比图。

图3.1原图以及通道分离

3.2.2灰度处理

把我们所拍摄的彩色图像理解为一个RGB模型，当我们令其R=G=B时，则彩色的图像其表现为灰色，我们称R=G=B的值为灰度值，因此，灰度图像每个像素只需要一个字节存放灰度值，灰度值的范围为0-255，其中0为黑色，255为白色。

[10]为灰度处理对比图。

图3.2灰度处理对比图

3.2.3二值化处理

当我们需要从一个数据繁杂的图像中提取出我们所需要的目标物体，图像中往往存在着无关的背景与大量的噪声，此时则需要对图像进行二值化处理。

灰度图拥有256个亮度等级，通过规定相应的阈值范围从而可以分割我们所需的目标图像与其余无关的噪声，其为二值化图像。

对图像进行二值化处理有利于对图像进行进一步的处理，能够令目标物体更加凸显，数据量更小。

3.2.4形态学腐蚀

形态学腐蚀是一种消除边界点，使边界向内部收缩的过程，可以用来消除小且无意义的物体。

[11]对于去除图像分割后物体的突出区域以及区域边界的凸区域有很好的效果。

腐蚀效果如图3.3所示。

图3.3腐蚀示意图

3.2.4形态学膨胀

形态学膨胀是一种扩增边界点，使边界向外部扩充的过程，将背景中的点融合在边界中，有利于填补物体中的空洞。

对于图像分割后导致目标物体边界产生的空洞以及整块区域的边界凹陷处填补具有显著的效果。

膨胀效果如图3.4所示。

图3.4膨胀示意图

3.2.5开运算

开运算总共分为两步运算，先对区域进行腐蚀操作再对区域进行膨胀操作，所以开运算整体来说也算是一种腐蚀，其作用效果与腐蚀相仿，但其在腐蚀边界的同时并不明显改变区域的面积，能够在一定程度上更好的维持区域的形状，所以其常作用于消除体积较小的物体以及排列紧密之处用于分离物体、平滑物体的边界。

3.2.6图像增强

在数字图像处理中，图像增强能够使图像与我们所期望的特征相匹配。

图像增强的方法是利用增加一些信息或者更改一些数据在源图像上，随后有选择性地突出图像中需要的目标区域或者是掩盖图像中其余不相关的区域。

对图像进行增强时，如若不分析图像质量差的原因，经过处理后的图像也不能很好的达到预期效果。

图像增强技术根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。

基于空域的算法处理时直接对图像灰度级做运算，基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法。

[12]

3.2.7模板匹配

模板匹配功能是在一张图像的众多元素中，快速准确的找到与模板相匹配的元素。

通过截取目标区域图像元素并将其创建为模板，在待匹配图像中找寻匹配元素时由（0，0）出发，模板图像通过滑动的方式与每一个像素点进行匹配，通过比较模板与待匹配区域的相似度，找出相似度最高的匹配元素。

[13]

3.2.8图像去噪

图像中往往含有各种噪声，由于在图像采集过程、传输过程以及对图像的压缩等操作时都会对图像产生噪声，此时为了得到更好更利于处理的图像，图像去噪就显得尤为重要。

图像去噪是图像处理的基础，在对图像更高级的处理前往往需要进行去噪。

噪声的种类由很多种，比如加性噪声，乘性噪声与量性噪声等。

针对不同的噪声有不同的处理算法，如谐波均值滤波器善于处理高斯噪声，中值滤波对椒盐噪声有显著效果等。

如图3.5为中值滤波效果对比图。

图3.5中值滤波对比图

3.3本章小结

本章主要介绍了本次设计的所用的Halcon软件并介绍其优点与功能以及对数字图像处理的基本知识进行一个介绍。

4基于Halcon的芯片识别算法

4.1基于Halcon的芯片识别原理

设计主要是利用Blob分析的算法对芯片识别系统中模板匹配、字符分割等算法进行研究。

Blob分析的算法核心思想就是将图像进行二值化，分割得到前景和背景，然后进行连通区域检测，从而得到Blob快的过程。

简单来说，blob分析就是在一块“光滑”区域内，将出现“灰度突变”的小区域寻找出来。

[14]

Blob分析算法思想在芯片识别中也是这般体现的。

首先对通过工业相机拍摄出的图片进行灰度图转化，紧接着对图片进行二值化处理，这是应用Blob分析算法的必要前提。

随后我们将通过灰度、面积、长度、宽度等限定条件对将需要被检测的前景和背景分割开来，出去不相干的多余的部分，得到了我们感兴趣的识别区域。

最后我们通过模板匹配与字符识别算法得到所需数据并将其显示在特定区域。

4.2芯片识别流程图

整个芯片识别流程图如图4.1所示，逐步实现芯片的识别。

总体分为以下几部分：

读取图像、芯片匹配、芯片识别以及最后的数据显示。

图4.1芯片识别流程图

4.3基于Halcon的芯片识别的编程实现

基于Halcon的芯片识别检测每一步都是通过Halcon内部提供的大量算子完成的，其大大简化了变成所需要的时间。

下面主要介绍的就是实现芯片识别的程序编写。

4.3.1读取图像

图像的采集是图像处理的第一步，没有图像采集何来图像处理一说。

这个步骤是非常主要的，Halcon中提供了几种不同的方法来获取图像。

我们可以利用计算机电脑网口端连接工业相机，我们采用的是MV-CA013-20GM相机作为采集图像的设备，我们可以利用Halcon中的图像采集助手（ImageAcquistion），自动检测接口连接，选择实时采集，就可以实时获取镜头下的内容，还可以修改镜头参数，选择更有利于图像处理的参数。

除了从工业相机获取图像外，Halcon还提供了直接从文件夹中获取图像（支持格式：

BMP\TIFF\GIF\JPEG\PNG\PNM\PCX\X