(848页PPT幻灯片)数字图像处理(冈萨雷斯)课件.pptx

(848页PPT幻灯片)数字图像处理(冈萨雷斯)课件.pptx

《(848页PPT幻灯片)数字图像处理(冈萨雷斯)课件.pptx》由会员分享，可在线阅读，更多相关《(848页PPT幻灯片)数字图像处理(冈萨雷斯)课件.pptx（846页珍藏版）》请在冰豆网上搜索。

,研究生课程,数字图像处理DigitalImageProcessing,彭宇新北京大学计算机科学技术研究所E_mail:

数字图像处理,课程介绍教材及参考书上课主要内容课程目的与要求考试内容助教老师国内外相关会议和杂志目前需要做的事情,教材及参考书,教材RafaelC.Gonzalez,RichardE.Woods著，阮秋琦、阮宇智等译，数字图像处理（第二版），电子工业出版社，2003年。

RafaelC.Gonzalez,RichardE.Woods，DigitalImageProcessing（SecondEdition），PrenticeHall，2003。

教材及参考书（续）,参考书KennethR.Castleman著，朱志刚、林学訚、石定机等译，数字图像处理，电子工业出版社，2002年。

章毓晋，图象工程上册图象处理和分析，清华大学出版社，2003年。

阮秋琦，数字图像处理学，电子工业出版社，2004年。

杨枝灵、王开等，VisualC+数字图像获取、处理及实践应用，人民邮电出版社，2003年。

章毓晋，基于内容的视觉信息检索，科学出版社，2003年。

上课主要内容,1.概述2.空间域图像增强3.彩色图像处理4.基于内容的图像检索（补充）5.傅里叶变换6.频率域图像增强7.图像复原8.图像压缩

（1）,上课主要内容（续）,9.图像压缩

（2）10.形态学图像处理11.图像分割12.表示与描述13.基于内容的视频分析和检索技术（补充）14.考试复习,7/30/2023,课程目的与要求,掌握数字图像处理的基本概念、原理和方法初步运用所学知识解决实际问题为图像处理及相关领域的研究打下基础图像处理计算机视觉基于内容的图像、视频检索人脸识别、指纹识别、掌纹识别、虹膜识别图像分类、图像和视频的语义概念检测、,考试内容,平时作业50%，考试成绩50%平时作业选择下列两个之一：

分组完成一个大作业其他与图像处理相关的课题（需要上课老师认可）考试闭卷完成（基本概念、原理和算法）,助教老师,曹磊E_mail:

电话：

82529384注意：

有不懂的地方多问助教老师，充分发挥助教老师的指导作用,国内外相关会议和杂志（续）,国外会议：

IEEEInternationalConferenceonComputerVision（ICCV）IEEEInternationalConferenceonComputerVisionandPatternRecognition（CVPR）ACMMultimediaConference（MM）,国内外相关会议和杂志（续）,国外会议：

IEEEInternationalConferenceonImageProcessing（ICIP）IEEEInternationalConferenceonMultimediaandExpo（ICME）InternationalConferenceonPatternRecognition（ICPR）ACMInternationalConferenceonImageandVideoRetrieval（CIVR）,国内外相关会议和杂志（续）,国外期刊：

IEEETransactionsonPatternAnalysisandMachineIntelligence（PAMI）IEEETransactionsonImageProcessing（IP）IEEETransactionsonCircuitsandSystemsforVideoTechnology（CSVT）InternationalJournalofComputerVision（IJCV）PatternRecognition（PR）ImageandVisionComputing（IVC）,目前需要做的事情,选课学生发送下列信息给老师:

姓名学号联系方式：

E_mail,电话硕士生或博士生，年级所在院系、实验室、导师研究方向,数字图像处理基础,概述概念：

图像、数字图像、像素数字图像处理的起源数字图像处理的应用领域图像处理系统的部件基础知识图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,什么是图像？

定义为二维函数f（x,y）,其中，x,y是空间坐标，f（x,y）是点（x,y）的幅值灰度图像是一个二维灰度（或亮度）函数f（x,y）彩色图像由三个（如RGB,HSV）二维灰度（或亮度）函数f（x,y）组成,x,y,y,x,什么是数字图像？

像素组成的二维排列，可以用矩阵表示对于单色（灰度）图像而言，每个像素的亮度用一个数值来表示，通常数值范围在0到255之间，0表示黑、255表示白，其它值表示处于黑白之间的灰度彩色图像可以用红、绿、蓝三元组的二维矩阵来表示。

通常，三元组的每个数值也是在0到255之间，0表示相应的基色在该像素中没有，而255则代表相应的基色在该像素中取得最大值,y,x,数字图像的像素表示,x,y,什么是像素？

数字图像由二维的元素组成，每一个元素具有一个特定的位置（x,y）和幅值f（x,y）,这些元素就称为像素,数字图像处理的起源人类分析,图像在传输过程后的更好复原空间应用：

图像增强、图像复原医学图像作用：

通过图像增强、图像复原等技术，增强或复原模糊或损毁的图像机器感知自动字符识别OCR人脸识别指纹识别，生物特征识别,数字图像处理的应用领域,传统领域医学、空间应用、地理学、生物学、军事最新领域数码相机（DC）、数码摄像机（DV）指纹识别、人脸识别互联网、视频、多媒体等基于内容的图像检索、视频检索、多媒体检索水印、游戏、电影特技、虚拟现实、电子商务等数字图像处理的应用无处不在,例1：

图像增强直方图均衡化,例2：

人脸检测与识别,例3：

镜头边界检测,例4：

基于内容的图像检索例5：

基于内容的镜头检索,例6：

基于内容的视频片断检索,例7：

视频字幕识别,例7：

视频字幕识别,Fish,H.Jlntao,J.,River,E.Lahoud,MaI,T.B$alr,Boat,MeetJn,MJIIta,Monoous,Motorbike,视频语义标注的基本方法,测试视频,训练学习,标注,训练视频库,语义概念模型,视频标注,特征提取,特征提取,概念检测,例8：

101个视频概念的检测,输入图像,输出图像,图像处理系统的基本组成结构图像处理计算机图像,InternetInternet图像存储系统,数字化设备,图像输出设备,图像处理系统的基本组成结构主要由三大部分组成图像数字化设备，包括数码相机、数码摄像机、带照相和/或摄像功能的手机等图像处理设备，包括计算机和存储系统图像输出设备，包括打印机，也可以输出到Internet上的其它设备,图像存储系统,图像文件格式体系互联网用：

GIF、JPG印刷用：

TIF、JPG、TAG、PCX国际标准：

TIF、JPG、BMP图像存储体系：

分级存储内存存储：

处理时使用硬盘存储：

处理、备份时用（在线）备份存储：

光盘、磁带（离线、近线）网络存储：

SAN、NAS,为什么要用SAN,传统存储解决方案信息岛,存储区域网SAN（StorageAreaNetwork）,SAN,SAN是什么？

SAN是什么？

（续）,不是client/server,而是client/storagedevices独立于LAN之外的高速存储网络一般采用高速的光纤通道作为传输媒体（2Gbit/s）将存储设备通过光通道互连设备构成一个存储子网支持服务器和存储设备之间任意到任意的连接SAN上的任何一台服务器均可存取网络中的任何一个存储设备对网上的存储资源实施集中统一的管理,NAS（NetworkAttachedStorage）是什么？

是优化的文件服务器，存储设备与服务器均直接连接到LAN上，使用TCP/IP等LAN协议，通过LAN实现数据交换和存储管理。

由于使用网络协议，因而会有速度和延时的问题，且系统扩展能力受到网络带宽的限制。

FileI/O,FileI/O,SAN与NAS比较,数字图像处理基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系邻域处理方法是图像增强和复原过程的核心,图像的采样和量化大多数传感器的输出是连续电压波形为了产生一幅数字图像，需要把连续的感知数据转化为数字形式这包括两种处理：

取样和量化取样：

图像空间坐标的数字化量化：

图像函数值（灰度值）的数字化,图像采样空间坐标（x,y）的数字化被称为图像采样确定水平和垂直方向上的像素个数N、MM,N,函数取值的数字化被称为图像的量化，如量化到256个灰度级f,图像的量化,图像的采样与数字图像的质量,图像的采样与数字图像的质量,10241024512512,256256,128128,6464,3232,265x180,133x90,66x45,33x22,图像的采样与数字图像的质量,256灰度级,16灰度级,8灰度级,4灰度级,图像的量化与数字图像的质量,非统一的图像的采样在灰度级变化尖锐的区域，用细腻的采样，在灰度级比较平滑的区域，用粗糙的采样,图像的采样和量化,图像的采样和量化非统一的图像的量化在边界附近使用较少的灰度级。

剩余的灰度级可用于灰度级变化比较平滑的区域避免或减少由于量化的太粗糙，在灰度级变化比较平滑的区域出现假轮廓的现象,数字图像处理基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,二维离散亮度函数f（x,y）x，y说明图像像素的空间坐标函数值f代表了在点（x,y）处像素的灰度值二维矩阵Am,nm,n说明图像的宽和高。

矩阵元素a（i，j）的值，表示图像在第i行，第j列的像素的灰度值；i,j表示几何位置,数字图像的表示,图像描述信息如图像高度和宽度等信息图像数据顺序存放的连续数据BMP格式,1.位图文件头2.位图信息头3.调色板4.图像数据,head,Data,数字图像的表示,typedefstructtagBITMAPFILEHEADER,BITMAPFILEHEADER;,BMP格式1、位图文件头,typedefstructtagBITMAPINFOHEADER,BITMAPINFOHEADER;,BMP格式2、位图信息头,BMP格式3、调色板,typedefstructtagRGBQUAD,BYTEBYTEBYTEBYTE,rgbBlue;rgbGreen;rgbRed;rgbReserved;,/该颜色的蓝色分量/该颜色的绿色分量/该颜色的红色分量/保留值，不考虑,RGBQUAD;注：

有些位图不需要调色板，如真彩色图，它们的BITMAPINFOHEADER后面直接是位图数据,BMP格式4、实际的图像数据对于2色位图，1位表示一个像素颜色，所以一个字节表示8个像素对于16色位图，4位表示一个像素颜色，所以一个字节表示2个像素对于256色位图，1个字节表示1个像素对于真彩色图，3个字节表示一个像素,数字图像处理基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,图像的质量：

1、层次灰度级：

表示像素明暗程度的整数量例如：

像素的取值范围为0-255，就称该图像为256个灰度级的图像层次：

表示图像实际拥有的灰度级的数量例如：

具有32种不同取值的图像，可称该图像具有32个层次图像数据的实际层次越多，视觉效果就越好,256个层次的图像,64个层次的图像16个层次的图像,图像的质量：

1、层次,图像的质量：

2、对比度对比度：

是指一幅图像中灰度反差的大小对比度=最大亮度/最小亮度,与清晰度相关的主要因素,亮度对比度尺寸大小细微层次颜色饱和度,图像的质量：

3、清晰度,降低亮度,影响清晰度因素1、亮度,原图,降低对比度,原图,影响清晰度因素2、对比度,缩小尺寸,原图,影响清晰度因素3、尺寸大小,减少细微层次,原图,影响清晰度因素4、细微层次,降低颜色饱和度,原图,影响清晰度因素5、颜色饱和度,数字图像处理基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,像素间的一些基本关系,相邻像素：

4邻域D邻域8邻域连通性4连通8连通m连通距离,4邻域：

像素p（x,y）的4邻域是：

（x+1,y）；（x-1,y）；（x,y+1）；（x,y-1）用N4（p）表示像素p的4邻域（x,y+1）,（x-1,y）,P,（x+1,y）,（x,y-1）,相邻像素4邻域,D邻域定义：

像素p（x,y）的D邻域是：

对角上的点（x+1,y+1）；（x+1,y-1）；（x-1,y+1）；（x-1,y-1）用ND（p）表示像素p的D邻域,相邻像素D邻域,（x-1,y+1）,（x+1,y+1）,（x-1,y-1）,（x+1,y-1）,相邻像素8邻域8邻域定义：

像素p（x,y）的8邻域是：

4邻域的点D邻域的点用N8（p）表示像素p的8邻域。

N8（p）=N4（p）+ND（p）,连通性是描述区域和边界的重要概念两个像素连通的两个必要条件是：

两个像素的位置是否相邻两个像素的灰度值是否满足特定的相似性准则（或者是否相等）4连通、8连通、m连通的定义,像素间的连通性,对于具有值V的像素p和q，如果q在集合N4（p）中，则称这两个像素是4连通的,像素的连通性4连通,像素的连通性8连通对于具有值V的像素p和q，如果q在集合N8（p）中，则称这两个像素是8连通的,对于具有值V的像素p和q，如果:

I.q在集合N4（p）中，或II.q在集合ND（p）中，并且N4（p）与N4（q）的交集为空（没有值V的像素）则称这两个像素是m连通的，即4连通和D连通的混合连通。

像素的连通性m连通,p,q,是m连通,不是m连通,像素的连通性m连通,通路的定义一条从具有坐标（x,y）的像素p,到具有坐标（s,t）的像素q的通路，是具有坐标（x0,y0）,（x1,y1）,.,（xn,yn）的不同像素的序列。

其中，（x0,y0）=（x,y），（xn,yn）=（s,t），（xi,yi）和（xi-1,yi-1）是邻接的，1in，n是路径的长度。

如果（x0,y0）=（xn,yn）,则该通路是闭合通路,像素的连通性通路,像素之间距离的定义欧氏距离定义D4距离（城市距离）定义D8距离（棋盘距离）定义,像素的连通性距离,像素之间距离的定义对于像素p、q和z，分别具有坐标（x,y），（s,t）和（u,v），如果

（1）D（p,q）0（D（p,q）=0，当且仅当p=q）,

（2）D（p,q）=D（q,p）（3）D（p,z）D（p,q）+D（q,z）则称D是距离函数或度量,欧式距离定义像素p（x,y）和q（s,t）间的欧式距离定义如下：

Dp,qxs2yt2e对于这个距离计算法，具有与（x,y）距离小于等于某个值r的像素是：

包含在以（x,y）为圆心，以r为半径的圆平面,D4距离（城市距离）,像素p（x,y）和q（s,t）之间的D4距离定义为：

D4（p,q）=|xs|+|yt|,D4距离举例具有与（x,y）距离小于等于某个值r的那些像素形成一个菱形例如，与点（x,y）（中心点）D4距离小于等于2的像素，形成右边固定距离的轮廓,具有D4,=1的像素是,（x,y）的4邻域,r,D8距离（棋盘距离）像素p（x,y）和q（s,t）之间的D8距离定义为：

D8（p,q）=max（|xs|,|yt|）,r,D8距离举例,具有与（x,y）距离小于等于某个值r的那些像素形成一个正方形例如，与点（x,y）（中,心点）D距离小于等,8于2的像素，形成右边固定距离的轮廓,具有D8,=1的像素是,（x,y）的8邻域,数字图像处理

（1）,任何问题？

研究生课程,数字图像处理DigitalImageProcessing,彭宇新北京大学计算机科学技术研究所E_mail:

研究生课程,图像增强,处理方法,处理策略,处理对象,空域方法,频域方法全局处理,点处理（变换）,模板处理（滤波）,局部处理,灰度图像,彩色图像,空间域图像增强,基础知识基本概念点运算代数运算直方图运算应用实例镜头边界的检测（补充知识）空间滤波器平滑空间滤波器锐化空间滤波器,基本概念图像增强分为两类：

空间域增强：

对图像的像素直接处理频域增强：

修改图像的傅里叶变换（后面介绍）空间域增强：

gx,yTfx,yf（x,y）是原图像g（x,y）是处理后的图像T是作用于f的操作，定义在（x,y）的邻域空间域增强的简化形式：

sTrr是f（x,y）在任意点（x,y）的灰度级s是g（x,y）在任意点（x,y）的灰度级,点运算,点运算1反转变换，2对数变换,反转变换：

sL1r,0,L-1为图像的灰度级。

作用：

黑的变白，白的变黑,对数变换：

sclog1rc是常数,有时原图的动态范围太大，超出某些显示设备的允许动态范围，如直接使用原图，则一部分细节可能丢失解决办法是对原图进行灰度压缩，如对数变换,r0,点运算1反转变换，2对数变换,图a显示了值为0-1.5106的傅里叶频谱在一个8位的系统中显示图b显示了对数变换在8位系统中的显示结果,a,b,点运算3幂次变换,幂次变换：

c和是正常数1提高灰度级，在正比函数上方，使图像变亮1降低灰度级，在正比函数下方，使图像变暗,scr,例：

人体胸上部脊椎骨折的核磁共振图像1提高灰度级，使图像变亮。

c=1,0.6,0.4,0.3,点运算3幂次变换,0.4增强效果最好,例：

航空地面图像1降低灰度级，使图像变暗c=1,3,4,53,点运算3幂次变换,4,5,点运算4对比度拉伸,思想：

提高图像处理时灰度级的动态范围,点运算5灰度级切片,关心范围指定较高值，其它指定较低值s,关心范围指定较高值，其它保持不变,r,r,s,a变换,b变换,一幅图像,a变换结果,0,255,255,点运算5灰度级切片,点运算6位平面切片,位平面切片假设图像中每个像素的灰度级是256，这可以用8位来表示，假设图像是由8个1位平面组成，范围从位平面0到位平面7。

其中，位平面0包含图像中像素的最低位，位平面7包含像素的最高位,点运算6位平面切片,作用通过对特定位提高亮度，改善图像质量较高位（如前4位）包含大多数视觉重要数据较低位（如后4位）对图像中的微小细节有作用分解为位平面，可以分析每一位在图像中的相对重要性,点运算6位平面切片一幅8比特分形图像,点运算6位平面切片,代数运算,算术运算加减乘除:

一幅图像取反和另一幅图像相乘逻辑运算非与或异或,加法运算的定义C（x,y）=A（x,y）+B（x,y）主要应用举例去除叠加性噪声生成图像叠加效果,代数运算加法,去除叠加性噪声对于原图像f（x,y）,有一个噪声图像集,gi（x,y）,i=1,2,.N,其中：

gi（x,y）=f（x,y）+h（x,y）i假设噪声h（x,y）均值为0，且互不相关N个图像的均值定义为：

g（x,y）=1/N（g0（x,y）+g1（x,y）+gN（x,y）期望值E（g（x,y）=f（x,y）上述图像均值将降低噪声的影响,代数运算加法,代数运算加法,原图,噪声图像,N=8,N=16,N=64,N=128,去除叠加性噪声星系图举例,N=8,N=16,N=64,N=128,去除叠加性噪声星系图举例,灰度级,差别越小，图像越暗,原图与均值图像的差值图像和直方图像素个数均值减小，标准差减小,生成图像叠加效果对于两个图像f（x,y）和h（x,y）的均值有：

g（x,y）=1/2f（x,y）+1/2h（x,y）推广这个公式为：

g（x,y）=f（x,y）+h（x,y）其中+=1可以得到各种图像合成的效果，也可以用于两张图片的衔接,代数运算加法,代数运算加法,减法的定义C（x,y）=A（x,y）-B（x,y）主要应用举例显示两幅图像的差异，检测同一场景两幅图像之间的变化如：

视频中镜头边界的检测去除不需要的叠加性图案图像分割：

如分割运动的车辆，减法去掉静止部分，剩余的是运动元素和噪声,代数运算减法,检测同一场景两幅图像之间的变化,设：

时间1的图像为T1（x,y），时间2的图像为T2（x,y）g（x,y）=T2（x,y）-T1（x,y）例：

视频中镜头边界的检测（后面介绍）,代数运算减法,去除不需要的叠加性图案设：

背景图像b（x,y），前景背景混合图像f（x,y）g（x,y）=f（x,y）b（x,y）g（x,y）为去除了背景的图像。

代数运算减法,代数运算减法,g（x,y）,叠加蓝色背景,去除不需要的叠加性图案例：

电视制作的蓝屏技术问题？

f（x,y）,减去背景b（x,y）,代数运算乘法乘法的定义C（x,y）=A（x,y）*B（x,y）主要应用举例图像的局部显示用二值蒙板图像与原图像做乘法,代数运算乘法,非的定义g（x,y）=255-f（x,y）主要应用举例获得一个阴图像获得一个子图像的补图像,代数运算1、非,代数运算1、非获得一个阴图像,代数运算1、非获得一个子图像的补图像,=,与运算的定义g（x,y）=f（x,y）h（x,y）主要应用举例求两个子图像的相交子图,=,代数运算2、与,代数运算2、与模板运算：

提取感兴趣的子图像,或运算的定义g（x,y）=f（x,y）vh（x,y）主要应用举例合并子图像,=,代数运算3、或,代数运算3、或模板运算：

提取感兴趣的子图像,异或运算的定义g（x,y）=f（x,y）h（x,y）主要应用举例获得相交子图像,代数运算4、异或,=,直方图运算,直方图定义直方图均衡化,直方图定义图像直方图的定义

（1）,一个灰度级在范围0，L-1的数字图像的直方图是一个离散函数h（rk）=nknk是图像中灰度级为rk的像素个数rk是第k个灰度级，k=0,1,2,L-1由于rk的增量是1，直方图可表示为：

p（k）=nk即，图像中不同灰度级像素出现的次数,图像直方图的定义

（2）一个灰度级在范围0，L-1的数字图像的直方图是一个离散函数p（rk）=nk/nn是图像的像素总数nk是图像中灰度级为rk的像素个数rk是第k个灰度级，k=0,1,2,L-1,直方图定义,两种图像直方图定义的比较,其中，定义

（2）使函数值正则化到0,1区间，成为实数函数函数值的范围与象素的总数无关给出灰度级rk在图像中出现的概率密度统计,直方图定义,图像直方图的定义举例p（rk）,rk,直方图定义,灰度级rk,像素数目p（rk）,直方图均衡化达到的效果,直方图应用举例直方图均衡化希望一幅图像的像素占有全部可能的灰度级且分布均匀，能够具有高对比度使用的方法是灰度级变换：

s=T（r）基本思想是把原始图的直方图变换为均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果,直方图均衡化,直方图均衡化,s=T（r）T（r）满足下列两个条件：

0r1,

（1）T（r）在区间0r1中为单值且单调递增

（2）当0r1时,0T（r）1条件

（1）保证原图各灰度级在变换后仍保持从黑到白（或从白到黑）的排列次序条件

（2）保证变换前后灰度值动态范围的一致性,直方图均衡化Pr（r）是r的概率密度函数，Ps（s）是s的概率密度函数，Pr（r）和T（r）已知，且T-1（s）满足上述条件

（1），所以,PsP,rdr,ds,r,s,直方图均衡化,已知一种重要的变换函数：

sTr0prwdw,r,rd,pwdwpr,dr,dsdTdrdr,r,r,r,0,关于上限的定积分的导数就是该上限的积分值（莱布尼茨准则）,pssprrds,pr,pr,1,1,dr,r,r,直方图均衡化,对于离散值：

pr,n,nk,rk,sTr,pr,kj0,j0k0,1,2,L-1sk称作直方图均衡化,已知变换函数的离散形式为：

k,j,rj,kk,n,n,将输入图像中灰度级为rk（横坐标）的像素映射到输出图像中灰度级为sk（横坐标）的对应