基于内容的图像检索界面设计.docx
- 文档编号:23614272
- 上传时间:2023-05-19
- 格式:DOCX
- 页数:20
- 大小:299.35KB
基于内容的图像检索界面设计.docx
《基于内容的图像检索界面设计.docx》由会员分享,可在线阅读,更多相关《基于内容的图像检索界面设计.docx(20页珍藏版)》请在冰豆网上搜索。
基于内容的图像检索界面设计
目录
摘要3
Abstract4
第一章绪论5
1.1引言5
1.2CBIR的研究目的及意义6
1.3CBIR的研究现状7
第二章CBIR系统环境及框架9
2.1前言9
2.2CBIR的系统功能10
2.3CBIR的实例系统12
第三章基于Oracle数据库的图像检索系统设计15
3.1系统组织结构15
3.2数据库的设计及系统调用方法16
3.3系统交互界面的设计与实现19
第四章结束语21
4.1工作总结21
4.2进一步的工作21
致谢22
参考文献23
摘要
基于内容的图像检索是90年代以来逐渐兴起的一个新的研究方向。
传统的图像检索方法是以数据库技术为基础、以大工作量的人工标注为代价的基于文本的检索。
而我们要研究的基于内容的图像检索,就是要以计算机视觉技术为依托,根据图像的视觉特征(内容),以模式匹配的方法进行以计算机为主导的图像检索。
它大大减少了人工标注的沉重负担,提高了检索的速度和效率,为图像检索的应用提供了更广阔的前景。
首先是构建一个图像检索系统的最基本技术,包括图像的预处理,图像的颜色、纹理特征的提取及表示,视觉特征相似度量及两图像间的距离计算。
其次我们介绍了为提高系统效率而采用的性能优化方法,它可以从提高检索的准确度和速度两个角度考虑,分别对应于将人的因素引入检索过程的自相关反馈方法和事先对图像集进行聚类以减少检索的计算量的矢量量化方法。
总之,本文在重点分析我们系统的基础上,还对国内外其它的典型系统作了介绍;在介绍系统中用到的一些关键技术实现方法的同时,详细分析了其背景知识和理论依据;描述了系统的总体结构。
关键词:
基于内容的图像检索,颜色特征,纹理特征,数据库。
Abstract
ContentBasedImageRetrieval(CBIR)hasbeenaveryactiveresearchareasince1990's,withthethrustfromtwomajorresearchcommunities,DatabaseManagementandComputerVision.ThetraditionalapproachofImageRetrievalisbasedonthetechnologyofDatabaseManagementSystems(DBMS),withthecostofheavyburdenofmanualannotation.TheproposedContentBasedImageRetrieval,however,isanewapproachbasedonComputerVision,PatternRecognitionwhichperformthecomputer-centeredimageretrievalaccordingtothecontentofimages.
First,thebasictechniquesforestablishingthepraticalCBIRsystem,suchas,imageprocessing,theextractingofvisualfeaturesforimageandthecomputingofsimilaritybetweenvisualfeaturesofdifferentimagesandfurthermorethecomputingofdistancebetweenimages.
Second,theadvancedapproachtoimprovesystemperformance.Theycanbedividedintotwocategories:
oneforimprovingtheaccuracyofretrievalandtheotherforimprovingthespeedofretrieval,inoursystem,formermethodisrelevancefeedbackandthelatterisvectorquantitation.
Lateron,usingsemanticfeatureofimagesinCBIRsystem.Themodelforcombiningsemanticfeatureandvisualfeaturesofimagesintoonesystemisproposed
Inconclusion,thepurposeofthispaperistryingtobeacomprehensivearticleforCBIRsystem:
Besidesconcentrateonoursystem,weintroducedsomeotherfamoussystemstoo.Inadditiontopresentedsomeimportantmethodsusedinoursystem,wealsogettothebottomoftheirtheoreticaloriginationandbackgroundknowledge.Therearealsosomedetailedanalysesoftypicalalgorithmsandnecessaryexperimentresultsinthispaper.
Keywords:
ContentBasedImageRetrieval,Color,Texture,Database
第一章绪论
1.1引言
随着互联网的逐渐普及和相关应用技术迅速发展,尤其是多媒体技术的迅速发展,人们正面对着越来越多日益增长的信息,而信息早已成为当今生活中极其重要的一种资源,能否有效的对这种资源进行利用也已经成为人们最关注的问题之一。
计算机信息检索技术正是作为解决这一问题的关键环节开始被人们所认识和研究的。
从20世纪60年代开始,便有越来越多的人逐渐投入到这项工作中来。
到了80年代后期,基于自由文本的搜索技术发展已比较成熟,一定程度上使得我们能够从互联网和大型数据库里检索出期望的信息。
除了技术成熟之外,文本检索直观方便,且实现简单,具有得天独厚得优势。
在今天,基于文本的检索仍然占据了信息检索应用的主要部分,并且可以预见在今后相当长的时间里仍将如此。
然而同时,信息检索的对象也在不断的扩展。
多媒体信息已逐渐成为信息的主导形式,它融合包含了图像、图形、文本、声音、视频等的种种内容,原本单纯的文本检索显然已经不能够适用于多媒体信息检索的各个方面,因此人们开始研究针对多媒体信息的新的检索技术。
研究表明,视觉信息在多媒体信息中起着主导作用,其所包含的信息量很大,而且人的视觉系统的识别和处理能力也非常强大。
在视觉信息系统中起着关键性作用的是图像信息。
人们在日常生活当中会不断的接收到大量的图像信息。
这些图像信息除了包含静态图像之外,还包含视频、图形、动画,乃至各种符号文字。
与此同时,科学文化、商业、教育、娱乐、医疗等各个领域也都在不断的产生着新的图像数据,如NASA的地球观测系统每天就能产生约1TB左右的图像数据。
图像信息所包含的内容丰富多变,并且其内容常因人们视觉主观感受的不同而存在差别。
传统的图像检索和管理技术在图像内容描述和检索方面往往会因缺乏灵活性而显得过于呆板,而且面对复杂应用或大量不断变化着图像资源时效率低下。
新的图像检索和管理技术已经成为人们日常工作生活的迫切需要。
其技术根本在于对图像内容的获取和管理,只有这样,才能实现图像系统的智能化和高效率。
最终我们需要考虑的是一个综合了多个研究领域,如数字图像处理,图像理解,数据库,信息检索,计算机视觉和人工智能等的图像信息检索及管理的方法。
1.2CBIR的研究目的及意义
传统的图像检索方法是使用文本信息来描述图像的内容.通过对文本关键字的检索匹配达到检索图像的目的。
这种方式直观简单,而且能够从用户角度表达图像内容的高层语义。
早期的图像数据库如KodakPictureExchangeSystem(KPX),ThePressLinkLibrary等都采用了这种检索方式在图像数据库规模不大,图像内容相对简单的时候,基于文本的检索方式能够达到令人满意的效果。
然而,随着图像数据库规模越来越大,并且图像中所包含的信息和内容也越来越丰富,传统的文本检索方式己不能够胜任。
一方面,文本描述和关键字设定主要依靠人的工作,自动化程度很低,费时费力:
另一方面,对于复杂的图像,不同的人有不同的主观感受,因此可能造成文本信息的不稳定,从而会影响检索结果的准确性和可靠性。
上世纪90年代初,基于内容的图像检索(Content-BasedImageRetrieval,CBIR)技术的出现突破了传统图像检索方法的局限性。
它利用图像处理,图像理解等技术获得图像以及图像中对象的内容信息并加以表示,检索则根据图像的内容语义和上文联系进行.基于内容的图像检索提供了一种在海量图像或视频库中进行有效检索的方法,因而在许多领域都有着重要的应用价值,在某种程度上已经实用或正处于研究阶段的应用方向士要包括:
(1)互联网应用
主要包括多媒体搜索引擎,电子商务,视频点播等。
(2)生物医学中的应用
主要包括癌细胞识别,显微图像、X光图像及超声图像的分析处理。
CT,MRI及Y射线图像分析处理,病理组织切片分析,染色体分析,内脏大小形状及异常检查,热像分析和红外像分析等。
(3)遥感航大中的应用
主要包括多光谱卫星图像分析,地形、地图和国土普查,地质矿藏勘探,森林资源勘探、分类、防火,水利资源探查及洪水泛滥检测,海洋及渔业资源监测预报,气象及大气预报图的合成及分析预报,大文探测和分析,道路交通检测和管理等。
(4)工业应用
主要包括零件和产品的无损检测,纺织、刺绣的花型和图案设计等。
(5)军事及公安领域的应用
主要包括军事侦察、定位和引导,目标识别与制导,雷达地形侦察,人像鉴定识别,印章鉴定识别等。
总之,CBIR技术是解决多媒体信息检索的有效途径。
海量图像数据库的检索是其主要的应用方向。
技术的不断发展和新技术的产生为CBIR提供了广阔的前景,人们日常生活和工作的众多方面都会成为CBIR的应用领域,CBIR也将为人们带来新的体验和感受。
1.3CBIR的研究现状
自从基于内容的图像检索诞生之日起,技术的不断进步和美好前景使人们对其的关注也在与日俱增。
今天,涉及到CBIR的各个方面的最大研究工作正在投入进行中。
这些工作主要包括以下几个方面:
1.图像语义特征的提取和表示。
图像的语义特征可分为底层语义特征和高层语义特征。
底层语义特征是从图像视觉特征出发获得的,包括颜色特征、形状特征、纹理特征等等。
对颜色特征而言。
颜色直方图是最早和目前采用最为广泛的描述方式,由Swain和Ballard于1991年提出。
除此之外,Stricker等提出了颜色矩的方法:
Smith等还提出了颜色集的概念,Kankanhalli等则采用了颜色聚类的方法。
颜色特征可作为全局特征和局部特征考虑,为了考查图像的局部特征,通常采用的方法是对图像进行分割或分块。
对形状特征而言,较为成熟的播述方法有斜率直方图边缘点方向直方图边界链码,形状不变矩等。
然而形状特征的提取相对比较困难,一般只适用于简单图形或二值图像。
纹理特征可分为基于统计的纹理特征和基丁结构的纹理特征。
Haralick提出了灰度共生矩阵(Co-occurrenceMatrix)的概念,并由此提取其统计特征作为图像纹理的描述中提出的Tamura纹理能较好的对应于人类的视觉感知,引入了MRSAR(Multi-ResolutionSimultaneousAuto-RegressiveModel)模型:
使用了树式小波变换和Gabor小波变换来提取图像纹理特征.图像的高层语义特征往往与人的主观认识有关,因此对其的表示和提取更加困难.
2图像数据库的生成和索引。
为了进行基于内容的检索而提取的图像特征矢量需要存放在数据库中,以便管理和索引。
这些特征矢量往往维数可高达数十维。
在组合检索时甚至是上百维,并且特征矢量之间需要进行复杂的联合、比对、以及成组的插入删除等操作。
如何有效的对图像数据库进行组织和索引是关系到CBIR系统性能的重要因素。
这涉及到高维索引技术以及数据库技术。
目前这方面的研究工作主要针对于对高维索引的降维方法和建立多维索引的方法,以及对关系数据库的改进以便给予多媒体数据更好的支持等等。
3.CBIR系统结构接口
CBIR的应用主要有两类,一类是面向特定领域的应用,另一类是面向网络的应用。
具体来说,不同场合和不同目的的CBIR系统,其所拥有的功能,数据库组织,系统环境和检索机制等也不相同,因此需要有与之相匹配的系统结构作为支撑,以发挥出CBIR的最大功效。
目前,CBIR的各个功能模块的划分已得到普遍的认可,进而产生了拥有清晰层次结构的系统框架。
在系统环境方面,基于Web模式的CBIR系统因具有非常广阔的应用前景而受到人们越来越多的关注。
另外,分布式的检索系统能够突破集中式体系结构的局限,在系统相应速度、检索速度和稳定性方面拥有更为良好的性能,因而也在人们的研究范围之内。
第二章CBIR系统环境及框架
2.1前言
实现基于内容的图像检索的一个重要方面是CBIR系统本身。
作为技术和算法的实现平台和载体,良好的系统构架所提供的易维护性、可扩充性和稳定性等等是实现CBIR设计目标的重要保证:
另外,系统所提供的方便友好的用户交互手段也是CBIR得以实用的必要条件。
自从基于内容的图像检索诞生以来,人们对CBIR系统应用模式的研究也在不断的进行中。
随着互联网的不断发展和Internet上图像数据的迅速增加,目前,设计和实现面向网络环境的CBIR系统已经成为该领域未来主要的发展方向.
在网络环境的应用系统设计主要可遵循两种模式,即Client/Server模式和Browser/Server模式,二者有各自的优缺点和适用范围。
一般来说,C/S模式中客户端的计算资源能够得到更好的利用,很多工作可以在客户端完成,如:
自定义的用户界面,丰富多变的交互方式,用户查询要求的抽象表示及调整,以及检索结果的组织、缓存和显示等等;然而胖客户所引发的诸如系统维护和更新困难等问题在C/S模式下很难得到解决,另外客户端与用户操作系统平台的相关性也使得系统的应用受到局限。
相比之下,B/S模式使用遵循一系列统一标准的Browser作为客户端,用户可以跨平台使用系统所提供的服务。
同时,由于应用程序逻辑部分和绝大多数计算工作都由服务器端集中处理,因此整个系统的维护和更新任务也将能够集中在服务器端进行,从而使得这一过程变得更加简单可靠。
另一方面,Browser风格的客户端能够提供清晰统一的用户界面,使得用户的操作更加方便容易。
除此之外,随着Web技术的发展,目前大多数浏览器都通过对Java等的支持在一定程度上弥补了仅使用单纯的Web页面与用户交互时的局限性。
然而,CBIR系统的层次结构相对复杂,因此无论是选择C/S模式还是B/S模式,在进行系统的设计与实现时都应当对系统的可理解性,可扩充性,可复用性以及负载平衡等方面给予充分的考虑,这需要软件工程和软件方法学等方面理论技术的指导。
而在这一点上,Model/View/Controller(MVC)是被广泛接纳和采用的设计模式。
MVC模式体现了问题分层的思想。
传统的MVC模式仅针对程序设计方法而言,随着对问题认识的深入,MVC模式的含义也发生了变化,其涵盖面得到了扩展,从而成为了系统设计阶段应用程序框架构建的一种指导方法。
一般而言,Model指的是数据模型,也就是问题的表示,它代表了所处理的对象。
模型可大可小,从一种数据结构到整个应用程序对象都可以作为某种意义上的模型,然而无论是哪种模型,都要求对其所表示对象进行合理的封装;View指的是Model的展示以及与用户的交互方式,因此通常会涉及到系统的用户界面,是应用程序与用户的接口部分。
一个Model可能会拥有多个与之相关的View;Controller指的是应用程序逻辑,它负责响应用户输入和程序事件,改变Model的状态,并控制协调整个应用程序的流程,维持系统内部逻辑的一致性。
与C/S模式相比,B/S模式在实现时系统层次的划分通常更加明确,这种层次划分是由B/S模式中较为固定的系统框架原型所决定的。
而B/S模式的系统框架往往与MVC模式的出发点有很多共通之处,因此,在B/S模式下MVC模式的引入会更加简单自然。
在设计和实现基于内容的图像检索系统时,首先要根据实际应用情况权衡利弊,选择适当的系统环境;接下来需要充分考虑基于内容检索系统的功能要求,并对其进行分解和模块化工作:
最后在此基础上对各个模块考虑采用适当的设计模式进行实现。
以上是CBIR系统环境和框架设计的主要方面。
2.2CBIR的系统功能
一个完整的CBIR系统通常由两个子系统构成:
即图像数据库生成子系统和图像查询子系统。
前者负责离线(Off-line)提取图像特征并创建索引,后者负责在线(On-line)检索图像。
每个子系统有可进一步按功能划分为相应的子模块,整个CBIR系统的功能框架如图3.1所示,各部分的具体含义如下:
(1)图像预处理
在对图像进行特征提取之前,可能需要对图像进行一系列预处理的工作,如调整图像的大小、去噪、图像的增强等等。
目的是统一图像的尺寸,或者提高图像的质量.以便接下来的处理能够获得更好的效果。
(2)对象的标识
除了预处理,某些情况下还可能需要对图像做进一步的标识,如图像边缘的检测,图像对象的分割等等。
这些信息能够有效的指导接下来特征提取任务的作用范围和具体方法的选择。
尤其是在对象分割明确的情况下,特征提取将能够获得关于图像高层语义的更多信息。
(3)特征提取
即针对图像的局部(分块或标识出的对象)或全局,提取能够表示图像语义特征的数据,并将所提取的特征与图像关联起来,保存在图像库中。
(4)图像数据库
图像数据库可分为两个部分:
图像库和特征库。
图像库中存放的是图像的原始数据及其对应的基本信息;特征库中存放的是图像库中图像对应的特征数据。
一般而言,图像原始数据可以直接利用诸如BLOB的数据类型存放在数据库中,然而更常见的做法是利用文件系统保存,而数据库中只存放相关的文件索引。
特征库中所存放的特征一般以向量的方式组织,对于高维的特征向量还可以利用树、聚类等高维索引技术提高索引的效率。
另外,CBIR系统中所使用的辅助知识也可以组织成知识库,保存在图像数据库中。
(5)用户查询接口
用户查询接口的一个重要作用是提供让用户提交查询需求的手段,如按示例检索,按草图检索,随机浏览等等;另外,用户的查询应当可以针对图像不同的视觉特征,还应当可以针对图像的某一局部或是全部等等。
查询接口的另一个重要作用是检索结果的返回和显示,这是实现检索目的所必不可少的。
(6)用户相关反馈
相关反馈是提高检索精度的有效手段。
它需要用户参与检索的过程,通过评价每次检索结果的方式来干预检索引擎的行为,从而期望下一步检索能够得到更加满意的结果。
(7)检索引擎
检索引擎负责根据用户的检索需求,在图像数据库中通过特征匹配的方法进行检索。
并将检索结果予以保存。
检索引擎可能包含了多种检索策略,它们各自使用不同的特征匹配方法,针对不同的检索需求,检索引擎选择适当的检索策略。
图2.1CBIR的功能框图
2.3CBIR的实例系统
基于内容的图像检索从诞生至今,已经吸引了大量研究机构、人学、乃至企业的关注。
人们在开展研究T作的同时,也开发出了许多CBIR的原型系统。
这些原型系统大都被安置在Internet上供演示和试用,然而,也有一些系统的成果已经成功的实现了商业化,如在OracleTM810中提供了ImageDataCartridges和VirtualImageRetrievalCartridges,采用的即是Virage公司的图像查询引擎.下面我们将对目前主要的CBIR实例系统做简单的介绍:
1.QBIC
QBIC(QueryByImageContent)是由IBMT.J.Watson研究中心于90年代开发的。
它的出现对子CBIR系统框架和技术产生了深远的影响,因此最常被人们作为CBIR的原型系统而广泛引用。
QBIC提供对大型图像和视频数据库的查询检索,支持多种混合的检索方式,包括基于图像颜色及其分布、纹理、形状、用户构造的草图、多对象(Multi-Object)以及基于示例图像的查询(QBE),同时也提供了一组丰富的图形用户接口。
QBIC中使用的颜色特征为k=64的颜色直方图;纹理特征为Tamura纹理表示的一种改进,即粗糙度、对比度和方向的结合:
形状特征包括面积、圆形度、偏心度、主轴偏向和一组代数不变矩。
QBIC是少数考虑了高维特征索引的系统之一,其索引模块先使用K-L变换降低特征维数,再利用R*树构造多维索引结构。
QBIC同时支持基于文本关键字的汽询和基于图像内容相似性的查询,并将二者结合在一起。
2.VisualSeek/WebSeek
VisualSeek是由美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验室共同开发的图像检索系统,其姊妹系统WebSeek是面向WWW的文本和图像搜索工具。
VisualSeek支持两种CBIR技术:
基于颜色直方图和基于颜色区域空间位置关系的查询。
系统使用的视觉特征包括颜色集(ColorSet)和基于小波变换的纹理特征。
采用的索引结构是基于二叉树的索引结构
3.Virage
Virage由美国Virage公司开发,支持基于图像颜色、颜色布局、纹理和结构〔指对象的边界信息)的可视化查询Virage比QBIC更进一步,支持由上述四个原子查询的任意组合,其最大特点在于:
用户可以按自己的需要调整这些检索特征的权值,从而可以控制检索的方向。
Virage还提出了图像管理的一个开发式框架,将视觉特征称为原语(Primitive),并按通用型(颜色、形状和纹理等)和领域相关型(如面部识别、癌细胞检测等)分类。
不同的“原语”可以按领域的要求加入开放式框架。
4.MARS
MARS(MultimediaAnalysisandRetirevalSystem)是由美国UUC(UniversityofIllinoisatUrbana-Champaign)大学开发的。
它与其他系统在研究范围和技术上都有不同,是对计算机视觉、数据库管理系统和信息检索三个领域进行交又研究的结果。
MARS系统的研究重点在于如何把不同的视觉特征组织成为一个可以动态适应于不同应用和不同用户的、具有实际意义的检索机制。
MARS正式提出了针对图像检索的相关反馈(RelevenceFeedback)结构。
该结构通过用户反馈对系统参数进行调整,以求能满足用户的特定需求。
5.Photobook
Photobook是由美国MTr媒体实验室开发的用于图像浏览和搜索的一套交互式工具。
其检索使用形状、纹理和面部外形三种特征,同时还能结合文本关键字进行查询。
在Photobook的最近的扩展版本FourEyes中,考虑到没有一个单独的特征可以很好的表示一组
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 内容 图像 检索 界面设计