CameraLink接口数字相机图像显示装置解读.docx
- 文档编号:25326080
- 上传时间:2023-06-07
- 格式:DOCX
- 页数:27
- 大小:350.28KB
CameraLink接口数字相机图像显示装置解读.docx
《CameraLink接口数字相机图像显示装置解读.docx》由会员分享,可在线阅读,更多相关《CameraLink接口数字相机图像显示装置解读.docx(27页珍藏版)》请在冰豆网上搜索。
CameraLink接口数字相机图像显示装置解读
CameraLink接口数字相机图像显示装置(技术)摘要:
由于目前基于CameraLink接口的各种相机都不能直接显示,因此本文基于Xilinx公司的Spartan3系列FPGAXC3S1000-6FG456I设计了一套实时显示系统,该系统可以在不通过系统机的情况下,完成对相机CameraLink信号的接收、缓存、读取并显示。
系统采用两片SDRAM作为帧缓存,将输入的CameraLink信号转换成帧频为75Hz,分辨率为1,024×768的XGA格式信号,并采用ADV7123JST芯片实现数模转换,将芯片输出的信号送到VGA接口,通过VGA显示器显示出来。
设计的系统可以应用于各种基于CameraLink接口的相机输出信号的实时显示。
关键词:
CameraLink;FPGA;SDRAM控制器;实时显示
ResearchontheReal-timeDisplayTechnologyBasedonCameraLink
Abstract:
AllcamerasbasedontheCameraLinkinterfacecannotbedisplayeddirectlyatpresent.Therefore,wedesignedareal-timedisplaysystembasedontheXilinxSpartan3FPGAXC3S1000-6FG456I.Oursystemcouldreceive,store,readanddisplaytheCameraLinksignalwithoutthesystemcomputer.TwoSDRAMswereusedasframestorage.InputCameraLinksignalwasconvertedtoXGAsignalwith1024×768pixles/frameat75frame/s.TheADV7123JSTwasusedasD/Aconvertor.ItsoutputsignalwastransmittedtotheVGAinterfaceanddisplayedonthescreenoftheVGAmonitor.OursystemcoulddisplaytheoutputsignalofallcamerasbasedontheCameraLinkinterface.
Keywords:
CameraLink;FPGA;SDRAMcontroller;real-timedisplay
第一章绪论3
1.1引言3
1.2数字图像处理的发展3
1.3目的及意义4
1.4国内外研究现状5
第2章视频显示原理和显示格式的转换算法综述7
2.1视频显示的原理7
2.2目前视频显示格式转换算法综述8
2.2.1图像尺寸变换的插值方法综述9
2.2.2每秒帧数变换方法综述11
2.2.3插值算法选择判断的原则11
第三章视频显示格式转换的插值算法方案12
3.1图像尺寸变换采用的算法方案12
3.2每秒帧数变换采用的算法方案14
3.3视频显示格式转换中的像素处理方案16
第四章实时显示系统装置17
4.1.实时显示系统总体设计18
4.2FPGA概述18
4.3CameraLink结构与原理20
4.4SDRAM控制器设计22
4.5VGA显示接口设计24
参考文献25
第一章绪论
1.1引言
Cameralink相机以其可靠性高,稳定性好,独立性好和易用等优势,成为现阶段工业大分辨率数字相机的必配接口,相机LVDS信号由专业图像采集卡解码通过一台性能良好的计算机计算最后在计算机显示器上完成图像显示或在计算机硬盘上存储等后续数字图像处理操作。
对于某些不需要复杂图像运算的场合,只要求将验证相机的显示效果如何,如此配置略显臃肿,所以提出基于Cameralink数字信号的便携显示思想。
针对上述不足,本文设计一个可以针对LVDS图像信号的实时显示装置。
该装置可以将接入的相机数字信号解码成普通CRT显示器可以支持的VGA视频格式,使用数模转换器将视频转换成模拟信号输出显示。
本设计使用FPGA做控制器和运算器,SDRAM做图像存储器,ADV7123做数模转换器,搭建实时图像显示平台,接收Cameralink相机的数字视频信号,完成解码、制式变换等数字图像处理最终得以在外部显示器中显示。
数字图像处理部分内容涉及到图像尺寸分辨率变换和帧率变换等基于图像输出的基础数字图像处理内容。
1.2数字图像处理的发展
数字视频转换属数字图像处理领域,数字图像处理最早的应用之一是报纸业,当时,图像第一次通过海底电缆从伦敦传往纽约。
早在20世纪20年代曾引入Bartlane电缆图片传输系统,把横跨大西洋传送一幅图片所需的时间从一个多星期减少到3个小时。
后随着计算机技术的进步,大规模存储和显示系统的跟进发展,使数字图像处理技术应用到更多的领域中。
20世纪60年代早期,人类制造出第一台可以执行有意义的图像处理任务的大型计算机。
空间项目的开发也使人们把注意力转移到数字图像处理技术的潜能上。
1964年美国加利福尼亚的喷气推进实验室,就利用计算机技术改善空间探测器发回的月球图像,以校正航天器上摄像机中各种类型的图像失真。
在20世纪60年代末和70年代初,数字图像处理技术开始应用于医学图像、地球遥感检测和天文学领域。
在医学领域上,GodfreyN.Hounsfield先生和AllanM.Cormack教授基于数字图像处理技术发明了断层技术,由此而共同获得了1979年的诺贝尔医学奖。
从20世纪60年代至今,图像处理领域已得到了生机勃勃的发展。
除了医学和空间项目的应用外,数字图像处理技术现在已应用在了更广泛的范围。
计算机程序用于增强对比度或将亮度编码为彩色,以便于解释X射线和用于工业、医学及生物科学等领域的其他图像。
地理学用相同或相似的技术从航空和卫星图像中研究污染模式。
图像增强和复原过程用于处理不可修复物体的已损图像或者造价昂贵不可复制的实验结果。
在考古学领域,使用图像处理方法已成功地复原模糊的图片,这些图片是丢失或损坏的稀有物品唯一现存的记录。
在物理学和相关领域,计算机技术通常增强如高能等离子和电子显微镜方法等领域的实验图像。
图像处理技术也成功的应用在天文学、生物学、核医学、法律实施、国防以及工业领域中。
作为图像处理技术的实现载体,处理系统的器件性能的不断提升,来满足各种复杂图像处理的应用需要。
20世纪80年代中期,图像处理系统都是由主机及与主机箱配合的外设构成。
20世纪80年代末90年代初,出现将图像处理硬件设计与工业标准总线兼容并能配合工程工作站机箱和个人计算机的单板形式。
到目前为止,虽然针对大规模图像应用的大规模图像处理系统一直在不断销售,但随着技术进步,向着小型化和通用化的小机型并带有专用图像处理软件的混合型系统方向发展。
1.3目的及意义
目前,基于CameraLink接口的各种相机都不能直接显示,只能通过专用采集卡连接到系统机上在系统机的屏幕上显示,系统比较庞大,使用不方便。
针对上述不足,本文设计一个可以针对LVDS图像信号的实时显示装置。
该装置可以将接入的相机数字信号解码成普通CRT显示器可以支持的VGA视频格式,使用数模转换器将视频转换成模拟信号输出显示。
相比现有设备而言,成本降低,系统精简,便于携带。
1.4国内外研究现状
图像处理是计算机应用领域中一个极为活跃的领域,它的发展己有40余年的历史,在此期间,随着计算机、集成电路等技术的飞速发展,图像处理无论在算法上、系统结构上,还是在应用上以及普及的程度上都取得了长足的进展。
但是图像处理依然面临着许多挑战性的问题,其中最主要的问题就是如何提高解决实际复杂问题的综合能力,就当前的技术水平来说,这种综合能力包括图像处理的网络化、复杂问题的求解与图像处理速度的高速化。
图像处理的速度问题主要由图像数据的特点、图像处理算法的复杂性以及处理系统硬件结构和速度引起。
为提高图像处理系统速度,一方面可以改变图像数据特点,但这种方法通常是不可取的,因为处理系统往往需要充分利用图像数据中的信息;其次是选用高速处理器件,并尽量减化图像处理算法;再者可以采用并行处理技术,这种技术选用多个高速处理器件来完成同一任务,使得处理速度得到成倍提高。
图像并行处理技术是图像处理中的一个重要方面,是提高图像处理速度的最有效技术,其发展水平一直受到图像界的关注。
原因在于:
一方面,图像并行处理技术的发展难度很大,这种难度不仅在于图像处理系统的硬件及系统结构本身,以及它对计算机技术和集成电路等技术的依赖关系,而且在于实际应用的复杂性和应用部门对系统价格的承受能力;另一方面,图像并行处理技术的发展所产生的效益也是十分显著的,它在处理速度上所获得的加速比是令人振奋的,其实际应用系统也将产生很大的经济效益和社会效益。
虽然许多实际的应用问题刺激着图像并行处理技术的发展,但实际应用的复杂性和图像并行处理系统昂贵的价格又制约着图像并行处理技术的实际应用,这是一对矛盾,也是一种挑战。
图1-1一种基于双TMS320C40的图像并行处理系统
此前,国内外一些科研院所已研制出了一些图像并行处理系统,如天津大学研制的双TMS320C40的高速图像处理系统。
该系统的结实时图像处理构如图1-1所示:
处理系统采用两个帧存储器,它们轮流对视频信号进行存储,其中每个帧存储器又分为前半帧和后半帧。
当前半帧结束时,处于空闲状态的TMS320C40开始对前半帧图像数据进行处理,并将处理结果送入数据存储器。
当它的工作完成后,它又处于等待状态,等待下一帧的前半帧图像数据的来临。
当后半帧结束时,另一片TMS320C40开始对后半帧图像数据进行处理,并将处理结果送入数据存储器。
它的工作完成后,就等待下一帧的后半帧图像数据的来临。
从整个系统设计来看,它是采用多片处理器分担相同任务的方法来达到提高系统处理速度的目的。
此外,加拿大Matrox公司采用TMS320C80芯片设计的GENESIS图像处理系统、英国INMOS公司设计的IMSA100级联信号处理器和清华大学研制的GIEB微机高速图像处理系统都是图像并行处理结构的典范。
但这些系统规模庞大,价格昂贵,使得在一些领域的应用受到限
。
第2章视频显示原理和显示格式的转换算法综述
2.1视频显示的原理
在最理想的情况下,电视机上重现图像应该和原景物一样。
就是说它的几何形状,相对大小、细节的清晰程度、亮度分布及物体运动的连续感等,都要与直接看景物一样。
实际上要做到完全一样是不可能的。
对于电视机来说,电视图像都要有一些参量来表示视频图像的几何形状,相对大小、细节的清晰程度、亮度分布及物体运动的连续感等特性的。
根据人眼视觉特性,视觉最清楚的范围是在垂直视角约15°、水平视角约20°的矩形面积之内。
根据这一特点,目前各国电视机屏幕都采用矩形,宽高比为4∶3;但有些显象管为了节约扫描功率,采用5∶4的宽高比。
在高清晰度电视中,普遍认为幅型比取16∶9更为适宜人眼的视觉特性,因为视觉周围的总视场在水平方向上大约为160度,在垂直方向上大约为80
。
图像清晰度是指人主观感觉到的图像重现景物细节的可懂与逼真的程度。
这要分别用人眼在水平方向或垂直方向所能分辨的象素数来定量描述,相对应的称为水平清晰度和垂直清晰度。
有两块视网膜区满足电视:
黄斑及其周围地区域。
黄斑是视网膜上一个小的中心部分,可以感觉到图像精细的细节和边缘。
黄斑视觉大约仅占视场的1度,而视觉周围的总视场在水平方向上大约为160度,在垂直方向上大约为80
。
为了运动的连续性,视觉特性需要图像的快速重复,而为了避免闪烁,需要更快的图像重复率。
为了获得两帧2次闪光,从1936年公共电视业务开始,就已经准备使用隔行扫描技术,这一技术将扫描图像分成两组(“奇”和“偶”)有间隙得行,按顺序显示,其中一组精确地拟合到另一组地间隙中。
每组扫描行被称为一场,互相交织地两组行称为一帧。
在模拟电视时代中,这一过程尽管是用来实现电视的必要技术,但是,它也是引起图像质量多方面降级的一个根源。
当图像的整个区域以场扫描的频率闪烁时,该频率是帧扫描的两倍,但是各个行还是以较慢的帧频进行重复,这导致了相关的多种质量降级,其效应被称为行间闪烁。
随着摄像机和摄像机的图像增强电路所提供的垂直分辨率的提高,这些效应将变得更加明显。
隔行扫描同时也给运动物体的垂直线和对角线轮廓带来失真。
失真的出现是由于垂直相邻象素在连续场中出现在不同时间。
所以消除隔行扫描缺陷已经成为HDTV发展中的一个重要目标。
为了避免这个缺陷,摄像机中的扫描必须是逐行扫描,每帧只使用一组相邻行。
在接收机中,显示器扫描必须与摄像机中的扫描进行匹配。
由于常规接收机使用隔行扫描,所以他们不能直接对逐行扫描过的图像作出响应,一个明显的解决方案是,利用帧存储器将输入信号从逐行扫描转换成隔行扫描。
当进行这一转换之后,可以避免与隔行扫描相关的大量质量降级,尤其是运动物体的锯齿形边
。
2.2目前视频显示格式转换算法综述
由表1-1数模兼容电视机图像显示格式参数表中的视频显示格式可以看出,显示格式之间的不同是指:
图像尺寸的不同、每秒帧数的不同和扫描方式的不同。
视频显示格式的转换主要是这三个方面的转换,即图像需要在不同空间和不同时间上进行插值。
图像尺寸的变换是指把图像每行的象素数和每帧的扫描行数增加或者减少,这需要空间上的变换。
图像每秒帧数变换是指每秒帧数的增加和减少,这需要时间上的变换。
扫描方式的变换是指扫描方式隔行变逐行或者逐行变隔行,这也需要时间上的变换。
表2-1数模兼容电视机图像显示格式参数表
有效分辨率
隔行比
扫描行数
行频(hz)
场频(hz)
格式1
720*486I
2:
1
525
15.75
60
格式2
720*576I
2:
1
625
15.625
50
格式3
640*480I
2:
1
525
15.75
60
格式4
768*576I
2:
1
625
15.625
50
格式5
720*480I
1:
1
525
31.5
60
格式6
720*576P
1:
1
625
31.25
50
格式7
1280*720P
1:
1
750
45
60
格式8
1280*720P
1:
1
750
37.5
50
格式9
1920*1080I
2:
1
1125
33.75
60
格式10
1920*1080I
2:
1
1250
31.25
50
2.2.1图像尺寸变换的插值方法综述
一般所采用的图像尺寸处理的插值算法有邻近插值法、就近取值法、线性内插值、立方插值法、样条插值法和卷积插值等插值方法。
其中邻近插值法、就近插值法和线性插值法是利用一帧图像上的2×2象素单元实现的,而立方插值、样条插值、卷积插值等高级插值方法是利用一帧图像的4×4单元象素模块实现的。
为了容易易懂,我们把二维空间上的图像降到了一维空间。
邻近插值法也叫做邻近取样法,它的思想很简单。
对于目的象素位于图像的2×2单元模块的一个点坐标,对其进行简单的取整,得到一个整数型坐标,这个整数型坐标对应的象素值就是目的象素的象素值,也就是说,取点坐标最邻近的左上角点对应的象素值为目的象素的象素值。
可见,最邻近插值简单而且直观,但得到的图像质量不高。
其唯一的优点就是速度
。
就近取值法是由邻近插值法演变过来的,方法也很简单。
图2-1为就近取值法的原理图,在一维空间上,A、B是原图上已经有的点,现在我们要知道其中间X位置处的象素值。
我们找出X位置和A,B位置之间的距离d1,d2,如图,d2要小于d1,所以我们就认为X处象素值的大小就等于B处象素值的大小。
同理,在二维空间上按照就近取值原理进行取值,得到距离目的象素最近的原象素数据,这个象素值就是目的象素的象素值。
也就是说,取在二维空间位置上距离目的象素位置最近的象素值为目的象素
。
线性内插值也很好理解。
图2-2为线性插值原理,我们认为AB两点的象素值之间是直线变化的,要求X点处的值,只需要找到对应位置直线上的一点即
。
同理,在二维空间上,线性插值法利用了2×2象素单元模块,先分别取纵坐标相同的两点象素进行线性插值,得到两个横坐标相同的象素值,对这两个得到的象素再进行线性插值,最后得到目的象素。
线性内插值法计算量较大,但缩放后图像质量高,不会出项象素不连续的情况。
由于双线性插值具有低通滤波器的性质,使高频分量受损,所以可能会使图像轮廓在一定程度上变得模
。
立方插值、采样插值和卷积插值等高级插值方法,它们的目的是试图让插值的曲
图2-1就近取值原理
图2-2线性插值原理
图2-3高级插值原理
线显得更平滑,为了达到这个目的,它们不得不利用到周围若干范围内的点。
图2-3为一维空间上高级的插值原理,要求B、C之间X的值,需要利用B、C周围A、B、C、D四个点的象素值,通过某种计算,得到光滑的曲线,从而算出X的值来。
同理,在二维空间上,取4×4的象素单元模块,每一列进行一次曲线拟合,四列得到的四个象素数据重新进行曲线拟合,得到目的象素值。
这种算法能够克服以上算法的不足,计算精度高,但计算量大。
2.2.2每秒帧数变换方法综述
每秒帧数的变换包括每秒帧频的增加和减少,这主要是指图像在时间上的变换。
帧频的增加和减少主要也包括邻近插值法、就近取值法、线性插值法和高级插值法。
这些插值法的内容和前面图像变换的插值法是一样的,只不到是把二维空间变为了一维空间,变的更加简单了一些。
2.2.3插值算法选择判断的原则
插值方法好坏的判断一般基于以下四个原则。
插值方法好坏的第一个标准:
走样现象的轻重。
放大图像的时候,要看边缘是否产生了锯齿,缩小图像的时候,看看是否有干扰条纹,边缘是否平顺。
插值方法好坏的第二个标准:
运动图像的连续性。
插值方法好坏的第三个标准:
边缘是否清晰。
插值方法好坏的第四个标准:
过渡带的层次感细节感怎么样。
以上给出了四种判定方法,其明显程度是1>2>3>4。
对于不同类型的图像,不同的算法有时候会各有千秋,在特定的方面可能非常突出。
第三章视频显示格式转换的插值算法方案
视频显示格式转换插值主要是象素与象素之间的插值、行与行之间的插值,帧与帧之间的插值。
这就涉及到图像尺寸的变换、每秒帧数的变换和扫描方式的变换。
3.1图像尺寸变换采用的算法方案
图像尺寸的变换目前所应用的方法主要分为两类:
在第一类图像缩放领域中,常用的插值算法有邻近插值法、就近插值法、线性内插值法、立方插值法、样条插值法和卷积插值等插值方法。
他们重构像素所采用的原始像素数不同,像邻近插值法、就近插值法、线性插值法利用原始图像上2*2的像素单元来实现的,而立方插值、样条插值、卷积插值等高级插值方法则利用原始图像上4*4的像素单元来实现的。
各种方法实现难易不同,效果不同,其中利用2*2像素矩阵计算新点像素值的方法为一般的插值算法,其实现简单,易操作。
利用4*4像素矩阵计算新点像素值成为高级插值算法,它进行曲线拟合,从而得到目的像素的值,在图像表现上有较好的质量提升。
由前面算法综述可知,高级插值算法主要是利用4×4的象素单元模块,进
行曲线的拟合,从而得到目的象素的值。
虽然这些方法能够得到很好的插值效果,但是计算量过大,所用运算器很多。
由于本电路是各种格式的相互转换,具有可配置性,所以设计必须适合高清数字电视的视频格式,本身面积就增加了,所以这种计算量复杂的算法不适合本电路的设计。
邻近插值法、就近取值法和线性内插法这三种插值法可以用公式3-1-1来表示,公式3-1-2~3-1-4给出了公式3-1-1中的
、
、
矩阵,三者的区别在于函数s(x)的不同,表2-1列出了不同插值方法对应的函数s(x)。
(3-1-1)
(3-1-2)
(3-1-3)
(3-1-4)
表2-1各插值算法的S(x)函数表达方式
算法
邻近插值法
就近插值法
线性插值法
从各种算法的表示公式中,我们了解了各个插值算法的计算原理,可以得到各种算法的优缺点。
表2-2出示了这些插值方法优点、缺点之间的对比。
比较可得,邻近取值法过于简单,图像走样很严重,工程中应用价值不大,所以排除掉。
所以目前工程应用中最多的就是就近取值和线性内插两种算法。
表2-2各插值算法的优缺点
算法
优点
缺点
邻近插值法
计算量小,易实现,速度快
有跳跃,出现严重的马赛克和走样,像素不连续。
就进插值法
计算量小,较简单,易实现,速度快
有跳跃,但比邻近插值法效果好,像素不连续。
线性插值法
图像质量高,像素连续性好
计算量较大,速度较慢,边界出现模糊。
高级差值算法
差值曲线平滑。
图像质量高,像素连续性好。
计算量过大,不易实现。
运动估计内插算法
图像质量高,图像连续性好,克服了边界模糊现象。
计算量较大,速度慢。
由上面就近取值和线性插值的算法公式分析得到运动估计插值算法的公式3-1-5。
其中
由公式3-1-6表示。
公式中的
和
由公式3-1-7和3-1-8表示
(3-1-5)
(3-1-6)
当y=j时
当y=j+1时
(3-1-7)
其中
和
为表3-2所示。
I为估计值
(3-1-8)
其中
和
为表3-2所示。
I为估计值
3.2每秒帧数变换采用的算法方案
目前来说,帧与帧的插值实现主要是通过在两帧之间做邻近插值、就近取值、线性内插等一般插值算法或四帧之间做立方插值、B-样条插值和三次卷积插值等高级插值方法来实现的。
方法原理与前文所述的图像像素二维空间变换并无本质差别,唯一不同是将原来的空间二维变换降低为时间上的一维变换。
帧的高级插值法需要读取四帧数据采用曲线拟合实现,计算量较大,而且需要较多的帧存储器,不适合本装置的电路设计,故在帧频的变化上,本文采用一般的帧频变换方法,即使用邻近差值、就近取值和线性内插及其它们相应的改进算法来完成帧频的转换。
下面来分析一下在两帧之间的插值算法。
其算法思想与前文所述的尺寸匹配中的算法大致相同,三者的区别都在于函数s(x)的不同而不同。
其公式表示法如3-2-1所示,式中的
、
由公式3-2-2和3-2-3表示。
(3-2-1)
(3-2-2)
(3-2-3)
插值方法的不同在于函数S(x)的不同,表3-5表示了各种插值方法中的S(x)
的函数。
表2-3各插值法的
函数表达式
算法
函数公式
邻近插值法
就近插值法
线性插值法
运动估计内插法
同样,根据公式可以比较这些插值的优缺点(同上节表3-3),也可以得出
采用基于运动估计就近取值和线性插值相结合的算法应该是最佳算法,这种算
法也为运动估计内插法。
其公式已在上面给出,经过分析,可以很容易的看出
运动估计内插法需要1个比较器,2个乘法器和一个加法器。
3.3视频显示格式转换中的像素处理方案
结合前文分析的图像尺寸匹配和每秒帧数匹配的实现办法可以得到视频格式转换算法的总思想。
视频显示格式转换需要利用像素处理单元为相邻两帧内的2*2单元,即共8个像素来满足时间和空间上的插值需要。
算法的数学描述为公式3-3-1~3-3-6所示。
(3-3-1)
(3-3-2)
当z=k时
=
:
当z=
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- CameraLink 接口 数字相机 图像 显示装置 解读