基于视觉的前车检测系统开发及关键技术研究 开题报告Word下载.docx
- 文档编号:18949642
- 上传时间:2023-01-02
- 格式:DOCX
- 页数:9
- 大小:38.37KB
基于视觉的前车检测系统开发及关键技术研究 开题报告Word下载.docx
《基于视觉的前车检测系统开发及关键技术研究 开题报告Word下载.docx》由会员分享,可在线阅读,更多相关《基于视觉的前车检测系统开发及关键技术研究 开题报告Word下载.docx(9页珍藏版)》请在冰豆网上搜索。
前车检测技术是智能车辆安全辅助驾驶系统的重要研究,对于减少车辆碰撞交通事故,提高车辆的道路行驶安全性具有重要意义。
它的研究内容相当丰富,主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识,并在不断的完善和发展,是目前各个国家投入大量的人力和物力研究的热点。
因此,在智能交通领域内研究并实现快速、有效的车辆检测与跟踪方法并实现产业化,具有重要的学术价值和社会、经济意义。
1.2国内外研究现状分析
从20世纪80年代中后期开始,世界主要发达国家对道路上本车前方的车辆检测技术开展了一系列卓有成效的研发工作。
这些技术主要体现在一些智能车辆系统和安全辅助驾驶系统中。
在智能车辆研究方面,美、德、意、法、日等国走在世界前列[7][8]。
美国卡内基梅隆大学机器人研究所研制的NavLab系列智能车辆代表了智能车辆的发展方向,其典型代表有NavLab-1系统和NavLab-5系统[10][11]。
NavLab-1系统于80年代建成,其传感器包括彩色摄像机、ERIM激光雷达、超声、陀螺、光电码盘、GPS等,其计算机系统可完成图像处理、图像理解、传感器信息融合、路径规划和车体控制。
NavLab-5系统于1995年建成,车体采用Pontiac运动跑车,其传感系统包括视觉传感器系统、差分GPS系统、光纤阻尼陀螺等,其计算机系统为自主研发的便携式高级导航支撑平台PANS[9](PortableAdvancedNavigationSupport),该平台为系统提供计算基础和I/O功能,并能控制转向和安全报警,其中包括一台用于传感器信息处理与融合、全局与局部路径规划的SparcLx便携式工作站和一台完成底层车体控制与安全监控的HC11微控制器。
德国的Caravelle系统[10]由德国研究与技术部门与大众汽车公司合作于1992年制成,车体采用大众公司的Caravelle旅行车。
它的研究主要内容是高速公路下的视觉导航,因此其传感器和计算机系统都是以视觉为主。
传感器系统除两台摄像机外,仅安装了一个速度传感器和一个测量驾驶角的传感器。
两台摄像机中一台装有摄远镜头的用来检测障碍,另一台装有广角镜头的用来检测行车道。
计算机系统也是由Transputer构成的并行处理单元构成,完成图像处理、卡尔曼动态滤波、车体控制。
另一台PC完成系统自举、监控等功能。
意大利Parma大学的Vislab实验室是著名的基于视觉处理的智能车辆实验室。
其与九十年代中期研制的ARGO实验车由轿车改制而成,装备有商用低成本的CCD摄像机、霍尔效应传感器、IO接口板、信息输出设备和奔腾200MMX的PC机,使用Linux操作系统,其核心是GOLD[11](GenericobstacleandLaneDetectionSystem)视觉系统。
有不同的控制设备以实现自动驾驶功能。
系统分成两个模块:
OD模块用来检测障碍物,LD模块用来检测和跟踪车道线。
车道线检测采用单目视觉模型匹配技术;
障碍物检测采用双目立体视觉的方法,系统通过处理一对重建的立体图像检测前方的障碍物。
而最新研制的“BRAIVE”,同样基于视觉处理算法完成了2010年10月从意大利的罗马到中国上海的洲际无人驾驶旅程。
法国帕斯卡大学的Peugeot系统,其计算系统仅为一块DSP卡,传感器系统包括CCD摄像机和速度传感器。
该车的一个突出特点是硬件配置轻型化,整个系统的运算处理部分都已集成在一块数字信号处理卡上,因此对试验车几乎无需作任何改装。
Peugeot试验车已经在高速公路上进行了几百公里不同路况的行车试验,最高车速达到130km/h。
在日本,由日本道路交通运输局发起的先进安全车辆系统ASV(AdvancedSafetyVehicle)已发展到了第二阶段,由日本国内13家汽车生产厂商参加。
旨在通过在车辆上安装最新的传感技术以提高车辆的安全性,防止交通事故、减少交通事故造成的损失。
其中三菱汽车Mitsubishi和日本Honda的ASV系列最为典型[12]。
其传感器系统包括前后视觉摄像机系统、能探测前方车辆的距离和相对速度的微波雷达、具有高分析能力的激光雷达及其他一些监测道路环境的传感器,三菱汽车公司从1991年度以来在运输省的指导下,开始“ASV工程”,对“三菱驾驶支援系统”(由车距控制、车道偏离报警、侧后方发动机三个系统组成)等多项驾驶支援技术进行实用化研究。
其实用性研究的主要系统有道路探寻辅助系统、前照灯光线控制系统、高级减速尾灯系统、睡眠报警装置等等。
此外,Google公司在无人驾驶汽车方面也取得了令人瞩目的成就。
2010年,Google公司推出了无人驾驶汽车项目,经过两年半的研究,在2012年8月该公司宣布十余辆无人驾驶汽车已经在电脑控制下安全行驶了30万英里(约合48万公里)。
谷歌无人驾驶汽车可以随时被人操纵,但也完全可以自动行驶,驾驶的技术由环球自动导航系统、温度敏感测试反应系统在内的多种自动操作系统组成,车内设有照相机,车顶设有旋转激光扫描器。
整个系统的核心是车顶上的激光测距仪(Velodyne64-beam)。
根据激光测距仪的距离数据描绘出精细的3D地形图,然后跟高分辨率地图相结合,生成不同的数据模型供车载计算机系统使用。
此外,在汽车的前后保险杠上有四个雷达,用于探测周边情况。
后视镜附近有一个摄像机,以检测红绿灯情况。
还有一个GPS、一个惯性测试单元、一个车轮编码器,用来确定车辆位置,跟踪其运动情况。
车身内部也有一系列的感应器。
通过感应器,车辆可以清晰"
看到"
周围物体,清楚掌握它们的大小、距离,时刻对周围环境保持360度无死角关注。
所有上述设备采集到的数据都将输入车载计算机,并由Google开发的这套无人驾驶系统在极短的时间内做出判断:
是该加速、刹车还是转向。
与国外相比,国内在智能车辆方面研究起步较晚,规模较小,开展这方面研究工作主要有清华大学、国防科技大学、吉林大学、北京理工大学、沈阳自动化所等。
其中清华大学在智能车研究方面处于领先地位,其研制的THMR(TsinghuaMobileRobot)系列智能车辆系统已经具备了很强的技术实力。
清华大学计算机系智能技术与系统国家重点试验室在国防科工委和国家863计划的资助下,从1988年开始研制THMR(TsinghuaMobileRobot)系列智能车辆系统[13]。
THMR-III系统的车体选用BJ1022面包车改制。
THMR-III上集成了二维彩色摄像机、磁罗盘和光码盘定位、GPS、超声等传感器。
计算机系统采用SunSpark10一台、PC-486二台和8098单片机数台。
Sun完成任务规划,根据地图数据库信息进行全局规划,一台PC机完成视觉信息处理,另一台PC完成局部规划、反射控制及系统监控,数台8098完成超声测量、位置测量、车体方向速度的控制。
它的体系结构以垂直式为主,采用多层次“感知-动作”行为控制及基于模糊控制的局部路径规划及导航控制。
THMR-V系统是清华大学计算机系正在研制的新一代智能车,兼有面向高速公路和一般道路的功能。
车体采用道奇7座厢式车改装,装备有彩色摄像机、GPS、磁罗盘光码盘定位系统、激光测距仪LMS220等。
计算机系统采用Pentium-II计算机两台,其中一台进行视觉信息处理,另一台完成信息融合、路径规划、行为控制、决策控制等功能。
4台IPC工控机分别完成激光测距信息处理、定位信息处理、通讯管理、驾驶控制等功能。
THMR-V系统的GPS采用加拿大Novatel公司生产的3111R单频12通道实时差分GPS系统。
该系统由两台3111RGPS接收机、FRM96S-35(W)电台及MODEM组成。
该智能车设计车速高速公路为80km/h,一般道路为20km/h[14]。
国防科技大学自动化研究所从上世纪80年代末着手研制新一代地面无人驾驶车,先后研制CITAVT‐I型,CITAVT‐II型等,最新的CITAVT‐IV是基于视觉导航的自动驾驶汽车,该车在2000年4月在长沙市绕城公路上进行了自主实验,最高时速达到75.6km/h。
一汽和国防科技大学自动化学院共同研发了中国第一辆自主驾驶车辆。
该自主驾驶技术采用最先进的计算机视觉导航方案,能实时处理岔道、斑马线和虚线,对车体姿态变动和自然光照变化都有较强的自适应能力。
且2011年7月14日自主研制的无人车HQ3完成286公里无人驾驶实验,达到世界先进水平实验中,无人车自主超车67次,途遇复杂天气,人工干预里程占这次自主驾驶总里程不到百分之一。
吉林大学智能车辆课题组从1992年开始一直开展智能车辆自主导航研究,在智能车辆的体系结构、传感器信息的获取与处理、路径识别与规划、智能车辆前方障碍物探测及车距保持等方面进行了较为深入的研究[15]。
先后研制开发出JUTIV-I、JUTIV-II、JLUIV-III和JLUIV-IV四代视觉导航智能车。
JUTIV-II型智能车的传感器系统有CCD摄像机、三维激光测距仪、GPS定位系统、远、近距离避障传感器、制动拉压力传感器、光电编码器等。
计算机系统采用一台Pentium-III工业控制计算机,完成车辆的传感信息获取、周围环境感知、图像处理、导航路径识别及决策控制。
JUTIV-II型智能车研究了道路边界识别算法、恶劣环境下导航路径识别算法、车辆前方车辆探测及车距保持控制算法等。
JUTIV-III型智能车是面向工业物流自动化的AGV,主要由车体、CCD摄像系统、工控微机测控系统、行走转向驱动系统、避障系统、通讯系统等组成,其中工控微机测控系统包含工控微机、各种A/D、D/A、I/O、计数卡,行走转向驱动系统包括直流电机和电机调速板。
所研制的实用化JLUIV3型AGV采用两维视觉导航,可实现路径自动跟踪、自动转向、自动行驶。
在行驶过程中能够自动识别数字编码的多停靠工位和多分支路径,能够自动识别加速、减速、直角转弯、停车等车辆运动状态标识符,能够智能识别障碍物。
AGV根据上述图像识别信息,自动完成各种相应的运行操作[16]。
此外,该种AGV还能够实现和中央管理中心之间的无线通讯。
该种视觉导航AGV可用于实际的柔性生产组织和户内外物流自动化运输[15][16]。
课题组还完成视觉导航高速智能车JLUIV-IV的研制开发,自主导航最高车速为50km/h,并进行了自主导航控制算法的研究。
7B.8系统是由南京理工大学、北京理工大学、浙江大学、国防科技大学、清华大学等多所院校联合研制的军用智能车辆,于1995年12月通过验收。
7B.8系统的车体选用国产跃进客货车改制,车上集成了二维彩色摄像机、三维激光雷达、陀螺惯导定位、超声等传感器。
计算机系统采用两台Sun10完成信息融合、黑板调度、全局、局部路径规划,两台PC486完成路边抽取识别和激光信息处理,8098单片机完成定位计算和车辆自动驾驶。
其体系结构以水平式结构为主,采用传统的“感知-建模-规划-执行”算法,其直线跟踪速度达到20km/h,避障速度达到5~10km/h。
通过上述国内外的诸多独立式车辆跟踪控制系统,我们可以清楚地看到:
独立式车辆跟踪系统一般分为如下三个环节:
前车的检测、跟踪目标点的生成以及后车的跟踪运动的执行。
而本文主要是针对前车检测进行研究,该部分是独立式跟踪控制系统的前提,车辆的检测属于计算机视觉的范畴,通常采用的传感器有摄像头、微波雷达、激光测距仪、超声波、红外传感器等,通过对传感器信息的采集、合成,形成对环境特征的综合描述方法,进而得到前车的位置坐标以及其姿态信息。
2.论文研究方案
2.1研究目标
本文研究的目标是利用计算机视觉技术、激光检测技术与数字图像处理技术研究动车辆自动检测、运动状态预测、自动跟踪算法,设计并实现基于计算机视觉和激光测距仪的车辆检测与跟踪系统以及研制开发相应的软件系统,使得该系统能够对运动车辆进行快速、有效的检测和跟踪,并能进行运动轨迹、速度、加速度、偏转方向等交通参数的提取。
2.2研究内容
2.2.1.摄像头运动时的车辆检测
运动车辆检测是计算机视觉的重要研究方向。
它是智能交通系统的核心技术,是实现交通流参数提取和交通事件自动检测等技术的基础。
它主要是对交通场景视频图像中的车辆进行分割,为后期的车辆运动估计、运动车辆跟踪提供车辆大小和位置等基本信息。
从技术角度而言,运动分析的研究内容相当丰富,主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识。
一般的运动目标识别是摄像头固定并且目标运动,这种情况由于背景静止不动,只要用差值法就能很好的检测出运动的目标;
而在车辆跟踪中,由于摄像头安装在后车上,跟踪过程中摄像头在运动,此时无法利用简单的插值法。
需要利用更加可靠的算法用于摄像头运动中车辆的检测。
2.2.2.多传感器融合
用于检测目标的传感器有很多种:
机器视觉(摄像头)、雷达微波、雷达毫米波、激光测距仪、超声波、红外摄像头等。
各个传感器都有优缺点,例如,摄像头可以通过目标特征有效地识别物体,但是由于计算量大导致了实时性差,并且不能直接获取深度信息;
而激光测距仪可以快速地获取深度信息,但是由于信息量少,要有效识别目标物比较困难。
因此,为了可以利用各个传感器的优点,采用多传感器融合的技术,实现准确可靠地识别目标,并且快速地得到深度信息。
2.2.3.运动车辆的轨迹拟合
利用传感器采集到运动过程中前车的相对数据之后,需要对原始数据进行处理。
首先需要滤除噪声或者无效信息;
然后需要将相对位置信息转换为绝对位置信息,这个就需要知道摄像头自身的位置信息;
最后需要将绝对位置点拟合出前车的运动轨迹。
2.2.4.硬件平台的搭建
为了模拟车辆跟踪,需要搭建一个可以做实验的平台。
实验室中虽然有P3-AT移动机器人,然而由于是它是差动的方式转向,不符合真车模型。
为了贴近实际,打算做一个按照真车比例缩放的小车模型,一个前车,一个后车。
前车可以采用遥控的方式控制其运动,后车装上摄像头对前车进行检测和跟踪。
为了提高图像的处理速度,打算利用PC机进行检测数据处理;
而车辆的底层控制采用ARM单片机实现,PC和ARM直接可以利用串口进行通讯。
2.2.5.软件平台的搭建
在控制小车方面,需要编写底层的驱动程序;
在数据处理方面,可以利用C++编写上位机代码,其中图像处理可以使用OpenCV中已经封装好的函数实现。
2.3拟解决的关键问题及难点
1.图像处理
在车辆跟踪的过程中会遇到很多复杂的场景。
例如,在城市道路这种复杂交通场景中存在着交通多向、人车混杂、光线变化、复杂驾驶操作、交通阻塞、车辆遮挡等因素。
这些因素使得基于视频的车辆跟踪会遇到比在高速公路上更多的问题。
而其中主要的技术难点在于:
1)摄像机的微小抖动;
2)背景的时变性,它受车辆灯光、云彩、雨水、行人、阴影等因素影响,使交通背景的实时准确提取变得困难;
3)车辆遮挡、咬合效应,特别是在交通繁忙的交叉路口,造成对车辆的误检或漏检,其不良影响更为突出;
4)车辆机动性,车辆临时停车、转弯、换道等引起的车辆姿态变化;
5)现有算法不能对静止车辆能进行检测和跟踪(由于等信号灯、非法停车、事故停车等原因静止);
6)特征的选取和聚类;
7)算法的实时性、鲁棒性。
2.多传感器融合
用的比较多的是将摄像头和激光测距仪的数据进行融合,而由于激光测距仪的数据量比较大,其中有一部分数据是属于无效数据,只需要采集每一帧图像中感兴趣区域内的激光数据,这样需要对采集的数据进行过滤。
此外,为了得到准确的深度信息,需要对摄像头和激光测距仪进行联合标定,不仅需要知道摄像头的内部参数,还需要知道摄像头和激光测距仪相对位置的外部参数。
如何找到一种高效快速的多传感器融合算法是一个难点。
3.软硬件的调试
搭建实验平台的时候一定会遇到预想不到的问题,这都需要靠软硬件调试的经验来解决。
为了验证算法的有效性,首先得保证搭建的硬件平台的精度,例如,如何定位后车的位置,如何提高机构的精度等等。
在软件方面,需要对OpenCV进行一点的学习,如何将其中的图像处理函数应用到实际工程中都需要进一步的学习。
2.4拟采用的研究方法、技术路线、实验方案及预期的新意/创新
2.4.1.研究方法
1)多学科交叉融合法
机器人技术是一门多学科交叉的高科技技术。
多学科交叉融合的方法不仅可以拓展各自学科的研究领域和应用范围,还可以弥补单一学科由于技术局限性而造成的实现困难。
多学科联系起来的学术思想已经给机器赋予了数学、力学、人工智能、电子技术、控制理论等学科的内容。
嵌入式系统是一个电子、计算机的交叉学科。
嵌入式系统属于应用型的学科,它的理论研究以及核心技术的实现都由国际上大的研究机构与公司来完成。
在本课题对于嵌入式系统的应用开发上,硬件角度上需要熟悉电子系统的设计原理、微型计算机组成原理。
软件角度上需要掌握计算机操作系统的原理、设备驱动程序的机制、程序设计方法。
所以只有掌握电子学科基础与计算机学习基础,才能更好地进行嵌入式系统的开发,尤其针对设备驱动程序设计,对于操作系统原理与控制系统硬件的掌握显得尤为重要。
2)理论分析与仿真
图像处理算法有很多,针对不同的问题不同的算法有不同的效果,即使是一种算法,在不通的情况下处理的效果也有所不同。
如何在浩如烟海的图像处理算法中找到一种适合于前车检测的算法是非常重要的。
此外,理解图像处理理论需要扎实的数学基础,如果对处理的效果不满意,需要对其进行深入分析,理解其本质之后才能对算法进行改进。
这过程需要反复的理论分析和仿真。
3)实验实践方法
由于嵌入式系统开发主要是应用型的学科,所以系统的实现与功能都需要通过实际的硬件软件实现来体现。
针对项目的需要,本课题将开发适用于机器人小车上运行的嵌入式系统,在完成对系统硬件、软件的设计的基础上与项目工程紧密联系起来,进行调试以验证系统开发的有效性。
2.4.2.技术路线
1)运动车辆检测方法研究与实现
目前基于单目视觉进行车辆检测的研究最为广泛,其主要原因在于CCD摄像机的性能能够满足实时性要求,而且视觉信息丰富,可以通过算法进行充分利用来实现车辆检测的目的。
基于特征的方法和基于模型的方法可以适应摄像机运动的情况。
基于特征分析的方法主要应用在车辆等特征明显的人造物体检测上。
人们对于识别和定位的目标都具有先验知识,人类视觉系统之所以能识别和分辨千差万别的目标,也是长期积累先验知识的结果。
基于特征的车辆检测算法就是直接运用车辆的一些属性特征,如颜色、形状、对称性,在图像中通过寻找车辆的特征来完成车辆的检测。
总结对于公路上行使的前方车辆,主要呈现以下的后视特征:
对称性[17]、阴影[18]、边缘[19]、形状特征、位置特征、角点特征、颜色特征、纹理特征、连续性特征、动态变化特征等。
其中对称性、阴影、边缘等是进行车辆检测常用的特征。
在白天较好的光照条件下,车辆底部留下的阴影区域的亮度明显区别于图像的其他部分。
阴影作为特征只能确定车辆的可能出现的大致位置和宽度。
利用车辆具有良好的对称性的特点,可以从对称性映射图中得到车辆的位置。
利用车辆边缘具有的特点可以很好的将图像中的车辆分割出来,边缘特征强于阴影和对称性特征。
基于特征的方法的关键是寻找稳定可靠的车辆特征,多种特征的融合算法是提高检测精度的一种途径。
基于模型的方法通常是获取大量不同道路环境、不同类型的车辆图像,然后利用基于灰度信息的方法建立车辆特征模型[20]。
用这些模型与待识别图像进行匹配,寻找与模型相似的特征区域,即为被检测的车辆。
在实际应用中,往往通过基于特征的方法先建立感兴趣区域,然后再进行匹配,以提高匹配速度。
如BensrhairA,BertozziM等采用基于对称性特征检测感兴趣区域ROI,然后利用建立的矩形二维模型在ROI内进行模型匹配[21]。
基于模型的方法缺点是对车辆模型的过分依赖,由于车型的多样性,一种模型往往不能适用于所有的车辆,车辆姿态的变化需要使用3D模型并配合相应的几何变换来加以适应。
为每种车辆和姿态都建立精细的模型势必造成计算量的成倍增加。
特别是采用三维模型时,不利于实时处理。
2)多传感器融合技术的研究与实现
我们拟采用摄像头和激光测距仪(LMS111)为主要检测设备,利用摄像头信息量丰富,激光测距仪可以获得准确的目标深度信息,对前车的位姿进行实时检测,以求能够提高系统的整体精度。
利用多传感器融合的的方法,首先将激光雷达数据进行预处理工作,目的是在图像上获得兴趣区域。
它的主要算法是数据聚类,就是利用形状规则信息等将可能属于同一物体的雷达数据点归类。
在聚类之后,属于同一物体的数据点就可以在局部进行单独处理,效率会有很大提高。
形状分析利用车辆的形状信息对各个聚类进行判定,利用点云分析等算法获得更加接近于车辆形状的聚类作为兴趣区域。
然后利用透视变换将该聚类投影到图像上,得到图像兴趣区域。
3)前车检测系统的搭建
其中PC采集CCD摄像头和激光测距仪的数据,经过处理后与后车上的嵌入式系统进行通讯,PC机传输给嵌入式系统控制指令,从而控制小车的舵机和电机,使小车转向或加减速;
而嵌入式系统通过检测小车的状态,返回小车的位置信息给PC;
经过PC的数据处理,将前车检测效果和小车的运动轨迹通过显示屏输出。
2.4.3.实验方案
1)在算法的改进和开发阶段,在PC机上,研究智能车辆体系结构和运动车辆检测算法,开发相应算法的应用程序,用以验证算法的有效性并分析其性能。
2)加入控制小车的算法,将PC机与小车进行联调,利用小车上的摄像头和激光测距仪对前车进行检测。
2.4.4.预期的新意/创新
1)改进运动车辆的视频检测算法。
2)运动车辆检测与状态估计算法的深入研究及其嵌入式实现。
3)基于多传感器的运动车辆自动跟踪算法的设计与实现。
3.预期达到的目标及考核指
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于视觉的前车检测系统开发及关键技术研究 开题报告 基于 视觉 前车 检测 系统 开发 关键技术 研究 开题 报告