交通管控大数据分析研判系统.docx
- 文档编号:407502
- 上传时间:2022-10-09
- 格式:DOCX
- 页数:26
- 大小:1.43MB
交通管控大数据分析研判系统.docx
《交通管控大数据分析研判系统.docx》由会员分享,可在线阅读,更多相关《交通管控大数据分析研判系统.docx(26页珍藏版)》请在冰豆网上搜索。
交通管控大数据分析研判系统
交通管控大数据分析研判系统
————————————————————————————————作者:
———————————————————————————————— 日期:
交通管控大数据分析研判系统
设
计
方
案
ﻬ
ﻬ
1系统概述
1.1系统背景
随着经济迅猛发展,机动车辆不断增加,道路交通拥堵、交通肇事现象也越来越严重。
交通管理部门部署了大量交通监控设备对道路交通情况进行监控,这些设备24小时不间断捕获过车数据和图像数据,产生了海量的历史记录。
在此情况下,如何利用先进的技术手段,对交通监控设备采集的海量的、格式多样的数据进行深度分析应用,对海量数据进行查找、关联、比对等处理,实时发现其中潜在的问题并预警,成为当前迫切需要解决的问题。
主要体现在以下两个方面:
一是交通管理部门的现有系统还处于结构化数据处理模式架构体系中,要实现对城市道路交通的整体运行状况、车辆出行规律等方面以日、月甚至年为时间粒度进行数据分析还存在不足。
二是交通管理部门的现有系统在对这些具有逻辑关联的海量多源异构数据处理过程中,数据存储结构、处理种类、处理效率等方面仍存在不足,不能满足持续扩大的交通管理数据规模以及对数据深度快速挖掘和应用需求。
交通管控大数据平台构建了一个支持横向扩展,具有分布、并行、高效特点的大数据处理平台的体系架构。
综合运用云计算、云存储、并行数据挖掘、图像识别等技术,开展数据的存储、挖掘、联动、分析。
通过将电子监控设备的数据、图像等异构的数据资源接入大数据处理平台,通过分布式存储和并行数据挖掘,提供在线实时分析模式和离线统计分析模式两种应用模式,对交通管理的各类大数据全方位地进行实时和离线分析处理。
可以将隐藏于海量数据中的信息挖掘出来,可全面掌握道路通行情况,为策略制定、分析研判、行动部署提供依据,大大提升综合管理的集约化程度。
1.2 系统意义
(1)信息查询和预警分析
借助在线实时分析、离线统计分析和数据共享等手段,通过接口与集成指挥平台等各个业务系统关联,高效开展交通管理工作。
例如通过分析一段时间内的过车信息进行查询分析对比,确定该时期造成交通拥堵的主要原因和发展趋势,对交通拥堵的发生进行一定的预测和判断,并采取相应的管控措施控制诱发交通拥堵的原因,科学预防交通拥堵。
(2)多维度布控打击违法犯罪
通过车辆特征二次识别比对,可对特定车辆的局部特征进行提取分析和建模,在车辆号牌信息缺失(套牌、遮挡号牌或无牌)情况下,按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合布控报警,准确快速地实现特定车辆追踪与锁定,获取车辆真实行踪,将有价值的图片数据提供给公安刑侦部门,为侦破交通肇事逃逸案、利用机动车作为犯罪工具的刑事案、以及抢劫出租车等恶性案件提供线索和证据,为刑侦部门确定线索侦查破案提供支持。
(3)大粒度的数据分析为决策提供支持
通过交通流大数据采集存储、流量查询分析,车辆特征研判、车辆轨迹分析等深度应用,系统不仅仅可以实现对车辆和人员的分析研判,通过大量数据的积累和变化规律进行深度的信息挖掘,帮助决策者和管理者提供有价值的线索信息,同时结合车驾管数据库,开展交通信息综合分析研判。
1.3 研发原则
项目建设总体上坚持“结构上的整体性、技术上的先进性、使用上的稳定性、经济上的合理性、实施上的安全性、操作上的友好性、升级上的可拓展性”原则,建设综合信息的统一管理、展示、控制平台,制定安全可靠的集成规范,完成各业务系统的智能协调联动功能,实现资源集成、数据集成、业务集成、控制集成和展现集成。
1、实用性原则
项目采用技术和解决方案应该具有很强的实用性,系统建设应始终贯彻面向应用、注重实效的方针,坚持实用、经济的原则。
2、先进性原则
采用先进、成熟的方法和技术,各种先进方法和手段应该充分考虑阜阳市社会可行性、法律可行性、管理可行性、技术可行性。
既注意概念、技术和方法的先进性,又要注意成熟性。
使项目能反映当今的先进水平,并具有一定的发展潜力。
3、资源共享
信息资源共享是本项目的主要项目目标之一,需要注意本项目与业主方已建智能交通信息化成果之间的信息互联与资源共享。
4、可持续性
系统设计采用合理的、有弹性的架构,并预留有一定的接口,保证系统能进行不断的完美和扩展。
5、开放性和标准性
注意遵循相关的技术标准和行业标准,并采用合理的系统架构,不采用垄断技术,保证系统的开放性和标准性。
6、可靠性和稳定性
从系统结构、技术措施、设备性能、系统管理、厂商技术支持及维护能力等方面着手,确保系统运行的可靠性和稳定性,达到设计的最大平均无故障时间。
7、安全性和保密性
在考虑信息资源的充分共享的同时,注意对信息的保护和隔离,采用系统安全机制、数据存取的权限控制等方案解决系统安全性问题。
8、扩展性和易维护性
采用先进的软件工程理论、良好的系统设计,以及分层和代理的方法等方法,保证实现的系统层次清晰、模块合理,接口协议开放,保证系统的扩展性和易维护性。
1.4 系统内容
交通管控大数据平台由5类服务器组成,包括:
数据接入服务器、数据库服务器、流处理服务器、二次识别服务器、应用服务器。
(1)数据接入服务器:
统一接入卡口、电警过车数据和过车图片,并按大数据架构统一转换管理。
(2)数据库服务器:
管理节点作为主服务器,管理Hadoop文件系统的命名空间和客户端对文件系统的访问操作。
可进行节点安装、配置、服务配置等,对Hadoop服务器进行实时状态检测。
数据节点管理存储的数据,支持PB级数据和图片存储和数据索引管理。
(3)流处理服务器:
基于Spark的大数据云计算技术,支持高速查询和低延时的统计能力,实现亿以上的过车记录大数据量秒级检索能力。
(4)二次识别服务器:
于大数据下深度学习的图像识别技术,支持车辆号牌、品牌型号、车身颜色、车辆型号等信息关联比对。
(5)应用服务器:
部署交通管控大数据平台系统软件和数据发布软件。
2 需求分析
2.1 业务需求
2.1.1 面向交通管理的大数据业务需求
随着城市交通拥堵问题顽固化、复杂化和多样化,交通管理工作面临着从事后分析向事前研判预警拓展、从历史统计向在线分析挖掘拓展、从简单应用向综合服务评价拓展的内在需求发展方向。
并对管辖范围内的车辆出行规律等方面以日、月年为时间粒度进行实时和历史统计分析,并对现有信息开展任意范围内的快速检索和实时统计分析,并将结果可视化显示。
2.1.2面向交通安全的大数据业务需求
管理路面违法、假/套牌、肇事车辆、黑车等重点布控车辆、维护交通安全和事故处理是交管部门的另一项行政管理职能。
基于大数据系统,通过大量历史数据对涉案车开展比对,形成对涉案车辆行为的分析及涉案车辆的匹配分析,为精确打击违法行为提供证据,按照车辆特征进行布控,有效提升现有违法查处的精准打击和查缉布控能力。
2.2功能需求
2.2.1基于大数据的在线统计和离线分析需求
以总量统计、信息查询等业务数据检索的后台软件模块为支持,通过大数据系统备份或抽取历史数据资源,重构数据结构,并为每一种应用添加算法模块,实现对大批量信息检索及统计分析的实时处理。
2.2.2基于大数据的车辆特征分析需求
以基于海量卡口数据获取车辆出行OD,挖掘车辆通勤出行行为,分析车辆通勤行为特征与交通拥堵相关性分析,研究拥堵路段车流集散、车辆属地属性发展变化规律。
准确统计道路交通、卡点进出车辆流动情况,为合理调配警力、提高车辆管理水平提供科学依据。
2.2.3基于大数据的违法事故分析需求
基于大数据系统进行违法和事故数据的关联分析,从不同视角研究违法和事故成因,定期将交通违法、事故的相关驾驶人特征与车辆特征进行分析,按类掌握违法、事故中高发、易发的驾驶人与车辆,为重点管理的群体提供数据支撑。
通过大数据平台对交通违法、事故数据及属性开展关联分析,定期将违法、事故与驾驶人特征,包括培训考试过程、工作单位、家庭背景等因素,与车辆特征,包括品牌、车型、营运性质、号牌属地、车身颜色、车辆保养等因素,与道路特征,包括道路类型、线性、天气、时间、环境、设施等相关联的,集中分析掌握违法、事故中高发、易发的驾驶人、车辆和道路,为管控提供最为真实的资料和依据。
2.2.4基于大数据的勤务快速处置需求
在岗执勤民警通常负责的是一个区域的交通管理工作,很难掌握管辖区域内所有路口路段的实时交通状况。
基于对过车流量特性的大数据分析,可为交管人员分析管辖区域内交通流量情况,为在岗执勤民警提供更加准确的拥堵点,有助于交管人员日常勤务安排和以及上下游及时联动和快速反应。
2.2.5基于大数据平台的车辆特征二次识别需求
过车图片里面包含了很多信息,这些信息是卡口设备本身无法有效识别出来的信息,例如车辆品牌、车辆型号等。
基于大数据系统的车辆特征二次识别技术从根本上克服了传统车辆检索只能按照号牌进行单一查询的功能缺陷,实现了按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合查询和模糊查询强大功能。
在不改变现有卡口设备的情况下,就能够挖掘出更多的车辆特征,便于实现更多应用,有效利用了现有卡口设备,降低不必要的卡口重建投入。
2.2.6基于大数据平台的技战法需求
通过过车图片、行驶行为特征分析和人员、车辆档案关联分析,确定各类涉案人员/车辆的详细信息。
以全库精细搜索和模糊查询,实现一定时间内经过各采集点特定车辆行车轨迹分析,记录轨迹路线信息并在GIS地图中进行可视化展示和报警,形成行驶轨迹数据的高速检索。
对同一辆车在多个监控点出现的轨迹进行时空分析,实现对任意时间和地区范围内重点车辆行驶规律的分析研判,并预测一定时间内高概率出现的区域。
2.3性能需求
2.3.1高并发实时数据采集需求
采用Kafka消息队列,良好兼容Hadoop系统,可通过SQL访问,延迟在2秒内。
2.3.2海量数据存储需求
采用Hadoop和HDFS文件系统,具备PB数据级别的在线存储能力,数据容量可动态扩展。
2.3.3 分布式流处理需求
采用SparkStreaming,支持分布式数据集上的迭代作业,每一个批次的数据的时间间隔在100ms。
2.3.4 车辆二次识别需求
可检测200万、300万、500像素的图片,单张图片处理速度平均为0.1S,单台日处理最多为80万张,检测正确率≥85%。
3 架构设计
3.1总体应用架构
交通管控大数据分析研判平台分为数据层、采集层、处理层、存储层、应用层等层次架构。
系统总体结构如下:
采集层:
通过设备系统接口或稽查布控系统接口,通过kafka消息总线接入所辖范围内的设备上报的车辆通行文本信息、图像信息、设备状态信息。
处理层:
系统通过Spark流计算模块,对海量过车数据进行二次比对分析,流计算模块根据系统设置的报警条件,可实时进行多种比对计算。
存储层:
包括Hadoop数据库,用于存储海量结构化数据和非结构化数据。
可通过动态增加节点,提升吞吐能力,扩展存储、查询、分析性能。
应用层:
包含实时预警、信息检索、信息查询、统计分析、技战法分析、车辆布控等功能。
3.2软件框架结构
3.3 网络部署架构
平台部署在公安网内,设备专网数据通过边界交换平台进入公安网,数据库服务器、流处理服务器、二次识别服务器可根据数据量规模动态调整。
如下图所示:
3.4数据流结构
平台通过Kafka消息总线汇聚各类道路交通信息、通过Spark进行实时流计算,通过HBASE/HDFS进行分布式存储,通过MapReduce进行分布式计算,通过应用服务器的数据接口,将结果分发给集成平台和各类基础应用系统,进行信息检索和分析研判。
如下图所示:
3.5 关键技术路线
平台采用X86架构通用服务器、“云计算-分布式”架构,实现实时流式计算、分布式数据存储、高性能并发读写以及分布式计算机分
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 交通 管控大 数据 分析 研判 系统