智能交通大数据及云应用解决方案Word文件下载.docx
- 文档编号:15994336
- 上传时间:2022-11-17
- 格式:DOCX
- 页数:16
- 大小:414.67KB
智能交通大数据及云应用解决方案Word文件下载.docx
《智能交通大数据及云应用解决方案Word文件下载.docx》由会员分享,可在线阅读,更多相关《智能交通大数据及云应用解决方案Word文件下载.docx(16页珍藏版)》请在冰豆网上搜索。
辅助核心业务的是一系列的支撑应用,包括基础数据管理(路网信息、设备设施信息)、警力资源管理(警员信息、警车信息、装备信息)、电子地图管理、系统配置管理。
在应用层下面是支持业务应用的支撑层,在这层完成对信息的采集、汇聚、加工、存储、交换等处理操作,同时支撑层还内包消息服务器、GIS地图中间件、视频服务、诱导服务等信令及数据的服务或中间件。
最下端为数据感知层,包括业务子系统及设备,为各类交通信息的原始数据来源,如GPS车辆轨迹信息、视频信息、通行车辆信息、交通流信息、施工占道信息、交通管制信息、气象信息等。
●视频大数据技术平台
视频大数据技术平台负责存储和提取处理视频、图片等非结构化数据,通过视频结构化技术,可挖掘出视频图像中的人、车、物、事件等结构化信息,进一步用于大数据的分析挖掘。
同时,视频大数据技术平台可提供视频摘要、视频浓缩、视频质量诊断等智能分析服务,使上层应用提高视频处理的效率。
●通用大数据技术平台
通用大数据技术平台提供基于Hadoop和Spark的分布式存储、分布式计算等能力,负责整合并管理海量的结构化、半结构化、非结构化数据,具备高度的可扩展性,可将数千台的廉价服务器组建成一套庞大的云存储系统、一台超级计算机。
基于Spark架构的内存运算,速度比传统的Hadoop快10~100倍,适合交通行业对时间要求的流式计算需求。
●行业大数据能力平台
能够针对海量数据进行快速检索、快速统计分析,同时能够进行深度的关联分析,挖掘出其中有价值的信息。
行业大数据能力平台以接口的方式为上层应用提供服务。
●大数据运维平台
负责对整个大数据平台进行部署、配置、管理、监控,通过自动化安装的方式,方便用户架设大数据平台。
同时,通过可视化界面,可以形象地获知整个平台的运行状况。
随着业务的发展,当平台需要升级或扩容时,可方便的通过该工具进行调整。
1.1.1视频大数据技术平台
1、视频云存储
视频云存储系统解决百PB级视频基础数据视频数据的低成本、高可靠存储,支持视频流数据的高并发I/O。
视频云存储系统架构图
2、视频云分析
视频云分析平台则是通过整合用户现有的数据中心分析设备,对过车视频、过车图片等数据进行进一步分析,其中中心分析设备采用分布式计算节点集群的方式,能够提供基于任务自动负载均衡的数据处理方式,解决从海里视频图像数据中解析出来的视频结构化数据的需求。
视频云分析方案架构图
具体包括以下模块:
●特征提取模块
特征提取模块负责对实时或历史视频图像中的结构化信息进行提取,包括人、车、物等特征信息。
提取出的信息存储于大数据系统中,并作为DataEngine进一步分析的数据基础。
●行为分析模块
行为分析模块负责对实时或历史视频图像中的行为信息进行分析,分析结果可作为上层应用报警的依据,同时行为信息作为结构化数据,可存储于大数据系统中,并作为DataEngine进一步分析的数据基础。
●音频分析模块
音频分析模块负责对音频进行分析,识别异常音源,分析结果可作为上层应用报警的依据。
●以图搜图模块
以图搜图模块负责对大数据系统中的图片数据进行分析比对,并按相似度返回图片列表。
以图搜图模块支持对人脸图片的搜索,支持对车辆图片的搜索。
●隐私保护模块
隐私保护模块负责对实时或历史视频图像中的人体影像进行模糊处理,保护个人隐私。
●视频摘要模块
视频摘要模块负责对实时或历史视频进行摘要处理,提取出视频中有用的信息,合并到同一个背景中,以此缩短视频播放时间。
视频摘要可有效缩短用户观看视频的时间,提高工作效率。
●视频浓缩模块
视频浓缩模块负责对实时或历史视频进行浓缩处理,视频中有事件出现时进行慢放,无事件时进行快放,以此缩短视频播放时间。
视频浓缩可有效缩短用户观看视频的时间,提高工作效率。
●视频质量诊断模块
视频质量诊断模块负责对实时视频流进行质量诊断,以巡检的方式对前端接入视频流进行分析,实时发现摄像机是否在线、画面是否正常等问题。
●视频图像增强复原模块
视频图像增强复原模块负责对实时或历史视频图像进行增强复原,对效果较差的视频、图像进行智能修复并增强处理。
1.1.2通用大数据技术平台
通用大数据技术平台是大数据的存储和计算中心,具有分布式、统一存储、统一访问、动态扩容的特点,用于汇集视频、图像、报警、卡口信息、位置信息、案事件等大数据,为数据的综合利用提供支撑。
系统技术架构图
分布式文件系统HDFS2.0:
运行在通用硬件上的可扩展高容错的分布式文件系统,已经成为海量数据存储的事实标准。
负责海量数据存储,将数据分散存储在多台独立的设备上,系统采用可扩展的体系结构,利用多台存储服务器分担存储负荷,利用元数据服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
分布式资源管理YARN:
分布式资源管理框架,负责计算、存储资源的管理,用以提高分布式集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。
分布式计算Map/Reduce:
分布式计算框架,负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
分布式数据库HBase:
一个分布式的、按列存储的、多维表结构的实时分布式数据库,用于存储粗粒度的结构化数据,适合构建高并发低延时的在线数据服务系统。
全文检索引擎Solr:
一个基于Lucene构建的开源,分布式,RESTful搜索引擎,设计用于云计算中,能够达到稳定、可靠、快速实时搜索。
内存计算Spark:
下一代基于内存的Map/Reduce计算引擎,处理大数据像“光速”一样快,比HadoopMap/Reduce快10x到100x倍。
流计算Stream:
流计算,负责对流媒体数据的分析计算。
分布式协作Zookeeper:
分布式协作系统,作为一个分布式锁及共享数据管理者,提供集群节点间的事物协调服务,保证HDFS、HBase、Spark、Map/Reduce等分布式系统的安全可靠运行。
Kafka:
分布式数据总线,负责数据的采集、整合、交互。
Sqoop:
SQLtoHadoop,一个数据抽取工具,用于从关系数据导入数据到Hadoop。
1、分布式文件系统
HDFS是分布式计算中数据存储管理的基础,具有高容错性、高可靠性、高可扩展性、高吞吐率等特点,可以设计部署在低廉的硬件上,为海量数据提供了不怕故障的存储,适合那些有着超大数据集的应用程序。
2、分布式数据库
HBase是一种构建在HDFS之上的分布式、面向列的存储系统,它具有高可靠、高性能、面向列和可伸缩的特性。
HBase适合于存储大表数据(表的规模可以达到数百亿行以及数百万列),并且对大表数据的读、写访问可以达到实时级别。
3、分布式计算
MapReduce是一种处理海量数据的并行编程模型和计算框架,用于对大规模数据集(通常大于1TB)的并行计算。
MapReduce的名字源于该模型中的两项核心操作:
Map和Reduce。
Map将一个任务分解成为多个任务,Reduce将分解后多任务处理的结果汇总起来,得出最终的分析结果。
4、分布式协作系统
ZooKeeper是一个针对大型分布式系统的可靠协调系统,主要提供两个功能:
帮助系统避免单点故障,建立可靠的应用程序;
提供分布式协作服务和维护配置信息。
1.1.3行业大数据平台
行业大数据平台负责与通用大数据平台进行对接,负责对结构化数据(过车数据、测速数据)进行分析计算,提供快速检索、分析、统计、挖掘等功能,并提供用户最终的操作界面。
面向交通行业的大数据业务展示平台,即为XZX-TMS-9200智能交通综合管控平台。
1.1.4大数据管理平台
大数据管理平台负责对整个大数据平台进行部署和管理,结构示意图如下图所示,包括集群部署、集群管理、任务管理、服务管理、状态监控、用户管理、告警、日志等模块。
大数据管理平台架构图
1.2数据流程设计
前端新建及已建能够按照标准协议接入的设备通过智能交通综合管控平台交通接入服务器接入转发至云分析平台进行车辆建模和二次识别。
已经部署云存储模块的系统,云分析也能够直接从云存储中读取图片信息进行车辆建模和二次识别。
已建的第三方平台,提供符合要求的SDK协议,智能交通综合管控平台进行数据整合后再转发至云分析平台进行车辆建模和二次识别。
云分析通过智能交通综合管控平台提供的图片URL信息加载图片,进行建模和二次识别,完成建模和二次识别后,将识别结果信息如车牌、车型、车辆品牌等信息提供给大数据平台。
大数据平台读取二次识别的结果信息,写入到HDFS分布式文件存储系统中;
基于HDFS分布式文件系统部署分布式数据库,用来承载数据的预统计表和二级索引表。
在数据搜索层,部署基于Solr分词的全文检索搜索引擎,并通过MapReduce分布式计算框架提供高效数据分析速度。
Zookeeper提供分布式文件系统之间的多进程协调服务。
数据写入、检索、统计和研判应用,大数据平台提供统一的webservice接口,智能交通管控平台通过调用大数据平台接口进行处理应用。
1.2.1云分析数据处理流程
云分析可以采用的工作模式主要包括主动工作模式和被动工作模式。
目前采用的是被动工作模式。
主动工作模式的特点是中央强力控制,即由中心管理服务下派任务到指定的计算节点,计算节点没有发起任务申请的权利。
被动工作模式则相反,由计算节点主动向中心管理服务发起申请,申请获得批准后获得执行任务,然后开始任务执行,任务执行过程中与中心管理服务保持实时更新,确保任务能够正常完成。
被动工作模式相比主动工作模式而言能够突出计算节点的优势,管理单元越小,管理的难度也就越小。
如果按
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能 交通 数据 应用 解决方案