福建省生态环境大数据平台概要设计v02Word文档格式.docx
- 文档编号:14261797
- 上传时间:2022-10-21
- 格式:DOCX
- 页数:15
- 大小:413.31KB
福建省生态环境大数据平台概要设计v02Word文档格式.docx
《福建省生态环境大数据平台概要设计v02Word文档格式.docx》由会员分享,可在线阅读,更多相关《福建省生态环境大数据平台概要设计v02Word文档格式.docx(15页珍藏版)》请在冰豆网上搜索。
同时环保部门可以重点关注核电站周边生态环境实况。
通过可测量、可核查的生态环境数据,为福建省的生态环境现状评估、趋势预测、潜力分析、目标制定与跟踪,提供决策服务,进而实现对生
数据处理场景
为了数据安全,平台提供了数据安全子系统,用于数据安全,数据进入平台有两种方式,一种是直接进入处理中心,另一种是通过数据安全中心加密后进入处理中心,加密后的数据与其它数据在平台里是没有区别的,处理进程在使用数据内容时需先行解密后方可使用。
进入平台的数据存放在数据仓库中。
永久存放的数据就内容来说,分为原始数据,对象数据,结构化数据,成果数据;
原始数据是指没进行任何处理的裸数据,对象数据是有属性,能用元数据来标识的数据,结构化数据通常指数据库,成果数据由处理系统来确定格式,是其它数据经处理后的有实用意义的成果。
当然平台也会把数据处理成果输出给用户,在原始数据拥有者的许可下,成果可以共享。
2.架构设计概要
系统采用分层设计方案,如下图所示,系统分为三个层次:
应用表示层、数据处理层、并行计算环境层;
另有两个子系统:
数据接口子系统、运行保障子系统。
把与实际业务有关的模块集中在应用表示层,把数据处理有关的放在数据处理层,由并行计算环境层提供海量的存储与大规模计算,数据接口系统作为平台统一的数据来源,及输出接口;
运行保障子系统给整个平台提供不间断的运行维护及安全保障。
总体构成
2.1.数据接口子系统
平台数据办输入与输出功能全部由数据接口子系统来完成,核心数据由环保部门的监测数据以及从手工导入历史数据构成;
第三方采集数据,互联网抓取数据,市民上传数据是重要的补充部分;
数据全集必须在内在的逻辑方面形成一个完整有效的数据链,以便人工智能模块进行多维度分析。
针对核与辐射的土壤监控,采用数据动态同步方式,数据来源主要来自福建辐射监督站开展的年度监测工作,包括土壤样本的实验分析结果、辐射本底调查数据等。
将核电厂周边区域的土壤环境质量进行动态监控。
同时,在历史数据挖掘的基础上,研究放射性物质在土壤中的迁移规律。
2.2.应用表示层
应用表示层通过调用数据处理层的功能来完应用系统的功能,凡是与具体应用无关,可以抽象出来的功能,均在数据处理层实现,各应用系统不用单独开发相应功能。
总体上来看应用表示层完成以下功能:
a.实时动态按省市具区域、按类别、按管理功能的数据可视化显示。
b.掌握生态环境数据库,实时掌握生态环境的变化。
c.区域生态环境信息、企业生态环境信息、工业生产过程生态环境量、能源种类生态环境量、废弃物生态环境量、生态环境汇集等。
d.可视化运行监测,全面能耗监测,为宏观分析和决策提供数据分析支撑。
e.辐射环境大气监测应用
福建省核电发展迅猛,在建的宁德核电厂与福清核电厂分别于2012年和2013年投产发电,规划建设的三明快中子反应堆项目已通过可研,目前福建省规划建设和在建的核电机组共十几台,这些能源项目的启动和建设,将大大缓解福建省电力能源供应紧张的局面,奠定海西大型能源基地的地位。
同时,也树立了福建省作为核电大省的地位。
由于核辐射看不起,摸不着,但却是人民群众密切关注的,这就需要与之相匹配的辐射环境大气自动监测网。
未来福建省将建成核电厂辐射监测系统、监督性监测系统、国控点、省控点等多个监测平台,提供各类的大气辐射环境在线、离线监测数据,但对于这些多来源的数据如何处理、整合,进而开发相关的数据功能,还需进一步的工作。
通过对辐射环境类大气监测数据的大数据挖掘,实现核与辐射数据的相关业务应用。
2.3.数据处理层
数据处理层建立在并行计算环境层基础之上,为应用层提供数据计算服务,本层分为两个部分:
环保推荐引擎,常规大数据处理;
常规大数据处理为上层及推荐引擎的数据统计、数据分析、数据预警、数据挖掘提供支撑平台。
环保推荐引擎完成数据挖掘与专题分析任务,为上层提供判定结果。
集成多种模型算法,优化核算模型,温室气体排放因子测算,对排放因子测算和数据质量控制,进行准确性判断。
为城市管理者提供现状评估、趋势预测、潜力分析、目标制定分解及跟踪等辅助决策服务。
通过成立专家评估委员会,对排放系数的有效性进行分析,特别是对一些强制性指标加以深入推敲。
控制指标包括排放系数统计信息分类的所有指标。
建立企业生态环境价值评估模型,分析研究主要行生态环境对比研究行业不同规模、不同性质、不同层次的温室气体排放情况,融合生态环境的核算、因素分解分析、模型、峰值预测、情景潜力研究和福建省减排路径分析,为低生态环境策略制定提供可量化的决策依据。
建立生态环境评价与挖掘平台,自动完成主要行业基于温室气体排放分析研究报告,为工业源的温室气体排放研究、评估以及未来的控制政策提供支撑支持。
主要实现功能如下:
a.为实现生态环境交易提供数据决策支撑服务。
b.针对环境发展通过大数据建模,对生态环境未来进行预测和预警。
c.针对生态环境的决策,依据生态环境基础数据,建立大数据模型,并进行深度分析,得出生态环境配额,生态环境足迹分析等各种专业问题的结论。
d.建模,以支持节能减排降生态环境目标的预警调控方案。
e.低能耗低排放产业分析。
f.为调整优化能源消费结构提供数据支撑等
h.气象数据耦合计算
所有的大气环境污染,都在在大气环流中弥散传播的。
如果要通过监测数据对污染源进行追踪,则需要同时耦合大气扩散数据进行反向的溯源计算。
环保气象数据处工功能主要负责接入全省实时气象数据和预报数据,将其处理为可供各个其它应用的基础数据,并提供相关的计算模型进行反向耦合计算。
2.4.并行计算环境层
并行计算环境层是大数据平台的核心驱动层,其基础计算能力直接影响上层的运行效率与运行速度。
并行计算环境层为上层提供大规模计算与存储服务,并行计算环境层由工作流协调处理系统,并行式计算系统.数据仓库,并行式文件系统组成;
并行计算环境层由一个服务器集群组成,集群规模随着平台的计算需求进行扩充。
3.平台建设关键技术
大数据是指一般的软件工具难以捕捉、管理和分析的大容量数据,通常以PB来计量(1P=1024T,1T=1024G);
其意义不仅仅在于容量之大,更大的意义在于通过对海量数据的交换、整合和分析,发现新的知识,创造新的价值;
通常大家用4V特性来描述大数据;
¨
Volume(容量)
根据IDC(国际数据公司)的监测统计,2011年全球数据总量已经达到1.8ZB(1ZB等于1万亿GB,1.8ZB也就相当于18亿个1TB移动硬盘的存储量),而这个数值还在以每两年翻一番的速度增长,预计到2020年全球将总共拥有35ZB的数据量,增长近20倍。
Variety(多样性)
大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或语义。
Value(价值)
价值通常也被理解为价值密度,也就是说依据大量的不相关信息进行深度复杂分析,对未来趋势与模式的做出可靠的判定,从而发现数据的价值。
Velocity(高速率)
大量的数据需要进行快速的,实时的处理,才能在指定时间内得到结果;
数据的处理方法多以批量化,分布式为主要处理方式。
从以上大数据的特性分析可知,我们生态环境的海量数据价值发现的核心前提条件是:
1.大规模的基础运算能力与海量的存储能力。
2.高效的数据价值提取算法。
在分布式/并行式计算系统没有出现之前,大规模的计算资源只能由超级计算机来提供,这是一种昂贵的资源,把大部分中小团队拒之门外;
约2006年云计算技术开始发芽,至2010前左右随着云计算技术的发展成熟,大规模分布式/并行式计算系统也得到了发展壮大,并快速成熟起来;
分布式/并行式计算系统能把廉价的大批量硬件组合起来,提供一种廉价的大规模运算能力与海量存储能力;
因而当前技术发展已能满足第一个前提条件。
仅有大规模运算能力还是不够的,使用人工智能技术是解决复杂非线性计算的关键;
如:
美国超级计算机深蓝,仅使用其强大的计算能力,没有使用人工智能技术的情况下,与围棋大师的较量中最终还是败下阵来;
而使用了深度学习技术的智能象棋程序,在自我学习8年后轻易就打败了象棋大师。
人工智能的发展历史很长,几乎是和计算机技术一起发展的,但是大部分人工智能算法不能应用于人们实际生活中,直到近年深度学习算法的发展与成熟,深度学习算法被证实在处理大数据时是行之有效的,其成果已经在人们实际生活中起到了的很好的作用,如:
苹果的SIRI,微软小冰,多种BI产品,人脸识别等。
因而深度学习算法的成熟是满足第二个核心条件的最佳解决方案之一。
4.平台模块设计
整个平台是松耦合的,多模块并行开发;
数据接口系统,与大数据处理层及资源层是应用系统的基础,因而在各系统设计开发之初必须优先拟定好各个接口定义,方可各自设计与开发。
4.1.环保平台应用表示层设计
应用系统分为平台通用功能模块以及各种专题子系统构成;
应用系统通过调用生态环境推荐引擎和其它大数据分析技术来完成就用系统的功能,不须要单独开发自己的底层数据分析功能。
平台可视化功能是通用功能,可以为各个应用系统所用。
7.1.1通用功能设计
7.1.1.1可视化展现功能
可视化展现,就是把所有的最终结果数据以全息地图方式呈现在使用者面前,其所有的信息均具备地理属性。
主要功能如下:
a.实时动态按区域、按行业、按企业的数据排放可视化显示。
b.掌握温室气体排放数据库,实时掌握资源的利用。
c.区域生态环境信息、企业生态环境信息、工业生产过程生态环境量、能源种类生态环境量、废弃物生态环境量、生态环境量等。
展现方式:
1.全省生态环境区域能量图,纵览全省生态环境。
2.环境生态环境健康图谱,大数据挖掘建立综合评价体。
3.全省生态环境指标看板,企业排放TOP100,区域排放排。
4.生态环境预警分析,按排放类型等预警分。
5.全省生态环境趋势,按行业按区域趋。
7.1.1.2搜索化平台
搜索分析平台在丰富的业务模板库的基础上可以快速的为使用在搜索中发现关键信息,可以使你轻松的在1到3秒以内完成85%以上的生态环境分析。
智能检索系统依托全文检索、自动分词、结果聚类等先进技术,提供对不同类型、不同格式环境资源数据的快速检索及关键字模糊查询,同时可业务明细、业务报表、相关文档、地理空间数据等聚类类别进行搜索结果展示,可极大满足用户的数据共享、快速查找需求。
7.1.1.3系统管理
系统管理属于数据分析平台的功能。
通过使用授权来控制不同岗位、不同用户的业务操作权限。
并采用用户组的方式对用户权限进行管理,一个用户组
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 福建省 生态环境 数据 平台 概要 设计 v02