政务数据应用_专题库主题库建设方案与规范PPT资料.pptx
- 文档编号:12931000
- 上传时间:2022-09-30
- 格式:PPTX
- 页数:23
- 大小:3.07MB
政务数据应用_专题库主题库建设方案与规范PPT资料.pptx
《政务数据应用_专题库主题库建设方案与规范PPT资料.pptx》由会员分享,可在线阅读,更多相关《政务数据应用_专题库主题库建设方案与规范PPT资料.pptx(23页珍藏版)》请在冰豆网上搜索。
依据业务逻辑提出主题库建设需求,沟通方案:
牵头委办与大数据中心沟通需求及实施方案,申请数据资源:
通过三清单流程,向数据共享委办申请数据资源,申请账号和数据库空间:
与中心对接组沟通申请;
如已有门户账号,只需申请数据空间,委办(牵头方)主题库/专题库建设工作步骤,开发&
应用:
已获取需求资源后,实现主题库开发及应用,目录,01主题库、专题库建设概述,02,工作流程,03开发实施,1、数据开发功能特性,关键特性1:
开发运维一体化数据开发功能具备一体化(DevOps)能力,让研发与运维间高度协同,在完成高频率部署的同时,提高生产环境的可靠性、稳定性、安全性和弹性。
从数据入湖后开发再到应用上线部署,一套流程进行标准化流水线式分工协作,1,3,全方位管理,全面的分析设计,多种开发方式,方便快捷上线部署,2模型设计,开发测试,4上线部署,5,完备的运维管理能力,1、数据开发功能特性,关键特性2:
便携式数据可视化开发数据可视化开发,开发流程直观、可视化,从程序设计、数据源配置到组件配置全过程可查看,大大提升开发效率,提高“事中”可控性,1、程序设计:
支持边框布局、流式布局等多种布局形式,4、页面预览:
可随时预览开发效果,所见即所得,2、数据源配置:
SQL数据源可以编辑SQL,可视化配置,3、组件配置:
通过拖拽把组件绑定到设计中,即可开始组件配置开发,1、数据开发功能特性,关键特性3:
规范化的数据治理数据开发有标准规范的开发过程管控,即通过数据治资产管理平台同步获取数据资源,其优势在于将数据开发和数据资产管理平台有机结合起来,既是对开发过程的管控,也是保障数据质量的有效方法,数据资产平台,数据开发平台,同步开发模型,获取规范据资源到开发平台,数据信息同步,标准规范执行,上线前按照标准规范进行控制,包括命名规范,信息完整性,合理性,不符合标准规范的不予上线,2、数据开发功能,数据开发,数据探索,数据建模,可视化程序开发,程序测试,平台数据开发功能,开发工程师,运维监控,任务监控,平台监控,日志采集,问题定位,开发/运维人员,2.1数据开发功能-数据开发,2-模型定义创建模型基础信息、定义模型的元数据,3-构建表结构添加模型字段信息提供手工/批量方式,4-编辑模型应用程序固化常用程序命令,拖拽式使用图形化界面,自由配置处理逻辑,7-提交审核并上线开发人员建立上线任务,提交审核并上线,程序在线测试提供WEB界面可视化测试功能;
查看执行时长、执行状态等信息,方便开发人员调试,性能分析调度配置,1-数据探索根据业务逻辑做需求分析,通过探索了解相关数据情况,模型开发,程序开发,程序测试,审核上线,数据探索,2.1数据开发功能-数据开发,1、数据探索,2、模型开发,3、程序开发,4、程序测试5、审核上线,操作路径:
数据开发SQL查询数据探索步骤:
了解业务需求确认需求数据源描述性统计分析数据预处理数据探索工具:
sql数据查询元数据查询,2.1数据开发功能-数据开发,1、数据探索,2、模型开发,3、程序开发,4、程序测试,5、审核上线,操作路径:
数据开发模型开发模型开发步骤:
新建模型输入模型基本信息导入模型模型上线模型导入方式:
手工:
依次逐个添加字段信息批量:
SQL脚本导入EXCEL复制粘贴导入,2.1数据开发功能-数据开发,1、数据探索,2、模型开发,3、程序开发,4、程序测试,5、审核上线,操作路径:
数据开发程序开发程序开发步骤:
新建程序输入程序基本信息编辑程序固化常用程序命令,拖拽式使用图形化组件,自由配置程序逻辑程序开发类型:
可视化开发脚本开发:
支持sql,Python,java,shell等类型的脚本,2.1数据开发功能-数据开发,1、数据探索,2、模型开发,3、程序开发,4、程序测试,5、审核上线,操作路径:
数据开发程序开发-测试程序测试步骤:
保存程序点击测试按钮自定义参数执行测试程序,2.1数据开发功能-数据开发,1、数据探索,2、模型开发,3、程序开发,4、程序测试,5、审核上线,操作路径:
开发中心开发流程发起需求审核上线:
发布上线流程是通过提交审批,实现模型、程序、调度的上线、下线、变更、开放、授权申请。
审核上线步骤:
发起上线流程上线对象申请上线审核上线发布,2.2数据开发功能-运维监控,调度监控,调度运维,2-调度任务监控监控任务并提供异常任务的运维处理操作选择项,满足不同场景下的处理要求,3-调度运维可查看任务依赖、运行日志并进行任务分析,主要用于执行失败程序问题定位,1-调度任务编辑包括程序运行参数配置、外部依赖配置信息、调度配置输入输出表等,确保程序正常运行,调度编辑,2.1数据开发功能调度监控,操作路径:
任务调度-任务编辑调度任务编辑步骤:
输入输出表配置运行参数配置程序开始时间运行周期:
分钟/小时/日/月(与数据归集频率保持一致)重做次数等外部依赖配置信息,1、调度编辑,2、调度监控,3、调度运维,2.1数据开发功能调度监控,操作路径:
任务调度-任务监控调度任务监控查看调度、依赖、执行日志,监控作业执行情况,并提供异常任务的运维处理操作选择项,满足不同场景下的处理要求。
1、调度编辑,2、调度监控,3、调度运维,2.1数据开发功能调度运维,操作路径:
任务调度-任务监控调度运维使用场景:
手工运行执行失败程序问题定位调度运维操作:
重做当前重做后续强制执行强制通过,1、调度编辑,2、调度监控,3、调度运维,交流&
讨论,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 政务 数据 应用 专题 主题 建设 方案 规范
![提示](https://static.bdocx.com/images/bang_tan.gif)