数据采集系统建设.docx
- 文档编号:3513196
- 上传时间:2022-11-23
- 格式:DOCX
- 页数:9
- 大小:114.37KB
数据采集系统建设.docx
《数据采集系统建设.docx》由会员分享,可在线阅读,更多相关《数据采集系统建设.docx(9页珍藏版)》请在冰豆网上搜索。
数据采集系统建设
1数据管理发布系统
数据管理发布系统包括元数据管理、数据采集、系统管理和系统运行监控。
1.1元数据管理
统计元数据对于统计业务具有极大的意义,为了实现企业信息共享平台能够对元数据的采集和统计数据的共享交换。
第一,参照国内和国际相关标准,研究制定统一规范的统计元数据标准,即统计制度,实现统计元数据的规范化和标准化管理,可以实现对统计数据的一致性要求,为基于元数据的数据共享交换提供基础。
第二,统计业务的实施涉及到统计设计管理、数据采集处理和分析评估各环节,梳理统计元数据的规范和统计制度可以为企业一套表以及各种统计业务流程的重构、数据采集方式的选择等确定标准和规范,例如:
元数据标准应用最多的就是在企业一套表中,规范了统一指标的名称、涵义、计算方法和代码,强化统计分类标准在统计调查中的执行。
因此完善研究制定涵盖统计设计管理、数据采集处理和数据发布等统计生产全过程的元数据标准,可以提高统计能力和统计工作的规范化和标准化水平,准确诠释宏微观统计数据。
元数据管理包括统计制度管理、元数据管理、版本管理和填报表管理。
统计制度管理
从制度所属部门、制度编号、制度名称、状态、创建时间等多个角度对统计制度进行描述,可以对统计制度详细明细进行查看和维护,制度的维护主要包括制度本身以及制度内各项指标的增、删、改,支持批量删除,并提供基于制动名称、制度编号的查询。
'■I
■3-«*Z
•-UP---亠的
*M
雪・
FAhiipvvb--4I|jcg«<-wKaLfl
M■■O-F'KIjWWVI
3
■片1FW^Vrt*「Br ,屮电>PrHrdPIOivVuM.8j 图1-1统计制度管理示例图 元数据管理 提供元数据的维护功能,使元数据符合统计制度的数据规范,维护的内容包括统计制度的选择、元数据的名称、元数据代码、监测频率、计量单位和数据列名,实现针对元数据的增、删、改工作,支持批量删除,并提供基于统计制度、元数据名称、元数据代码和监测频率的查询功能。 览业・■携拿畢莒■豐泄JKIA M■ 图1-2元数据管理示例图 版本管理 统计报表制度下针对不同年份可以设置不同的报表版本,作为当年元数据的 采集制度规范,报表版本管理提供基于版本名称和统计制度的查询功能,并从统 计制度、版本名称、版本号、起始年份、终止年份、状态和创建时间等方面对统计制度下报表进行管理,同时提供报表明细项的展示和修改功能。 ”工 "3-WZ1 ■J T—rwaM 图1-3版本管理示例图 ■* MWdP.—fciUi & JUJ JUM ■■ * ■ 表单管理 提供基于统计制度、报表版本和报表名称的查询,并在报表管理中实现对于各种报表的明细查看、编辑修改、设计和预览,通过列表的方式显示报表的版本、统计制度、报表名称、报表号和批准文号等报表描述信息。 提供新增采集方式配置功能,对于新增的采集,通过下拉菜单的方式选择统计制度、报表版本、报表名称、采集频度、填报单位、数据库、采集方式、所采集的数据包名(默认xls、xlsx、dbf,还支持zip等格式)和收录范围,同时可以灵活配置收录范围等项。 图1-4表单管理示例图 1.2数据采集 企业信息共享平台提供安全的数据导入导出功能,保证新区各职能部门的企业法人信息数据能够导入至企业信息共享平台综合库中,完善滨海新区企业信息的数据资源,作为未来业务应用的信息依据。 同时,可以将平台内所存储的企业信息数据导出,提供数据导出服务,实现部门间的信息互补,确保无信息孤岛。 导入功能在企业信息共享管理平台完成滨海新区各委办局的数据符合国家信息安全要求的解密导入功能,实现对新区内统计局、工商局、国税局、地税局以及质监局的企业法人数据进行导入,通过元数据管理完成统计制度管理、元数据管理、报表版本管理和报表管理,确定导入数据的规范,数据导入功能提供文件的导入界面,完成文件的上传,支持dbf、csv等多种格式,数据导入主要面向统计局、工商局、国税局、地税局和质监局五个委办局。 同时辅助导入功能,提供统计制度查询功能,即导入规范的查询,以统计制度、报表版本和报表名称为查询条件,查询结果以列表的形式显示,列表的维度包括报表版本、统计制度、报表名称、报表号、批准文号、数据库、应导入数量、已导入数量和导入进度,并针对统计制度下各报表版本提供预览和数据结构维护。 导出功能企业信息共享服务平台和功能区街镇子系统设计了导出功能,以PDF、WORD 等多种形式导出业企业信息共享服务平台发布的图、报表。 数据加密导出实现数据的符合国家信息安全要求的加密导出功能。 数据采集子系统主要包括据填报管理、导入管理、接口管理,实现国家“一套表”数据、市局反馈数据、各委办局企业信息数据等重要企业法人信息数据的采集,整个采集过程遵循项目制定的数据规范。 填报管理 提供统计制度查询和数据填报两部分功能。 统计制度查询以统计制度、报表版本和报表名称为查询条件,查询结果以列表的形式显示,列表的维度包括报表版本、统计制度、报表名称、报表号、批准文号、数据库、应填报数量、已填报数量和填报进度,并针对统计制度下各报表版本提供预览和数据结构维护;数据 填报按照既定数据结构,包括企业组织机构代码、工商登记注册号、企业名称、法人、企业联系人等,数据填报能够根据未来业务的需要采用灵活的统计制度报表进行填报。 •ItMi 图1-5填报管理示例图 导入管理 提供统计制度查询和数据导入两部分功能。 统计制度查询以统计制度、报表 版本和报表名称为查询条件, 查询结果以列表的形式显示,列表的维度包括报表 版本、统计制度、报表名称、报表号、 批准文号、数据库、应导入数量、已导入 数据 数量和导入进度,并针对统计制度下各报表版本提供预览和数据结构维护; 导入提供文件的导入界面,完成文件的上传,数据导入主要面统计局、工商局、国税局、地税局和质监局五个委办局。 —A. ■AM* ■Ji匚 14 接口管理 依据各统计制度提供数据接口,按照数据接口规范,直接抽取相关的企业信息数据。 前置库到综合库的数据抽取选用ETL工具。 图1-7接口管理示例图 1.3法人库管理 法人库管理主要包括数据比对和分组标签管理。 数据比对 主要实现对采集的法人信息数据,进行数据比对,以权威数据作为各字段标准数据。 在每月一套表填报窗口期以前完成5部门导入、以统计局导入的国家法人库数据为基准进行比对、显示比对结果、可手动确定唯一源;对于新增企业、可提醒各功能区街镇及时更新国家法人库 图1-8数据对比示例图 分组标签管理 主要实现对企业分组管理和企业分组标签管理,首先对企业分组进行维护, 确定企业分组的名称、类别等信息,并设置企业分组下的标签;通过企业分组标 卜<> 签管理对企业分组标签进行维护。 KM j 图1-9分组标签管理示例图 1.4汇总分析管理 汇总分析管理主要包括分析模型设计、报表设计、图表设计、目标值设定和共享发布管理。 分析模型设计 针对基于元数据构建的模型进行统一的管理,并提供模型设计器,可以针对 新增的分析需求建立新的模型。 报表设计 提供可视化的报表管理界面,包含对于图报表的设计、维护和发布等功能。 图1-10报表设计示例图 图表设计 提供可视化的报表管理界面,包含对于图报表的设计、维护和发布等功能。 目标值设定 对于共享服务系统需要进行年度目标达成率计算的数据分析场景,设定年度 目标,主要针对经济运行监控子系统和重点企业监测子系统的目标值和预警值设 QMJlii 1 ■*Kl 1* |« IMiM ■ ;M* gn JM, ■aaa FP LWJd ■ lUJri ■■■aah mi ■..D JMj ! ■'' ifigilji •检 ~B~ ■~ »nrr> 4fe) 图1-11目标值设定示例图 共享发布管理 对在汇总分析管理中所设计的图表、报表等一系列可视化展示内容,完成在 共享服务系统的发布,并对相关共享发布的内容进行管理。 不用部门用户制作的各种汇总/分析的图表和报表可设置共享发布的可见范围。 1.5系统管理 系统管理主要实现用户管理、权限管理、编码管理和系统运行监控和操作日志管理。 用户管理 可以新建、修改和删除与平台相关的所有用户,并对用户基础信息进行维护,包括姓名、登录名、密码、区划代码、注册时间、部门等。 角色包括管理员、演示员、操作员等。 权限管理 为已完成基础信息录入的用户分配功能使用权限,包括菜单、数据维护(增、删、改)等,。 菜单权限包括元数据管理、数据维护、数据填报、经济运行监控、报表中心等。 同时还可以为已完成基础信息录入和角色权限分配的用户分配数据使用权限,根据自己所处的部门划分数据使用的权限,分为滨海新区、功能区、街镇等部门级别。 编码管理 对系统所涉及所有数据和代码之间的转换关系进行维护管理。 系统运行监控 实现系统运行状态监测,包括平台相关软硬件的运行状态,包括CPU使用率、内存占用情况等。 操作日志管理 实现操作日志管理功能,包括操作日志监控、操作日志审计等。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 采集 系统 建设
![提示](https://static.bdocx.com/images/bang_tan.gif)