大数据资源服务平台文档格式.docx

大数据资源服务平台文档格式.docx

《大数据资源服务平台文档格式.docx》由会员分享，可在线阅读，更多相关《大数据资源服务平台文档格式.docx（52页珍藏版）》请在冰豆网上搜索。

数据资源目录管理系统

1.公安标准梳理（限定词、数据元、代码等）。

2.按照公安标准对数据进行对照，结合相关信息编目，形成标准目录（不少于900个标准目录）

3.统一注册各种类型的数据资源

4.对数据质量、数据运行情况、数据追溯进行管理

5.包含商业版数据资源管理系统1套

6

数据资源监管系统

1.提供大数据ETL整合工具，对各类源头数据库、文件及其它数据类型进行数据抽取，并在过程中进行清洗转换，将结果写入汇集库。

2.对ETL进行集中调度和监控（不少于1500个ETL任务）

3.包含商业版数据整合管理系统1套

7

资源服务总线系统

1.主要实现对本地应用的统一接入，减少应用系统对底层数据库的直接访问，提高数据安全性，解决全市以及协作区域间信息服务资源的简便对等开放、共享标准规范、本地信息资源集中管理、面向应用服务的统一接入、高可用服务支撑能力、安全审计等一系列问题。

2.提供对应的查询、比对、交换、布控服务接口。

3.对总线开放的节点、目录、资源、进行运行监控、日志管理。

4.提供平台级别间对接。

5.商业版资源服务总线系统1套。

8

运维服务

1、公安内外部数据进行数据拉通的数据实时运维及巡检工作；

2、负责维护数据交换，保证旅馆、网吧、卡口等数百个数据交换的正常运行，保障交换数据能正常汇入资源库；

3、提供两年一人驻场运维服务,第三年远程支持。

年

9

互联网信息采集系统

结构化数据导入

1、开发结构化数据导入程序，并定义结构化数据的标准格式。

2、将按照标准格式整理的结构化数据导入程序并保存在公安网汇集库中。

3、实现导入异常预警，和异常准确定位的功能。

零散线索情报录入

1、开发零散线索情报录入程序，并定义录入的格式。

2、工作人员在完成零散情报录入工作的同时，将涉及的嫌疑人员、录入人员等相关人员信息录入在程序并保存在公安网汇集库中。

采集数据源扩展

提供多种可靠采集技术手段，支持扩展多种数据源头采集工作。

如物流信息、汽车租赁、就医信息、景区信息、征地纠纷、担保受损、涉民教师等。

大数据辅助决策平台

结合公安工作现状及后续工作需求，定制开发大数据辅助决策平台，通过定制开发多个专题信息大屏动态展示我市治安防范能力，打击犯罪能力，社会治安管理和社会数据资源整合成果等。

10

社会数据研判预警系统

1、实时布控：

通过上传需要比对的人员数据，与本地重点人员名单、本地库、请求全国服务数据或其他地市协同数据进行比对，系统比对完成之后，自动将比对结果以消息推送的形式传递。

2、数据采集：

对结构化数据、图片、视频等类型的数据上传，数据实时传送至资源库。

3、比对预警：

通过app的比对功能自主比对，自主比对以本地重点人员名单和本地库为依据，比对结果实时显示预警。

4、拓展应用：

通过提供开放性的API接口以供后续人像应用、电子签章应用、图片应用、音频应用、视频应用的接入，提供对接。

5、预警布控数据范围包含社会数据采集的相关数据和公安部门指定的数据。

6、与本地重点名单和本地库数据实时比对。

7、与全国请求服务和其他地市协同数据延时比对。

8、通过本地库或本地重点人员名单比对完成的结果可通过服务总线进行分发共享。

11

数据对接中转机

通过对接采集点数据源进行数据抽取，并将数据上传至前置服务器。

台

12

前置服务器

采集点数据汇集载体，安装数据库用以接收外来数据，安装数据抽取/接收程序。

13

防火墙

对流经它的网络通信进行扫描，能够过滤掉一些攻击，以免其在前置服务器上被执行。

防火墙还可以关闭不使用的。

而且它还能禁止特定端口的流出通信，封锁特洛伊木马。

最后，它可以禁止来自特殊站点的访问，从而防止来自不明入侵者的所有通信。

14

人像数据采集终端

采集人员身份证信息及现场人像拍照信息。

20

15

万兆交换机

本项目交换机配置为24个10GESFP+口（配置8个10GESFP+光模块），配置交流双电源

16

终端采集路由器

主要应用于数据库不在信息采集点（商家）本地的实例中。

功能是信息采集点（商家）部署终端采集路由器，通过对经过路由器的报文进行深度分析，并抓取有用的社会信息。

个

二、详细技术参数要求

货物名称

技术参数

详细技术要求

★全文数据支撑

提供不少于30亿数据或不少于600项标准数据资源，并提供不少于800个ETL任务以增量任务形势将数据资源配置进入全文检索系统。

提供进入全文检索系统的所有数据资源的检索功能，不少于600项资源独立检索；

提供人员关系计算同户人、同住宿、同上网、同机构分析时，每项不少于200万数据参与计算；

车辆行车轨迹、人员出行、留宿轨迹分析时，每项不少于200万数据参与计算。

提供不少于600项标准数据资源，每个资源不少于20个字段的查询权重设置。

提供不少于600项标准数据资源，每个资源不少于20个字段的查询权限设置。

★技术要求

要求采用分布式全文索引技术，为基础数据资源建立全文索引，满足对基础数据资源任意字段和全部字段的模糊检索需求。

要求采用HADOOP技术架构建设对象专题库，可以基础数据资源按专题（如人员、案件前科等）进行分类重组整合相关信息。

支持智能识别、智能提示、语义分析和行为分析等智能化设计。

异地对接

要求与请求服务系统对接实现异地搜索，需提供页面功能截图。

要求与资源服务总线系统对接实现与异地公安搜索系统进行联盟搜索需提供页面功能截图。

全部搜索

要求针对资源、对象、图片等维度的数据资源进行关键词检索，系统后台自动进行相关度计算，并分别将这些维度返回的匹配结果进行分类展现，需提供页面功能截图。

资源搜索

要求针对本地资源和异地资源提供全部资源的模糊搜索、单个资源的条件搜索功能，以及针对异地共享服务资源提供请求服务查询功能，将返回命中资源目录和命中资源记录给用户，需提供页面功能截图。

对象搜索

要求针对本地、联盟对象提供全部对象类型和特定对象类型的搜索功能，命中结果按对象类别（人、车、案、组织机构等）分别展现其相关的基础信息、相关度分值、关注人数等信息给用户。

同时能提供对象关注功能，及时推送关注对象的最新动态给关注用户，需提供页面功能截图。

照片搜索

要求基于检索关键字针对接入的照片相关文本信息进行检索，并返回相关的人员照片以浏览视图方式进行展现；

支持对接第三方的人像比对服务，需提供页面功能截图。

专题档案

要求支持数据资源按专题（人、案件前科等）进行分类重组，采用“一人一档”的展示模式，实现对数据的关联组织与档案式呈现功能。

超级档案的信息内容丰富，具备高价值的特点。

以人员专题为例，主要分为基本情况、案件信息、人员关系、活动轨迹五个展示模块，需提供页面功能截图。

轨迹分析

基于人员、车辆等信息，实时计算出的当前轨迹落点，并依靠GIS地图动态活跃在地图中，需提供页面功能截图。

撞线分析

系统会针对检索内容进行分类预警，如某一时间段对某一人员或物品进行多次检索的预警提示，需提供页面功能截图。

搜索引擎

要求基于搜索服务接口，响应智能搜索系统客户端或第三方应用发起的搜索请求，搜索引擎依据参数执行搜索任务后返回结果给请求方。

分层索引

索引构建：

要求基于Lucene实现索引构建，通过特殊的索引结构（资源、对象）实现传统数据库不擅长的全文索引机制，将数据源中的数据结合分词建立倒排索引，并依据具体的部署情况在搜索引擎服务器生成各层索引。

索引入库：

要求基于索引构建，通过任务调度引擎全量或增量生成资源、对象索引并保存到搜索引擎服务器。

系统管理

基础管理：

要求提供应用和数据服务器的登记管理和集群管理功能，并可针对全文库节点和索引节点进行维护。

模型管理：

要求针对本地数据模型的结构和分类提供维护管理功能。

索引管理：

要求针对资源、对象索引的构建任务情况和数据量情况提供监控功能。

日志管理：

要求针对采集的日志信息，提供用户登录和相关操作日志的查询功能。

统计管理：

要求针对本地资源、对象提供种类、总量、增量统计信息的查询功能，以及在线用户数和系统访问量的统计信息发布功能。

权限管理：

要求提供系统功能访问、数据访问、对象搜索、档案访问的权限管理功能。

红名单管理：

系统应将红名单信息进行安全级别分类，包括多个等级；

同时，对于用户也可进行相应分类，一级用户可以查看一级及以下红名单，各级用户都可查看本级相应红名单。

红名单管理主要是根据平台名单中人员的安全级别进行过滤，从而屏蔽普通用户查阅、修改、删除重要人员的信息，需提供页面功能截图。

性能要求

1、精确条件查询，要求响应时间≤1秒；

2、模糊条件查询，在1000万条记录条件下，要求响应时间≤5秒；

3、全文库入库性能≥10000条/秒；

4、单表数据量1亿以内，单个关键词搜索1秒内返回结果；

5、全库（100张表以内）50亿数据量，单个关键词全库搜索3秒内返回结果，档案主要信息3秒内展示；

6、200个并发搜索下，响应时间≤3秒。

★对接要求

在满足实现功能的前提下，提供市局不少于3000个PKI／PMI接入应用门户系统。

技术要求

采用J2EE开发，采用Html5、JQuery技术，应用模式为B/S

须与公安PKI/PMI系统无缝对接，实现用户身份统一认证

操作日志的存储须满足大数据环境下的分析应用，所支持的数据库包括常见的关系型数据库之外，必须支持大数据应用所需的hadoop和MPP数据库等作为数据源

应用门户须支持以负载均衡设备进行访问负载均衡的方式进行多节点部署

单点登录

支持用户通过公安数字证书登录应用门户，并且在访问应用门户的各项功能以及应用时，不再重复进行登录操作

需完全支持PKI证书登录平台，并能够通过平台访问应用资源。

除了证书登录之外，还需要提供用户名/密码的登录方式，以满足特殊情况下的应用需要，提供页面功能截图

个人门户

提供给每一个用户使用的个人应用门户，用户可以通过应用超市将所需的应用添加到个人桌面上便于使用，需提供页面功能截图。

应用超市

将用户常用的应用按照使用频度集中展示出来，用户可以自行调整其顺序和显示位置。

此外，用户还能添加新的应用到常用应用中来，需提供页面功能截图。

实现要求

由于现有的数字证书中用户信息内容有限，所以系统获取的证书信息还需要与警综平台记录的警员信息相结合才能获取用户的行政区划、组织机构、警种类别等其他详细信息

门户上发布的应用，可以按照应用名称、下载次数、使用次数进行排序查询

注册申请：

对需要发布到应用门户的应用进行注册登记，登记时须要确定应用的发布方、开发方、运维方和应用的部署信息。

审核管理：

由应用的管理人员对注册的应用进行审批，审批的过程包括应用可用性的检查。

经过审核的应用会自动发布到应用超市中供被选择使用。

应用情况监测：

通过系统能够对应用的发布、使用情况进行浏览、查询，能够对使用评价、应用的次数进行统计，能够对应用的状态进行监控。

应用状态监控：

应用是否存活的状态进行监控的管理功能。

应用状态的监控需要通过应用预设的状态接口由门户平台后台管理程序自动进行状态检测，并将检测的结果及时记录并反馈到应用状态监控界面，以提醒应用的管理和运维人员及时处置状况异常的应用。

平台授权管理主要是指根据平台的实际应用需要，对用户进行使用权限的授权管理。

平台的授权管理与具体应用的授权管理各不相同，平台的授权管理关注于平台各个组成部分的使用授权，而应用的授权则主要关注于应用自身的使用授权，二者之间相对独立，互不干扰，需提供页面功能截图。

系统需提供符合公安部系统操作日志采集规范的操作日志记录功能，并提供操作日志的查询功能，需提供页面功能截图。

★总体要求

基于专题数据库，依靠业务逻辑和大数据算法，计算形成权威各类专题数据资源，并依托数据和算法提供一系列查询、比对接口进行动态监控、运维和故障处理

专题关系应用提供不少于200个专题关系逻辑计算算子，提供不少于10个专题关系查询、比对接口。

专题应用

要求提供对本市采集的社会数据进行专题分析，创建专题库及对应的应用模型。

数据库建设

根据业务特点选择关系型数据库、非关系型数据库等形式，在此之上构建中心数据仓库、资源库、专题关系库、红名单管理库，完成数据中心汇集库数据库的完整体系

数据资源梳理

按照公安部相关数据标准规范要求对数据资源进行梳理，经过梳理后，须形成符合公安数据标准规范要求的数据元、限定词、代码和数据项的规范文档，用于指导后续的信息资源应用

完成对整合后的数据资源库及新建业务应用系统的数据表、数据项的梳理工作，并在梳理的基础上，完成关键业务的标准数据元、限定词、数据项、代码的整理工作，并形成符合相关标准规范要求的数据标准文档

数据编目

将经过梳理的数据标准与设计的数据汇集物理表建立逻辑对应关系，形成数据资源目录，通过数据目录可以明确各个物理表中的物理字段对应的业务数据项，以及业务数据项须参照的数据标准，从而完成数据资源标准体系的建设。

数据资源编目的结果是形成作为数据整合的参照和信息资源应用基础的数据资源目录。

★数据资源目录的内容须包含涉及的应用系统基本信息、数据表信息、数据项信息和数据资源信息以及数据资源与数据项映射关系五项内容约56个项目，其中涉及《中华人民共和国行政区划代码》（GB/T2260）、《全国公安机关机构代码编制规则》（GA380）、《公安数据元管理规程》（GA/T541）、《公安数据元编写规则》（GA/T542）、《公安数据元》（GA/T543）、《数据项标准编写要求》（GA/T1053）、《公安数据元限定词》（GA/T1054）等相关标准规范

对梳理完成的数据进行资源目录编制工作，并最终形成数据资源目录，为后续的相关数据服务工作奠定基础

★数据整合

根据省厅和市局的要求和标准进行数据交换工作，充分满足省厅对数据资源的完整性和及时率的工作考核任务，涉及的业务类型包括卡口、交管、SIS及各类政府及社会数据等不少于6T，不少于60亿数据信息，涉及的数据来源包括但不限于sqlserver/sybase/oracle等多种结构化数据及文本、表格等非结构化数据

数据整合工具的运行情况须通过数据资源监管系统进行调度监管

中心数据仓库

以公安部发布的《公安数据元系列标准GAT543》为基础,结合我市业务实际和数据资源情况进行拓展，形成我市的数据元规范，以满足我市公安跨地区、跨警种、跨系统数据汇聚、交换、共享的目标，建设元数据库、基础库

资源库

根据业务特点选择关系型数据库、非关系型数据库等形式，在此之上构建满足信息服务的资源库。

将公安内部数据、外部数据、互联网采集的结构化、非结构化数据整理汇集成为标准化数据统一存放在资源库中，满足全量数据保存、实时数据处理、数据专题分析等应用场景

专题关系库

专题库将资源库中的数据按要素（人、物、案等要素）进行分类重组，按不同维度将相关信息整合到专题关系中，专题库的信息内容丰富，具备高价值的特点。

以人员专题为例，是将各个业务来源中涉及人员的基础信息、关系信息、涉案信息、疑似关系人、活动信息等信息统一整合在人员专题表中。

为应用分析与呈现提供数据支持。

红名单建设库

在数据库层面将红名单信息进行安全级别分类，包括多个等级；

红名单管理主要是在建立数据库的同时建立查询权限，将红名单中人员的安全级别进行过滤，从而屏蔽普通用户查阅、修改、删除重要专题库的数据

系统架构

采用J2EE进行开发，应用模式为B/S

为实现大数据应用，支持多种数据库作为数据来源进行编目，所支持的源数据库至少包括：

Oracle、Hadoop、Mppdb，需提供页面功能截图，同时提供商业版数据资源管理系统1套。

★须与公安PKI/PMI系统无缝对接，实现用户身份统一认证

除了证书登录之外，还需要提供用户名/密码的登录方式，以满足特殊情况下的应用需要

公安标准梳理

数据元、限定词、数据项等管理模块的采集项须符合公安数据元编制相关标准规范

标准对接：

与省部平台对接将上级标准数据快速导入到系统中，为方便标准管理，支持数据元和代码文件的导入功能，需提供页面功能截图

代码管理：

实现对本级代码数据的新增、检索、查看、编辑、废止等功能，需提供页面功能截图

数据元管理：

实现对数据元的新增、变更、废止、查询等功能，管理的范围包含上级同步的数据元和自定义数据元，需提供页面功能截图

限定词管理：

包含对限定词的新增、变更、废止、查询等功能。

范围包含上级同步的限定词和自定义限定词，需提供页面功能截图

数据项管理：

包含对数据项和数据项别名的新增、变更、废止、查询等功能

数据项由限定词和数据元组成，不同的限定词和数据元都可以组成数据项。

每个数据项都可以有一个或多个数据项别名，需提供页面功能截图

★数据资源目录管理模块设计须符合公安相关数据资源目录技术规范，提供不少于900个数据资源目录

包含数据资源目录所需应用系统信息的新增，检索，查看，编辑，废止等功能

数据库资源注册：

设置维护数据资源目录所需的数据库资源信息，数据库资源注册系统能够自动读取展示出其包含的所有数据表及其字段，管理人员可以完善各个数据表的描述信息需提供页面功能截图

须与数据资源监管系统无缝对接，数据库资源所需的数据库须从数据资源监管系统的数据库列表中选择，数据资源编目的结果须能够在数据资源监管系统中直接引用

包含数据资源目录的新增、检索、查看、编辑、编制、发布、资源构成查看、废止和启用等功能

通过编制，能够建立数据资源与数据项的映射关系，需提供页面功能截图

自动化数据资源编目：

为方便编目管理，在数据资源编目过程中，能够通过自动匹配实现自动化数据资源编目，需提供页面功能截图

数据资源检索

能够针对已经发布数据资源目录按照要素、业务分类和来源分类的检索和查询功能

数据质量管理

数据质量评估：

对关系型数据资源进行完整性、唯一性、规范性、值域、字符特征等方面的分析和评估，帮助用户全面掌握基础数据质量情况，快速发现潜在的数据质量问题

校验方法管理：

对数据质量校验方法进行维护，支持扩展校验方法以满足特定的业务逻辑需要

标准规则配置：

基于标准数据元配置校验规则，以便在方案配置时可以批量创建校验规则

基础监测方案：

根据发现的数据质量问题，参照数据标准规范以及业务需求制定质量监测规则，对数据资源质量进行持续监测。

主要监测完整性、规范性、单表逻辑等字段级或记录级问题

数据质量分析：

按业务警种、数据种类、来源单位、时间等条件对数据质量进行分析统计，包括单位对比分析、时间趋势分析、问题类型分析等等。

支持自动生成并发布数据质量分析报告。

支持数据质量问题修复情况分析

数据质量追溯管理:

依托已经形成的数据资源目录，结合相关部、省和市本级的数据标准和规范要求，从数据信息的准确性、值域范围、唯一性、必要性和引用代码的规范性等方面对已有的数据信息和采集、汇聚中的数据信息进行全面的动态化数据质量监管，使数据信息管理部门随时了解数据信息的质量情况，对数据质量故障能够及时发现、及时分析、及时处理。

建立从数据采集、数据入库、数据转换、数据查询、对比数据全生命周期对数据档案的跟踪管控

★其他要求

根据资源目录的建设要求，系统形成的数据资源目录需能够在服务接口构建时直接引用

提供大数据ETL整合工具，对各类源头数据库、文件及其它数据类型进行数据抽取，并在过程中进行清洗转换，将结果写入汇集库，同时提供商业版数据整合管理系统1套。

数据库注册管理：

实现对数据整合所涉及数据库的注册管理。

为实现大数据应用，数据库注册须支持多种数据库，至少包括：

Oracle、Hadoop、Mppdb，需提供页面功能截图

数据整合明细总览：

对数据资源所涉及的整合情况、和质量情况进行概括性的展示，展示的方式以图表数字混合方式为主，概括性地将数据整合涉及的数据库、数据整合执行节点和整合任务的运行情况，以及数据资源的数量情况进行概述，需提供页面功能截图

数据整合执行节点管理：

对执行数据整合任务的节点的启用、停止等管理功能。

为方便数据整合管理工作，数据整合执行节点须能够自动探知，新增加的执行节点能够自动增加到系统中纳入管理

数据整合任务管理：

实现对数据整合任务的新增、修改、删除、启用、停止等管理功能

通过系统，能够搭建包含数据整合管理控制和执行节点的数据整合集群，并在系统中能够对数据整合执行节点进行管理，对数据整合任务进行调度

通过系统能够对数据整合执行节点的资源负载情况进行监控。

数据整合源头监控：

能够对数据整合涉及的数据库状况进行监测，需提供页面功能截图

能够对数据整合执行节点的资源负载情况进行监控，并能实现节点间的任务调度

数据整合任务监控：

能够根据数据资源目录对数据整合任务进行监控，能够及时展现数据整合任务的执行情况,需提供页面功能截图

数据整合统计分析：

能够从数据资源目录及要素构成、地区分布和时间三个维度对数据资源的总量情况和增量情况进行监测。

在展示监测结果时，除了借助常规的表格进行呈现之外，还能以图形和图表的形式对监测结果进行显示。

监控日志管理：

能够通过系统查看数据整合交换过程的详细日志信息,需提供页面功能截图

数据整合交换

★数据整合交换功能集数据抽取、清洗、转换及装载于一体，支撑各种复杂的数据转换流程、任务调度流程的高效运行，为大块、大批量、异构的数据的整合提供坚实保障，提供不少于1500个ETL任务

支持多节点分布式任务调度及运行管理

支持各种数据抽取模式，如全量同步、增量同步、双向同步等

支撑各种复杂的数据转换流程、任务调度流程的高效运行，为大块、大批量、异构的数据的整合提供坚实保障

支持跨系统平台运行，基于标准的JDBC、