大数据功能模块概要设计V11.docx

大数据功能模块概要设计V11.docx

《大数据功能模块概要设计V11.docx》由会员分享，可在线阅读，更多相关《大数据功能模块概要设计V11.docx（14页珍藏版）》请在冰豆网上搜索。

大数据功能模块概要设计V11

第1章系统总体架构

第2章通用组件

2.1基础页面组件

前端页面JS框架，采用jquery为基础开发框架；为考虑对IE6，7，8的兼容性；建议版本为：

；

基于jquery的UI框架，目前流行的有：

easyui、jqueryui、dwz；这三个各有一部分对基础页面组件的支持；（考虑到这些基础UI框架可能存在的不兼容性，建议只选择一个，对于UI框架不支持的组件，另外选择开源提供）

对于常用的基础页面组件选型如下：

组件分类

特殊提供

UI框架提供

基于jquery的UI框架

easyui

jqueryui

dwz

图表组件

jfreechart/fushioncharts（商业）

在线编辑器

KindEditor/CKEditor

有

文件处理

上传：

有（多文件上传）

表单验证

（可自定义验证规则，包括正则表达式验证）

有

listbox组件

UI框架支持

有

日期组件

输入框

html原生的text标签

UI框架支持

有

有

进度条

UI框架支持

有

有

对话框

UI框架支持

有

有

有

按钮

UI框架支持

有

有

有

各种Grid

分页的grid:

flexgrid进行改造；需要服务端配合提供model

有

有

有

各种Tree

各种Menu

UI框架支持

有

有

有

Tab组件

UI框架支持

有

有

有

Form组件

标准的即可，如果需要做ajax提交，建议使用：

有

下拉框

对于参数类的，可以使用自定义JSLT标签来处理；通用的JS下拉框，可以考虑使用UI框架的

UI框架支持

有

有

有

自动填充

（autocomplete）

UI框架支持

有

ComboBox

有

遮罩组件

2.2基础技术组件

开源

自主开发

任务调度

quartz组件

验证

struts2的验证框架？

分页

自主开发；需要与前端页面的分页grid组件搭配使用；需要考虑ORM层的适配

字典组件

自主开发；建议将字典信息通过缓存组件进行存储管理；

另外需要开发自定义标签库，提高前台页面使用字典信息的开发效率

缓存

需要考虑缓存服务器的选型之后才能明确配套的缓存组件

日志

slf4j+log4j

FTP

其中的FtpClient

导入导出（excel/pdf）

异步操作

excel:

jxl或者poi，如果要支持excel2007以后的版本，需要考虑用

pdd:

考虑pdfbox/iText

XML文件解析

dom4j、Digester

WebSerives发布

考虑开发框架，如果是spring，建议使用cxf；

2.3基础类库

J2EE服务端开发所需要的基础类库包括：

apache-common

对基础类的一些扩展；包括了：

\\\\\\

json-lib

对json数据格式的解析、封装；提供将json字符串，到Bean或者List的转换；或者将Bean或者List转换为json字符串；

junit

进行单元测试的基础包；建议使用junit4

struts2/springmvc

MVC的C层的选型

spring

业务处理逻辑层，建议使用以上版本；

ibatis/mybatis/hibernate

ORM层的选型

第3章选型

3.1中间件

商业：

weblogic、webshpere

开源：

jboss、jetty、tomcat

对于中间件有要求：

部署的时候，需要支持；如果是weblogic建议使用以上版本，采用sun-jrocket的jdk;

websphere要求以上版本；

3.2数据库

3.2.1关系型

Oracle/MySQL;

如果是oracle，要求10g以上版本，并且已经升级地理数据库

3.2.2NoSQL

mongodb/hadoop/hive/hbase/memcached/redis

3.3底层开发框架

3.3.1Java服务端开发框架

struts2+spring3+ibatis（?

mybatis）?

spring3+ibatis（?

mybatis）?

3.3.2前台WEB端开发框架

JS框架：

建议使用jquery；为兼容IE6，7，8的浏览器，使用的版本；所使用的UI组件，需要与兼容；

HTML+CSS：

为兼容IE6，7，8；不建议使用HTML5+CSS3的模式；而是采用目前的html4+CSS2;

3.4服务总线

自行开发

3.5开发工具

Java：

J2EE开发：

eclipse

桌面应用开发：

netBean或者eclipse+swt插件

3.6版本控制工具

SVN

3.7报表/图形展示

第4章用户组织管理

4.1用户组织、权限、登陆、日志系统架构图

4.2对外接口开发

用户组织管理的核心在于对外提供一套标准的员工和组织接口，包括各种API接口、WEBService服务接口、界面接口等。

定义该接口的目的，是为了屏蔽在项目实施过程中，不同的项目可能存在着不同的用户组织管理方式。

针对不同的用户组织管理系统，只需实现一个基于该接口定义的适配器就可以了。

而基于该员工组织接口开发的其它业务模块，不必再修改关于用户组织模块的内容了。

4.2.1API接口列表

根据员工ID查询员工基本信息

根据组织ID查询下属所有员工信息

根据组织ID取得其管理员集合

根据组织ID取得下属组织信息

根据组织类型ID取得组织类型信息

根据员工名称查询员工基本信息

根据员工代码查询员工基本信息

根据员工ID取得其行政隶属组织信息

根据员工ID取得被该员工管理的组织信息

根据员工ID取得所属的所有组织

根据一批员工ID查询一批员工基本信息；

登陆系统

重设密码

锁定用户内部功能说明

4.2.2界面接口

选择组织树（单选）

选择组织树（多选）

先选组织树，再选组织下的员工（单选）

先选组织树，再选组织下的员工（多选）

4.3内部功能实现

4.3.1组织管理

在一个系统中，可能存在着多套组织，意味着每个组织都有自己的根节点，系统需要支持管理不同的组织树。

可以通过组织类型来区分不同的组织树。

组织树包含的字段为：

组织ID、组织父ID、组织名称、组织类型、备注。

以下是该模块的操作方式：

在界面左侧点击『按组织搜索』标签页，出现组织树，点击其中一项组织，右侧『组织详细信息』会显示组织的详细信息。

修改其中的信息，点击『保存』按钮，完成修改组织基本信息操作。

点击『删除』按钮，完成删除组织操作。

在界面右侧『组织详细信息』点击『新增』按钮，在『组织详细信息』中填入组织的基本信息，点击『保存』按钮，完成新增组织操作。

4.3.2人员管理

人员管理包括管理人员的基本信息，扩展信息，操作员信息，以及所属的组织信息。

人员的基本信息字段为：

待定。

扩展信息字段为：

待定。

操作员信息字段为：

待定。

在本系统中，一个人员只设置一个唯一的登陆工号。

所属的组织信息字段为：

组织ID、人员ID、关联类型。

对于关联类型，需要设置关联类型静态参数，比如隶属员工，部门领导等。

在界面左侧点击『按组织搜索』标签页，出现组织树，点击其中一项组织，在左下侧『搜索结果/员工列表』会出现该组织所属的员工，选择『员工列表』中一个员工，右侧『员工详细信息』会显示员工的详细信息。

修改其中的信息，点击『保存』按钮，完成修改员工基本信息操作。

点击『删除』按钮，完成删除员工操作。

在界面右侧『员工详细信息』点击『新增』按钮，在『员工详细信息』中填入员工的基本信息，点击『保存』按钮，完成新增员工操作。

在新增或修改操作员时，点击『新增员工组织关系』，弹出员工组织关系维护界面，在『组织名称』选择框中选择所属组织，在『是否被管组织』中选择，员工是否是这个组织的管理员，在『是否直属组织』中选择，该组织是否是该员工的直属组织。

填写完毕，点击『保存』按钮，保存员工组织关系。

一个员工可以有多条员工组织关系，其中一个员工只能且必须有一个直属组织。

4.4部署

员工组织模块，可以和业务系统合在一起部署，也可以分开部署。

4.5安全和性能

4.5.1安全

为了保证员工的密码的安全，系统采用不可逆的双重MD5加密技术。

在密码传输过程中，采用SSL加密传输方式，防止密码在传输过程中被截获。

4.5.2性能

为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。

4.5.3可靠性

如果用户组织系统与业务系统合在一起部署的话，用户组织系统的可靠性策略同业务系统；

如果用户组织系统单独部署的话，需要部署2套以上，用4层交换负载向外提供服务。

第5章权限

5.1对外接口开发

5.1.1API接口列表

获取用户的功能菜单列表

根据员工ID查询员工所拥有的角色信息

根据员工ID、功能点ID，判断员工是否有改功能点的权限

5.2内部功能实现

授权管理主要包括外围需要管理的系统，以及每个系统所包含的菜单或权限点，及数据权限管理。

5.2.1外围系统管理

该模块主要管理所有需要登陆、验证、权限校验的外围系统。

字段包括：

所有被管理系统的ID、系统名称等信息等。

5.2.2菜单及权限点管理

该模块将各个系统的菜单、权限点（主意涉及到按钮的权限）管理起来。

字段主意包括：

系统名称、菜单ID、菜单类型（普通菜单或权限点）、菜单URL或权限点唯一名称、名称、备注等。

5.2.3数据范围管理

该数据范围管理，主要管理特定的表，可以允许查询的数据范围、字段等。

还包括数据操作权限管理。

待定。

5.2.4角色管理

角色管理主要指将菜单或权限点、数据范围打包成一个集合。

5.2.5角色与菜单、权限点、数据权限范围管理

将菜单、权限点、数据权限与角色进行关联。

5.2.6按角色授权

该模块用于按角色授权，先选中某一个角色，再选择将该角色授权于哪些人。

5.2.7按用户授权

先选择一个用户，再选择授权给给用户的权限角色。

5.3部署

权限模块，可以和业务系统合在一起部署，也可以分开部署。

5.4安全、性能、可靠性

5.4.1安全

权限系统安全，主要依赖于用户组织管理模块的安全实现。

5.4.2性能

为了保证外围接口调用的实时性，需要将权限数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。

5.4.3可靠性

如果权限系统与业务系统合在一起部署的话，权限系统的可靠性策略同业务系统；

如果权限系统单独部署的话，需要部署2套以上，用4层交换负载向外提供服务。

第6章单点登陆

6.1对外接口开发

单点登陆对外提供的接口，包括WEBSERVICE接口和外围系统的客户端包。

6.1.1API接口列表

根据员工ID获取单点登陆token码

根据用户工号、单点登陆token码验证是否合法或过期。

6.1.2客户端JAR包

外围系统，如果需要使用单点登陆系统的话，需要在客户端工程中加入单点登陆的客户端JAR包，并在客户端中做单点登陆认证的相关配置。

6.2依赖的外部接口

单点登陆依赖的外部接口包括：

根据用户名密码验证账号合法性

6.3内部功能实现

6.3.1CA证书

该模块负责对CA证书进行统一管理和分发。

6.3.2登陆

调用外部接口进行用户登陆，并返回相应的token值。

6.3.3CAS-SERVER端其它开发工作

SERVER端需要开发改造的内容如下：

根据CAS接口，实现用户的登陆验证功能；

掌握与各种流行的WEB服务器的集成配置；

掌握CA证书的生成、配置。

6.4部署

单点登陆系统需要独立部署。

6.5安全和性能

6.5.1安全

单点登陆系统采用256位CA加密证书、HTTPS加密传输的SSL协议来保证系统的安全。

6.5.2性能

为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。

同时，系统产生的登陆token值，也需要放在缓存中。

6.5.3可靠性

鉴于单点登陆的重要性，所有外围系统依赖该系统对外提供登陆功能，所以单点登陆的可靠性尤为重要。

单点登陆系统需要部署2套以上，用4层交换负载向外提供服务。

第7章日志记录及审计模块

7.1日志管理调用关系架构

7.2对外提供的SOA日志接口

7.2.1统一登陆日志接口

外围接口必须调用日志管理提供的统一的登陆日志接口，记录记录用户的状态及信息。

通过日志管理平台可查询到平台的所有用户登陆信息。

7.2.2统一数据交换日志接口

外围接口必须调用数据交换日志接口。

数据信息交换时调用数据交换日志接口，实现对数据交换的日志信息记录。

7.2.3统一数据整合日志接口

外围接口必须调用数据整合日志接口。

数据信信整合时调用数据整合日志接口，实现对数据整合的日志信息记录。

7.2.4接口调用日志接口

采用WebService接口形式来进行业务数据的交互，接口采用SOAP协议，因此在接口配置上面需要屏蔽HTTPGET 和HTTPPOST等其他协议，在接口中调用统一日志模块的功能进行日志记录，记录调用者的相关信息以及时间信息等。

7.3日志公共模块定义及其它

对于各个系统中均需要开发但又不宜集中式管理的日志，由日志管理模块提供公用的模块供外围系统使用。

对于各个子系统的业务日志，由各系统自行生成的日志信息分别存放在各个主机上，按业务、系统规范日志等级及存放目录，系统日志按天生成文件，具备在系统发生错误时可轻松排查问题的能力。

7.3.1日志审计

能够保存日志的详细信息，支持针对日志记录分类查询、检索、导出，方便后期整理、分析；支持根据日志的类型、时间、触发点进行查询，并能导出列表。

实现日志统一收集、分析和保存，采用统一日志审计平台能够有效管理所有生产系统的活动日志，以支持有效的审核、安全取证分析和预防非法入侵等。

日志审计主要提供WEB方式根据已入库的日志，按用户、系统、时间、类型、某数据项等条件，进行审计分析。

7.3.2日志备份

系统日志保存期限按照风险等级不同来区分，至少不得少于一年。

各系统中根据风验等级不同日志1～3个月定时迁移动到备份日志主机上。

日志主机超过日志保存期的或日志主机容量超过80%时，系统自动出告警，人工确认是否将日志从系统中移除。