产品研发部产品规划说明书.docx
- 文档编号:27036202
- 上传时间:2023-06-26
- 格式:DOCX
- 页数:24
- 大小:324.96KB
产品研发部产品规划说明书.docx
《产品研发部产品规划说明书.docx》由会员分享,可在线阅读,更多相关《产品研发部产品规划说明书.docx(24页珍藏版)》请在冰豆网上搜索。
产品研发部产品规划说明书
通用产品研发部产品规划
方案
汇金科技有限责任公司
2014年12月3日
1引言
1.1编写目的
通用软件研发部承当公司一些基础类、业务无关类产品的研发工作,主要包括消息中间件、数据交换中间件(or平台)、应用服务器中间件等(另外还有一些早期宣传或者规划过的产品,但由于种种方面的原因,未完全发展起来,本书不做重点说明)
为了更好地让研发部人员、市场人员、销售人员以及相关领导了解目前公司软件产品的现状和进一步规划,特编写此文档。
1.2主要内容
包括原有产品规划、MT消息中间件概况、Sync数据交换平台概况、WebFirst应用服务器中间件概况、产品新规划及开发过程建议等
2原有产品线规划(IDP系列)
公司产品定位:
关键数据处理的专家,围绕数据的处理发展各种中间件类、工具类产品。
图2—1IDP产品线
其中:
表2-1IDP系列产品描述
产品名称
产品概述
最新版本
产品现状
IDP-MT
数据传输中间件用于业务数据在复杂网络环境下的安全可靠传输和分布式应用系统之间的消息传递
5.0
发展时间最长,相对比较成熟,但竞争对手也很多。
(功能、易用性、稳定性上比较强,性能稍差)
IDP—Sync
数据同步备份中间件用于异构数据源之间进行实时同步备份,该软件能够将不同种类数据源的数据转换为内部统一的XML格式并对数据进行压缩、加密以保证数据在分布式网络环境中安全、可靠、高效的传输
4.0
与MT一起,满足一些数据同步的需求,目前有一些用户和潜在用户。
(定位为数据同步,功能上离数据交换平台或ETL尚有一定差距)
IDP-WebFirst
是完全符合J2EE规范的应用服务器,支持SOA和云计算,支手机、平板电脑等移动终端访问,具备负载均衡和集群能力,具备高性能、高可靠性、健壮的逻辑处理和大负荷服务能力,易于监控和管理
6.1
基于开源,产品比较成熟,一定程度上可以直接替代相对轻量级的JavaWeb应用。
(但性能和可管理性上无法与websphere和weblogic等大厂商产品抗衡.)
IDP—ETL
完成各类数据的抽取、转换和装载,可以将分散、零乱、标准不统一,码制不一致的数据整合到目标数据库中,用于整合规范数据、提高数据质量
4。
1
包装的Kettle。
IDP-WebReport
报表工具
很久未见发展,如果要发展应该发展基于大数据的分析工具。
IDP—DTS
数据交易平台用于完成关键业务系统的数据联机交易处理,能保证交易处理的高实时性、稳定性、完整性和安全性,其内置对“交易中间件”+“业务支撑平台”+“客户程序”的统一支持可大大提高了各类交易系统
原型是核心交易系统,不太好推广到其他行业.
IDP—DME
数据监控引擎通过用户自定义的规则对业务数据的各类异常变动进行监控和报警。
该系统基于规则引擎,能够提供灵活快捷的业务数据监控和报警规则的定义和执行
应该是没有或者仅有开源原型
IDP—Cloud
云平台
无,不过这块代表一种新的研发方向,包括移动互联、云计算、大数据等。
3MT产品概况
产品定位:
消息传输中间件。
3.1产品概述
产品定位:
消息传输中间件。
产品功能:
可看产品说明书或用户手册等,再次不详述。
3.1.1版本历史
表3—1MT发展历史
版本号
年份
功能
MT2.0
1999
通讯、路由、本地绑定C/C++API
MT3.0
2003
增加管理工具、消息数据库
MT4.0
2006
增加事务、分段分组、加密加压、分发授权、JavaApi
MT5.0
2014
增加发布订阅、集群、JMS、客户端API及工具、文件上传工具
3.1.2框架结构
图3-1MT功能框架
分析:
按照这个框架,目前基本都有实现,有些实现不是很完善,只是解决了有无的问题.
比如:
命令管理:
通过MT来传送命令消息
群集管理:
尚未实现存储配置之间的同步
Pub/Sub引擎:
性能和主题匹配上亟需完善。
安全管理:
尚需添加TLS支持。
3.1.3网络支持
MT通讯目前仅支持IPV4、TCP/IP协议,其他协议需要添加支持。
多台MT服务器可构成分布式、集中式、分布集中式网络.
MT和客户端之间可通过网络交换数据.
支持多种硬件连通的物理网络(支持TCP/IP)
图3—2MT服务器拓扑
3.1.4硬件支持
目前MT没有涉及硬件驱动类的代码,对于大部分主流开放的PC和主机硬件均能够支持(如Intel序列微机处理器、IBMPOWER等RISC处理器).
有些处理器需要编译后支持,如一些国产处理器、ARM处理器.
3.1.5操作系统支持
Windows系列:
Windows2000/2003/2008/2012server、WindowsXP/7/8/vista等。
Linux系列:
RedHat、CentOS、SUSE、中标麒麟、Ubuntu等
Unix系列:
AIX、HP等(最新5。
0版本需要编译移植)
IOS、Android:
尚不支持。
3.1.6开发语言
1.C:
原生接口,支持最好
2.C++:
MTAPI尚需提供一套C++格式的API供C++开发人员使用(目前也可以直接调用CAPI)
3.Java/Jms:
提供Java接口,但目前是采用Jni调用本地接口的CAPI,需开发Java直接与服务器通讯的网络接口(系统耦合度低、速度较快)
4.C#、Vb、Delphi等传统语言:
利用自有调用动态库的机制调用MTAPI接口
5.Python:
需开发相应的Python模块来调用MTAPI.
3.1.7交易特性
目前MT没有实现真正的事务日志,目前实现的事务仅写了消息的ID,并没有写消息内容以及队列创建等操作。
MT本身目前也不能作为一个事务协调器,比如同时协调MT和数据库的事务。
3.1.8安全性
MT可以对服务器和队列访问实行密码级别的控制,对消息实现加密,但尚需增加更好的连接安全特性,如服务器与服务器之间的SSL连接、客户端与服务器之间的SSL连接。
3.1.9传输性能(吞吐率)
有时候性能会作为消息中间件的第一指标,性能和稳定性安全性之间会有个平衡,MT的最高性能目前与一些竞争对手有差距(但并不是不可逾越)。
解决性能问题主要从网络传输、存取效率、并发等几个方面入手.
3.2竞争对手和市场分析
产品
类型
市场占有率(非准确数据)
优劣势
汇金科技MT
国产中间件
较低,仅限公司自有金融项目和少部分合作伙伴项目。
易用,有一定知名度,但市场并没有打开
东方通TongLinkQ
国产中间件
较高,政府、电信、金融等
市场知名度远远高于MT,产品相对来说较为难用
IBMMQ
国外中间件
高,国际商用70%以上市场
国际品牌,功能强悍,很强用户粘性;
开源消息中间件(ActiveMQ、MetaQ、ZeroMQ等很多很多)
国外中间件
高,互联网行业、中小企业系统,使用开源消息中间件的比较多
不用收费,用户群庞大,发展快;但用户需要有较强大的研发实力去熟悉这些产品。
分析:
消息中间件这个领域应用相当广泛,应用类型也越来越多,MT还是和MQ、TongLinkQ一样属于比较传统的基于队列机制建立起来的商用中间件.
消息中间件虽然应用比较广泛,但技术已经比较成熟,市场总额还是比较小的,且消息中间件在很多政府采购和项目采购中已经定位系统软件,作为企业IT系统的基础软件之一,一般大点的采购都会采用买断价。
MT主要的机会在于利用国产化浪潮,替换掉一些本属于MQ的市场,并利用与TongLinkQ差别不大的技术能力抢下一些份额.
3.3开发策略和原则
紧跟对手,持续改进:
制定一个年度开发主线,对于大版本的升级,采用项目制的瀑布式开发过程,对于小版本(维护)的开发,采用迭代式开发过程。
开发应遵守以下几点原则。
1)界面设计
✓风格统一
✓简明易用
✓维护简单
✓文档清楚
2)代码与性能设计
✓采用开放、容易移植的代码风格
✓研究、借鉴、使用一些成熟的开源代码
✓每个功能花足够的时间写好单元测试和用户例子,节约测试时间
✓仔细研究客户提出或遇到的额外需求,若非通用尽量转为外围项目开发
✓设计重于开发
3)安装维护与管理
✓小版本的安装升级不影响原有应用程序的使用
✓开发基于Web的集中式管理工具来管理MT
✓在安全性与灵活性之间平衡,在保证安全稳定的情况下提高系统的灵活性
3.4下一步开发计划(暂)
根据目前产品功能、竞争对手和市场状况,拟定进一步的开发策略和计划。
3.4.1开发内容
下表初略列出下一步需完成的工作(这些工作不包含突发的、额外的支持和项目实施工作),再从这张表中遴选出2015年需要重点解决的功能,其中优先级为高的工作项应在2015年内完成,优先级为中的工作项尽量完成,优先级为低的工作项根据项目需要单独立项完成。
表3-2待工作项表
方案
工作项
子工作项
工作描述
优先级(高/中/低)
人月初步估算
系统增强
1
MT5。
0测试及文档完善
测试
文档帮助制作
根据前期开发内容(发布订阅、jms、网络客户端、tonglinkQ桥等),在主要的Windows和Linux平台上测试MT各项功能,并同步更新用户帮助和使用手册。
高
2*2人月
2
64位移植并测试
Linux64
Windows64
最初MT基于32开发的,但随着64位系统的流行,必须要重点考虑能在64位系统上稳定运行的版本。
高
2*2人月
3
国产化移植
龙芯
飞腾
申威
在全国产化的平台上重新编译并测试MT产品.
高
1*2*2人月。
4
MT安全增强
设计
Linux版
Windows版
服务器与服务器通讯增加TLS/SSL协议支持
高
立项开发,3*3人月
5
传输性能增强
设计
网络优化
存储优化
重点攻关传输性能和吞吐率,找到影响系统性能的瓶颈,通过替换存储、改进算法等方式来优化程序.
中
立项开发,3*3人月
6
集群增强
设计
服务器集群
客户端集群
5.0版本集群实现较为简单,集群管理机本身会有单点故障
中
立项开发,2*3人月
7
事务日志
技术预研
设计
代码编写
5.0版本事务日志并非正宗的预写式日志(WAL),由于消息存储没有一个真正日志机制,一定程度上也影响性能和故障恢复
中
立项开发,2*3人月
8
发布订阅增强
基于消息内容订阅
多级服务器订阅
发布订阅技术相比点对点有更好的扩展性,5.0版本的发布订阅机制消息搜索性能会比较低,需提高消息匹配、搜索性能。
中
立项开发,2*3人月
9
MT5。
0其他平台的移植和测试
AIX版
HP版
在这些平台上重新编译并形成该平台的版本。
低
1*2人月
10
统一监控管理
队列和消息监控
连接监控
监控接口
开发一套基于web的统一监控管理端,可以监控服务器、连接、队列等信息,提供多种监控接口。
中
立项开发,3*3人月
11
瘦Java客户端
高
12
其他开发
如开发语言支持、操作系统支持等,以及一些具体项目需要立项开发
中
全新开发(暂不推荐)
1
重新开发
技术预研
设计
开发
测试
文档
基于开源的消息中间件,重新设计开发.
至少5*12人月
3.4.2人力资源
表3-3人力资源情况表
角色
职责
需要(最低需求)
现有
状况
项目经理
立项、管理、计划
2人
江学海、李抚
产品经理或售前
宣传、推广产品,调研、收集产品需求,形成用户需求
1—2人
无
需招聘1人
分析和设计
调研、分析需求和设计,指导程序员编写代码
1-2人
江学海
兼任,需招聘1人
程序员
编写代码
4
江学海、李抚、李梁
兼任,需招聘1—2人
测试员
编写测试用例、测试、编写用户文档。
1-2
杨刚
需招聘1-2人
配置管理员
1
无
暂可项目组兼任
技术支持接口
1
杨刚
兼任
3.4.3时间计划
首先需确定开发内容,确定终止时间,保证人力资源,才能制定切实可行的开发计划。
下表是一个我认为的大致时间顺序。
表3-4时间安排表
工作项
拟安排人员
开始时间
完成时间
MT与TongLinkQ桥
李梁
2014年11月初
2015年1月前完成
MT5。
0测试及文档完善
2人
2014年12月初
2015年2月前完成
MT5。
064位移植并测试
2人
2014年1月初
2014年3月初
国产化移植及测试
2人
MT安全加固及测试
2人
瘦Java客户端
集群功能增强
传输性能增强
发布订阅功能升级
统一监控
4Sync产品概况
4.1产品概述
产品定位:
数据同步与备份中间件。
产品功能:
可看产品说明书或用户手册等,再次不详述。
4.1.1版本历史
表4-1Sync发展历史
版本号
年份
功能
Sync2。
0
2008
传输基于MT3、数据抽取与转换、支持SqlServer2005和Oracle10g
Sync2。
0
2010
传输基于MT4、增加文件夹传输、优化数据抽取和加载效率、增加新支持的数据库版本.
产品由数据交换平台重新定位为数据同步与备份中间件。
4.1.2框架结构
图4—1Sync功能框架
分析:
表4—2各子系统
模块
说明
实现程度
数据转换子系统
主要用来抽取和加载数据库文件的子系统,是系统的核心,数据抽取和加载功能偏数据库,不如ETL或者专门的数据交换软件,有多种交换渠道。
基本成型.
这部分有许多开源的实现,可以融入进来,增强功能。
数据传输子系统
基于MTAPI开发了一套可配置的文件传输系统,通过该系统轻松配置文件、文件夹同步类应用。
基本成型.
可以用其他产品替代.
远程管理监控子系统
一个基于Web的统一管理控制系统
尚未开发。
所有的管理控制均在此子系统中实施控制。
摈弃与系统相关性很大桌面客户端.
接入子系统
提供适配器,由第三方应用调用适配器接口传入接出数据。
Sync目前仅提供数据库、文件、消息中间件适配器
统计分析子系统
对数据传输、数据抽取与加载的日志进行统计分析。
已有
资源管理与共享子系统
包括应用系统注册、资源注册.资源目录管理,系统以目录的形式管理所有信息元素,通过服务的形式将资源信息共享到其他应用系统。
该子系统是数据交换的核心子系统之一,即通过管理信息元和应用系统,订阅方根据数据信息订阅信息,共享方向订阅发送数据。
尚未开发。
4.1.3网络支持
因为MT,要求同3。
1.3。
嵌入消息中间件优势在于,可利用消息中间件的连通性好、断点续传的优势,另外大部分情况下,用户并不愿意开放数据库端口.
4.1.4硬件支持
因为MT,要求同3。
1.4.
数据转换部分基于java开发,但是由于目前是采用基于eclipse的SWT技术开发的管理界面,而SWT也同样受平台的限制,在某些国产系统上,可能无法获取该版本的SWT软件。
(因此服务器端和客户端必须通过socket等机制分离,不再可绑定到一起,这样移植和部署更容易)
4.1.5操作系统支持
Windows系列:
Windows2000/2003/2008/2012server、WindowsXP/7/8/vista等。
Linux系列:
RedHat、CentOS、SUSE、中标麒麟、Ubuntu等
Unix系列:
AIX、HP等(最新5。
0版本需要编译移植)
IOS、Android:
尚不支持。
4.1.6开发语言
主要基于JAVA,除了MT的接口,Sync本身提供少量的接口,大部分靠配置。
4.1.7交易特性
利用数据库自身的交易特性,数据交换服务本身没有利用JTS等事务服务.
4.1.8安全性
可对抽取出的数据进行压缩和加密,节点间的信息通讯依赖MT的安全性。
4.1.9性能
取决于数据抽取、加载和传输的性能,瓶颈主要在抽取和加载上,系统采用JDBC连接数据库的形式,满足了扩展性,但牺牲了性能。
系统主要采用优化的全表比对算法来获取增量数据,不侵入系统,但是性能也较低.
系统可以配置多线程抽取、多线程加载的方式来提高性能(这么做可能会加重数据库的负担)
对于某些流行数据库,应该研发基于日志的同步方式。
4.2竞争对手和市场分析
表4-3Sync竞争分析
产品
类型
市场占有率(非准确数据)
优劣势
汇金科技Sync
国产中间件
较低,应急项目
功能较单一,比较稳定,应用较少
东方通TongIntegrator
国产中间件
较高
管理功能比较好,应用相对Sync多
开源数据抽取工具(典型为Kettle)
国外中间件
局域网内使用率高
不用收费,软件较复杂,多节点的话维护成本高,不适合处理分布式交换的情况
专业数据库同步与备份厂商
国内外中间件
专门领域市场占有率高
直接使用数据库CAPI操纵数据库事务日志进行同步,速度快
分析:
Sync这个产品值得好好发展,在这块耕耘的厂家很多,包括目前对大数据的同步交换需求也会很多.
目前有专门追求速度的的数据库同步厂商;有注重数据抽取与转换的工具;也有提供了各种通讯交换接口的程序框架;也有集成了数据传输、流程调度、服务调度、交换适配的数据交换平台。
Sync目前的定位是较为单一的数据库同步和文件同步的平台,即使如此,要做的非常好用稳定也是不容易的。
4.3开发策略和原则
首先要明确定位,将其打造成万能的数据交换平台,还是单一的数据传输与同步工具.
前者只需要完善现有功能,做好文件和数据库的同步就可以了!
后者需要有各种接入和接出适配,格式转换,甚至路由选择,服务管理等,类似ETL和ESB软件的综合体。
建议一边调研市场上用的好的此类产品,再做出决策。
开发策略和原则同3.3所述.
4.4下一步开发计划(暂)
根据目前产品功能、竞争对手和市场状况,拟定进一步的开发策略和计划。
分为两种方向,定位为数据同步工具和数据交换平台分别阐述。
4.4.1开发内容
下表初略列出下一步需完成的工作(这些工作不包含突发的、额外的支持和项目实施工作),再从这张表中遴选出2015年需要重点解决的功能,其中优先级为高的工作项应在2015年内完成,优先级为中的工作项尽量完成,优先级为低的工作项根据项目需要单独立项完成。
表4-4拟开发内容表
方案
工作项
子工作项
工作描述
优先级(高/中/低)
人月初步估算
按照数据同步与备份工具方向开发
1
产品重构
服务器端
运行监控系统
原先程序类似于Kettle,界面和服务写在一起,为了更好的灵活性,应该将服务部分剥离出去,服务作为Java应用服务器的一个应用或者单独的后台进程。
客户端使用web和SWT开发。
高
立项开发,4*5月
2
转换子系统增强
无主键支持
字段映射完善
自增主键支持
一些必要的ETL功能
。
。
。
解决项目中出现的一些问题。
高
立项开发,2*4月
3
故障恢复和审计
增强稳定性
中
4
基于触发器、日志的快速同步
触发器增量
日志增量
适应一些快速的同步需求
中
5
资源目录系统
通用资源目录系统
低
立项开发
按照数据交换平台方向开发
1
技术预研
研究开源ESB、开源ETL、数据交换框架、网络框架、对手产品
2*2人月
2
设计
写出总体设计说明书
2*3人月
3
开发
在开源基础上开发最必要的功能。
4*3人月
4
测试
测试,形成1.0版本。
2*3人月
5
文档
系统、用户、白皮书
2*3人月
4.4.2人力资源
表4—5现有人员
角色
职责
需要(最低需求)
现有
状况
项目经理
立项、管理、计划
2人
江学海
兼任
产品经理或售前
宣传、推广产品,调研、收集产品需求,形成用户需求
1-2人
无
需招聘1人
分析和设计
调研、分析需求和设计,指导程序员编写代码
1-2人
无
需招聘1人
程序员
编写代码
4
江学海、黄亮
兼任,需招聘1—2人
测试员
编写测试用例、测试、编写用户文档。
1—2
江学海、黄亮
兼任,需招聘1-2人
配置管理员
1
无
暂可项目组兼任
技术支持接口
1
黄亮
兼任
4.4.3时间计划
首先需确定开发内容,确定终止时间,保证人力资源,才能制定切实可行的开发计划。
下表是一个我认为的大致时间顺序.
工作项
拟安排人员
开始时间
完成时间
转换子系统功能增强
2人,黄亮、江学海
2014/12/1
服务器重构
2人
运行管理与监控系统
2人
故障恢复和审计
增加增量抽取机制
国产化移植
5WebFirst产品概况
6产品新规划
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 产品 研发部 规划 说明书