县级山洪灾害监测预警系统软件测评的指南和工作大纲.docx
- 文档编号:26774971
- 上传时间:2023-06-22
- 格式:DOCX
- 页数:36
- 大小:29.59KB
县级山洪灾害监测预警系统软件测评的指南和工作大纲.docx
《县级山洪灾害监测预警系统软件测评的指南和工作大纲.docx》由会员分享,可在线阅读,更多相关《县级山洪灾害监测预警系统软件测评的指南和工作大纲.docx(36页珍藏版)》请在冰豆网上搜索。
县级山洪灾害监测预警系统软件测评的指南和工作大纲
附件6:
县级山洪灾害监测预警系统软件测评指南和工作大纲
一、总则
1、测评目的
为了全面实现山洪灾害防治县级非工程措施项目建设的目标,保障山洪灾害防治县级监测预警平台应用软件的质量,按照国家防汛抗旱总指挥部办公室的要求,水利部科技推广中心、水利部防洪抗旱减灾工程技术研究中心组织开展山洪灾害防治县级监测预警平台应用软件的测评工作。
2、文档说明
根据《山洪灾害防治县级非工程措施建设实施方案编制大纲》、《山洪灾害防治县级监测预警系统建设技术要求》、《山洪灾害专题数据库表结构及数据上报技术要求》等技术指导文件,结合近年来山洪灾害非工程措施建设的经验和教训,经有关专家详细的讨论,编制本测评指南和工作大纲,作为本次县级山洪灾害监测预警系统软件测评的主要依据。
3、测评方式
测评包括软件测试和专家软件测评两个步骤,综合得到最终测评结果。
(1)软件测试。
由具有中国合格评定国家认可委员会(CNAS)资质的国家级软件检测机构对各参测产品进行软件测试。
(2)专家现场测评。
参测单位对参测产品进行现场应用功能演示,由专家组质疑并评价。
4、评分办法
软件评价通过打分的形式进行,100分为满分,其中软件测试部分占70%,专家现场测评部分占30%。
总分大于等于85分为“优良”产品;大于等于60分,且小于85分为“合格”产品;小于60分为“需改进”产品。
具体测评容和评分标准详见“二、软件测试大纲”和“三、专家现场测评大纲”。
二、软件测试大纲
1、测评依据
在执行测评活动的过程中,依据的相关标准和文档如下:
ØGB/T25000.51-2010软件工程软件产品质量要求与评价(SQuaRE)商业现货(COTS)软件产品的质量要求和测试细则;
Ø《山洪灾害防治县级监测预警系统建设技术要求》(以下简称《技术要求》);
Ø《山洪灾害专题数据库表结构及数据上报技术要求》;
Ø《实时雨水情数据库表结构及标识符标准》(SL323-2005)。
2、测试准备
(1)测试环境
软件测试地点在检测机构,检测机构按照《技术要求》中的设备配置,统一准备测试环境,参测单位负责在统一的测试环境上安装部署应用软件,并提供一个季度的业务数据。
参测单位应在规定的时间进行系统部署工作(部署时间最长为一个工作日),并签署相关测试委托书。
(2)测试文档
在系统测试开始前,参测单位向检测机构提供用户手册或操作手册等系统相关文档。
为了便于被测系统功能与《县级山洪灾害监测预警系统软件测评指南和工作大纲》的容进行对应,参测单位需向检测机构提供《系统与测评大纲容对应关系说明》(参见附录1),测试容经确认后不允许再进行修改。
3、测试边界说明
为了体现公平原则,统一测试标准,对测试的围明确认下。
(1)降雨模拟数据
在系统测试开始前,检测机构将统一向参测单位提供降雨模拟数据,由参测单位导入参测产品数据库。
降雨模拟数据将遵循《实时雨水情数据库表结构及标识符标准》(SL323-2005)标准,以SQL语句的方式提供。
容包含15个降雨监测站,时段为10分钟和1小时,历时两天的两组时间序列数据。
(2)上报接口
检测机构将统一向参测单位提供遵循《山洪灾害专题数据库表结构及数据上报技术要求(修订版)》实时数据上报接口以及数据库服务器,作为系统实时数据上报功能的接收端。
实时数据上报接口定义参见附录2“山洪灾害预警等防洪管理信息上报服务接口说明”。
在系统部署时,参测单位可根据检测机构提供的数据上报接口的IP地址进行配置。
(3)预警发送
由于各地通过、传真、短信、无线预警广播实现预警发送的方式和方法不同,为统一测评标准,与预警发送相关的功能,如:
部报警、外部预警等,将由参测单位配合人员向测试人员进行说明。
4、缺陷严重程度等级
缺陷严重程度等级的设定如下:
S1级:
发现影响被测系统正确运行的严重问题
——导致系统崩溃
——出现不可挽救的数据丢失或损坏
——主业务流程出现断点
——导致死机
——存泄漏
S2级:
发现影响被测模块正确运行的严重问题
——导致程序模块丢失或未实现
——软件错误导致数据丢失
——被测数据处理错误
——需求未实现
S3级:
发现影响被测功能正确实现的问题
S4级:
一般性的错误或功能实现有不完善处
S5级:
建议性问题
5、测试结果判定标准
检测机构对测试过程中发现的问题进行分析汇总,向参测单位出具《山洪灾害防治县级监测预警系统测试问题确认单》,并且双方签字确认。
在系统测试中,检测机构依据已确认的《山洪灾害防治县级监测预警系统测试问题确认单》,对每一项测试容给出其检测结果。
检测结果分为“通过”、“基本通过”、“不通过”和“功能缺失”。
(1)通过
在测试过程中,针对某测试过程的测试用例执行后,结果与预期的一致,未发现S5级以外的缺陷,该测试过程的检测结果可判定为“通过”。
(2)不通过
在测试过程中,针对某测试过程的测试用例执行后,发生S1级或S2级缺陷,该测试过程判定为“不通过”。
(3)基本通过
在测试过程中,结果属上述“通过”、“不通过”以外的情况,该测试过程判定为“基本通过”。
(4)功能缺失
因系统原因而无法提供测试的功能点,在测试结果中注明“功能缺失”。
6、测试容及评分标准
本次测试的容包括系统的功能性、可靠性、易用性和效率四个方面,以及自选演示项目,其评分安排如下:
序号
测试容
评分安排
1
功能性测试
70
2
可靠性测试
15
3
效率测试
10
4
易用性测试
5
合计
100
自选演示项目
不计分,但可作为专家现场测评的参考依据。
(1)功能性
编号
测试容
技术要求
1
基础信息查询
(6分)
县乡村基本情况(1分)
参见《技术要求》
小流域基本情况(1分)
参见《技术要求》
监测站基本情况(1分)
参见《技术要求》
县乡村预案(1分)
参见《技术要求》
历史灾害情况(1分)
参见《技术要求》
工情信息(1分)
参见《技术要求》
2
水雨情监测查询
(18分)
水雨情报警(3分)
参见《技术要求》
雨情监测
(10分)
实时点雨量数据在地图上的显示(2分)
参见《技术要求》
区域降雨列表和统计
(3分)
可按区域、时间、时段长查询显示该区域任意时段的各站的累计雨量、区域的平均雨量、区域降雨最大的测站、区域的降雨测站总数、雨量强度统计等。
其它要求参见《技术要求》。
各站降雨过程查询
(3分)
各站降雨过程柱状图及数据表。
全县降雨等值线/面图(2分)
能够根据降雨模拟数据生成全县的降雨等值线/面图,暴雨中心基本合理,不出现交叉等明显错误。
河道、水库水情监测
(5分)
实时水情数据在地图上的显示(2分)
参见《技术要求》
区域各站水情列表及超警戒(汛限)水位情况统计(1分)
参见《技术要求》
各站水位、流量过程查询(2分)
各站水位/流量过程线及数据表。
其它要求参见《技术要求》。
10
气象国土信息服务(2分)
气象国土信息服务(2分)
参见《技术要求》。
11
水情预报服务
(1分)
水情预报服务接口(1分)
参见《技术要求》。
12
预警发布服务
(20分)
预警分析(4分)
系统需要能够对所有监测站实时雨量、实时水位进行分析,根据预警模型指标决定预警等级。
由参测单位配合人员向测试人员提供相关文档,说明预警分析的方法,测试人员根据降雨模拟数据,利用降该方法进行预警的人工判断,并检查与参测产品的一致性。
预警地图(2分)
参见《技术要求》
预警列表(2分)
参见《技术要求》
部报警(4分)
参见《技术要求》
外部预警(4分)
参见《技术要求》
预警反馈(1分)
参见《技术要求》
预警记录查询(2分)
参见《技术要求》
预警指标查询(1分)
参见《技术要求》
20
应急响应服务(5)
响应工作流程(1分)
参见《技术要求》
响应地图(1分)
参见《技术要求》
响应列表(1分)
参见《技术要求》
响应措施(1分)
参见《技术要求》
响应反馈(1分)
参见《技术要求》
25
系统管理(12)
权限和用户管理(4分)
能实现对用户及其功能权限的管理。
基础信息维护(1分)
应具有检索、查询、添加、修改、删除、数据导入导出等功能
预警指标维护(2分)
能够对预警的指标进行添加、修改、删除、等维护操作。
预警响应部门和人员设置
(3分)
能够对部门、人员及预警的对象的关系进行维护。
预案数据维护(1分)
应具有检索、查询、添加、修改、删除、预案数据导入导出等功能。
日志管理(1分)
参见《技术要求》
31
数据上报(6)
预警信息上报(3分)
当产生新的预警或预警的状态发生变化时,能够用自动或手工的方式,将相关的情况正确地上传。
响应信息上报(1分)
当产生发布新的响应或响应的状态发生变化时,能够用自动或手工的方式,将相关的情况正确地上传。
响应反馈信息上报(1分)
当用户填写新的响应反馈时,能够用自动或手工的方式,将相关的情况正确地上传。
灾情信息上报(1分)
当用户填写新的灾情信息时,能够用自动或手工的方式,将相关的情况正确地上传。
评分标准
功能性评价是依据测试结果进行判定,以“县乡村基本情况”为例,在满分为3分时,具体评价方法如下:
A.所实现功能满足《技术要求》的,测试结果为“通过”时,评分结果为3分。
B.功能存在严重问题(发生S1或S2级问题),或者缺少该项功能,测试结果为“不通过”或“功能缺失”时,评分结果为0分。
C.所实现功能基本满足《技术要求》,存在一般性问题(发生S3或S4级问题),测试结果为“基本通过”时,评分结果为大于1分,小于3分,具体判定原则:
依据此项测试容具体的缺陷数量和缺陷级别,每发现一条S4级缺陷按测试项总分值10%扣分,S3级缺陷按20%扣分,扣分到总分值的40%为止。
(2)可靠性
编号
评测容
技术要求
评分标准
1
成熟性(10分)
系统应能够不间断的稳定运行。
A.在测试过程中,系统运行情况良好,可以很好地完成所述功能,基本没有出错(9~10)
B.在测试过程中,系统运行情况基本正常,可以完成所述功能,发生一般性错误(5~8)
C.在测试过程中,系统运行情况不正常,难以完成所述功能,发生严重性错误(1~4)
D.在测试过程中,系统发生致命性错误,无法继续运行(0)
2
易恢复性
(5分)
软件系统应具备自动或手动恢复措施,以便在发生错误时能够快速地恢复正常运行。
A.运行中出错后不需人工干预即可恢复(5)
B.运行中出错后需人工干预才可恢复(4)
C.运行中出错后只能关闭重启应用系统才可恢复正常(2~3)
D.运行中出错后只能关闭计算机才可恢复正常
(1)
备注:
如果在成熟性测试中未出现错误,检测机构将模拟异常情况,例如强行断电等进行测试。
(3)效率
编号
评测容
技术要求
评分标准
1
时间特性
(5分)
对软件系统的各类人机交互操作、信息查询、图形操作等应实时响应。
A.在测试过程中,响应时间在合理围之(5)
B.在测试过程中,响应时间超出合理围,但是可接受(1~4)
C.在测试过程中,响应时间超出合理围,不可接受(0)
2
资源特性
(5分)
对软件系统的各类操作,服务器的资源利用合理。
A.在测试过程中,资源利用合理(5)
B.在测试过程中,资源利用基本合理(1~4)
C.在测试过程中,资源利用明显不合理,如有存泄漏等现象(0)
测试说明
(一)测试点
1.WEBGIS操作:
放大操作,放大到某个乡镇或小流域;平移操作。
2.复杂报表:
水雨情监测查询->雨情监测->区域降雨列表和统计,针对一个监测站点,查询的时间围为7天
3.一般查询:
预警发布服务->预警指标查询
(二)数据量
参测单位准备一个季度的业务数据
(4)易用性
编号
评测容
技术要求
评分标准
1
易操作性(5分)
应具有良好的简体中文操作界面、详细的帮助信息,系统参数的维护与管理通过操作界面完成。
A.操作简单,容易理解,完全符合软件信息表所述容,很好地反映了其所在领域的特性(4~5)
B.比较容易操作,需花费一定的时间理解,基本符合软件信息表所述容,基本地反映了其所在领域的特性(2~3)
C.操作复杂,难以理解,没有很好地反映了其所在领域的特性(0~1)
三、专家现场测评大纲
1、现场测评准备
参测单位自行准备软硬件及网络环境,以及相应的软件产品和测试数据。
2、测评容及技术要求
现场测评的容包括系统的主要功能及自选演示项目的实用性、易用性、效率、美观性、先进性等方面进行评价,测评容和其要求如下:
编号
演示/测评容
1
总体结构
(10分)
采用的软件结构(2分)
采用的开发架构(2分)
功能结构的合理性(6分)
3
水雨情监测查询
(20分)
区域降雨列表和统计(7分)
点雨量查询(6分)
面雨量生成展示(7分)
6
基础信息查询
(5分)
预警相关的行政区、预案等基础信息的查询
(5分)
7
预警发布服务
(20分)
预警分析(7分)
预警监视(6分)
部和外部预警发布(7分)
10
应急响应服务(5分)
应急响应服务(5分)
11
后台数据维护
(10分)
预警阈值的维护(5分)
人员责任制的维护(5分)
13
GIS功能
(10分)
通用WEBGIS功能(5分)
三维功能等其它特殊效果(5分)
15
自选演示项目
(20分)
演示参测产品的特色功能(20分)
评分标准
专家将从实用性、易用性、效率、美观性、先进性等方面,对各项演示容进行评价。
四、测评时间安排
1、2012年10月26日下午5点之前,厂家提交报名材料。
测评组织单位根据该报名材料对厂家进行预审。
2、2012年10月27日,通知通过预审的厂家送样。
3、2012年10月30日下午5点之前,通过预审的厂家把送检样品送达国家应用软件产品质量监督检验中心和水利部防洪抗旱减灾工程技术研究中心。
4、2012年10月31日-11月18日,进行专业检测,出具检测报告。
5、2012年11月19日-21日,在北京家港饭店召开综合测评会议,开展演示汇报、专家评议等工作。
11月19日为报到时间,下午4点进行抽签,决定演示汇报的顺序。
6、联系方式
(1)水利部防洪抗旱减灾工程技术研究中心
联系人:
解家毕
电话:
-68781910
传真:
-68517391
E-mail:
xiejiabi@iwhr.
地址:
北京市海淀区玉渊潭南路3号D座705号
邮编:
100038
(2)国家应用软件产品质量监督检验中心
联系人:
唐天超
电话:
-82825511-718
传真:
-82826408
E-mail:
tangtc@.
地址:
北京市海淀区上地西路中关村软件园3A楼
邮编:
100193
附录1:
系统与测评大纲容对应关系说明
****检测中心:
受我公司的委托,贵中心将对我公司开发的“ABCDE系统”进行测试,现就该系统的功能和自选测评项目,与《县级山洪灾害监测预警系统软件测评指南和工作大纲》容的对应关系说明如下:
一、功能
编号
测试容
系统实际功能
1
基础信息查询
县乡村基本情况
对应到实际系统的模块级,如:
xxx子系统->信息查询->县乡村查询
小流域基本情况
监测站基本情况
县乡村预案
历史灾害情况
工情信息
2
水雨情监测查询
水雨情报警
雨情监测
实时点雨量数据在地图上的显示
区域降雨列表和统计
各站降雨过程查询
全县降雨等值线/面图
河道、水库水情监测
实时水情数据在地图上的显示
区域各站水情列表及超警戒(汛限)水位情况统计
各站水位、流量过程查询
10
气象国土信息服务
气象国土信息服务
11
水情预报服务
水情预报服务接口
12
预警发布服务
预警分析
预警地图
预警列表
部报警
外部预警
预警反馈
预警记录查询
预警指标查询
20
应急响应服务
响应工作流程
响应地图
响应列表
响应措施
响应反馈
25
系统管理
权限和用户管理
基础信息维护
预警指标维护
预警响应部门和人员设置
预案数据维护
日志管理
31
数据上报
预警信息上报
响应信息上报
响应反馈信息上报
灾情信息上报
二、自选测评项目
被测系统特别突出的功能或其它优势若未能包含在测评大纲,可在此进行声明,表格行数可根据系统实际情况进行增减。
编号
测评容
说明
1
2
3
4
5
公司
×年×月×日
(盖章)
附录2:
山洪灾害预警等防洪管理信息上报
服务接口说明
1.上报服务器地址
测评上报服务器地址如下:
上报服务地址:
IP(根据现场环境分配IP地址)
上报服务端口:
port(根据现场软件环境分配端口)
2.上报服务接口说明
2.1WebService地址
http:
//IP:
port/cwfc/service/IReportReceiveService
2.2WebService方法定义
预警数据上报WebService方法定义如下:
Stringreceive(Stringcommand,StringreceiveStr);
2.2.1方法参数描述
command:
指令名称,作用为调用相应的XML验证和解析器;
receiveStr:
XML文本流。
2.2.2command指令的定义和对应的XML格式
目前,国家山洪灾害监测预警信息管理系统定义了八组报文对应的command指令为:
ADWarnRecordReport、ALLWarnRecordReport、STCDWarnRecordReport、STCDRealDataReport、MessageInforReport、ResponseReport、RespFeedBackReport、DisasterStatisticsReport。
2.2.2.1ADWarnRecordReport对应xml结构
xmlversion="1.0"encoding="UTF-8"?
>
21: 59"xmlns="WarnRealInf"> --某县行政区数据记录 ADCD: 15位县行政区编码; time: 填报时间,发送报文的系统时间,type="xs: dateTime"; --> 21: 59 21: 59 --影响该行政区预警的所有测站列表--> -- --> -- WarnID: 对应在原县平台部行政区预警编号; ADCD: 行政区编码; WarnTypeNM: 预警类型名称; WarnGradeNM: 预警等级名称: WarnStatusNM: 预警状态名称; WarnSTM: 预警开始时间,type="xs: dateTime"; WarnETM: 预警结束时间,type="xs: dateTime"; WarnNM: 预警名称; WarnDesc: 预警说明,填入CDATA; remark: 备注,填入CDATA; --> 2.2.2.2ALLWarnRecordReport对应xml结构 xmlversion="1.0"encoding="UTF-8"? > 21: 59"xmlns="WarnRealInf"xmlns: xsi=".w3.org/2001/XMLSchema-instance"xsi: schemaLocation="WarnRealInfmsg1.xsd"> --某县行政区数据记录 ADCD: 15位行政区编码; time: 填报时间,发送报文的系统时间,type="xs: dateTime"; --> 21: 59 21: 59 --影响该行政区预警的所有测站列表--> -- WarnID
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 县级 山洪 灾害 监测 预警系统 软件 测评 指南 工作 大纲
![提示](https://static.bdocx.com/images/bang_tan.gif)