新洪水预报软件测评方案Word文档下载推荐.docx
- 文档编号:17413879
- 上传时间:2022-12-01
- 格式:DOCX
- 页数:14
- 大小:20.35KB
新洪水预报软件测评方案Word文档下载推荐.docx
《新洪水预报软件测评方案Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《新洪水预报软件测评方案Word文档下载推荐.docx(14页珍藏版)》请在冰豆网上搜索。
2、测试准备
(1)测试环境
软件测试地点设在检测机构,检测机构按照《软件工程软件产品质量要求与评价(SQuaRE)商业现货(COTS)软件产品的质量要求和测试细则》中的设备配置,统一准备测试环境,参评单位负责在统一的测试环境上安置应用软件。
参评单位应在规定的时间进行系统安置工作(时间最长为一个工作日),并签署相关测试委托书。
(2)测试文档
在系统测试开始前,参评单位向检测机构提供用户手册或操作手册等系统相关文档。
3、软件功能测试
(1)系统建模
1)模型/方法库管理
多种产汇流、模型/方法,各模型/方法可任意组合
模型/方法构件封装,仅通过数据接口机制实现信息交换
各模型/方法对同一输入、输出要素具有相同格局的数据接口定义
对模型/方法可进行添加、修改、删除、导入导出、运行等维护操作
2)预报方案构建
方案定义
流域圈画
确定方案模型雨量站控制权重
3)参数率定/检验
历史数据处理
参数优选
率定资料选取
预报方案维护
(2)作业预报
实时雨水情查询
数值降雨预报
实时洪水预报
实时洪水校正
预报误差统计
洪水预报精度评定
预报成果管理
4、测试数据说明
为了体现公平原则,统一测试标准,由测评组织单位统一提供洪水预报基础数据。
5、软件系统缺陷严重程度等级
缺陷严重程度等级的设定如下:
S1级:
发现影响被测系统正确运行的严重问题
——导致系统崩溃
——出现不可挽救的数据丢失或损坏
——主业务流程出现断点
——导致死机
——内存泄漏
S2级:
发现影响被测模块正确运行的严重问题
——导致程序模块丢失或未实现
——软件错误导致数据丢失
——被测数据处理错误
——需求未实现
S3级:
发现影响被测功能正确实现的问题
S4级:
一般性的错误或功能实现有不完善处
S5级:
建议性问题
6、预报精度等级
参见GB/T22482-2008《水文情报预报规范》,以作业预报精度等级进行评价,即用预报误差与许可误差之比的百分数作为分级指标,分级指标≤25.0的为优秀;
25.0分级指标≤50.0的为良好;
50.0﹤分级指标≤100.0的为合格;
分级指标﹥100.0的为不合格。
7、测试结果判定标准
检测机构对测试过程中发现的问题进行分析汇总,向参评单位出具《系统测试问题确认单》,并且双方签字确认。
在系统测试中,检测机构依据已确认的《系统测试问题确认单》,对每一项测试内容给出其检测结果。
检测结果分为“通过”、“基本通过”、“不通过”和“功能缺失”。
(1)通过
在测试过程中,针对某测试过程的测试用例执行后,结果与预期的基本一致,未发现S5级以外的缺陷,该测试过程的检测结果可判定为“通过”。
(2)不通过
在测试过程中,针对某测试过程的测试用例执行后,发生S1级或S2级缺陷,该测试过程判定为“不通过”。
(3)基本通过
在测试过程中,结果属上述“通过”、“不通过”以外的情况,该测试过程判定为“基本通过”。
(4)功能缺失
因系统原因而无法提供测试的功能点,在测试结果中注明“功能缺失”。
8、测试内容及评分标准
本次测试的内容包括系统的功能性、可靠性、易操作性和效率4个方面,以及自选演示项目,其评分安排如下:
序号
测试内容
评分安排
1
功能性测试
60
2
精度评定
10
3
可靠性测试
15
4
效率测试
5
易操作性测试
5
合计
100
自选演示项目
不计分,但可作为专家现场评审的参考依据。
(1)功能性
编号
技术要求
1
系统建模
(30分)
模型/方法管理(4分)
灵活性(1分)
包含多种产汇流、模型/方法,各模型/方法可任意组合
独立性(1分)
模型/方法构件封装,仅通过数据接口机制实现信息交换
统一性(1分)
各模型/方法对同一输入、输出要素具有相同格局的数据接口定义
扩充性(1分)
对模型/方法可进行添加、修改、删除、导入导出、运行等维护操作
预报方案构建(10分)
方案定义(4分)
确定预报站码、计算时段长、预见期、预热期、方案输出类型、预报告警阈值、方案说明、水位流量关系曲线、库容曲线、方案输入个数和类型、上游根据站点、站点流量合成关系、预报方案结构框图等
流域圈画(2分)
流域边界自动/人工圈画
确定方案模型(2分)
添加、删除、变更模型/方法、模型参数、状态变量等
雨量站控制权重(2分)
利用泰森多边形或其他方法,计算区域内雨量站的控制权重
参数率定(16分)
历史数据处理(5分)
对用于模型参数率定的历史水文气象资料,包括洪水摘录资料、洪水日资料、降雨摘录资料和降雨日资料,进行等时段整编
参数率定/检验(5分)
录入、修改、存储参数,设定参数范围或参数值,设定率定/检验期,选择目标函数,设定统计阈值,参数经验及合理性分析等
参数优选(2分)
选择优化方法,自动/人工优选参数
率定资料选取(2分)
历史、实时数据任意时间内或场次洪水选取、检查、修改、展示
预报方案维护(2分)
检索、查询、更新、删除、导入导出预报方案等功能
2
作业预报(30分)
实时雨水情查询(10分)
雨情查询(5分)
各站降雨过程柱状图及数据表查询、降雨量小时(时段)数据、日数据、旬月数据;
区域降雨过程柱状图及数据表查询、区域降雨等值线/面图绘制等
水情查询(5分)
各站实时水情数据过程线及数据表查询,包括小时数据、日数据、旬月数据、特征值等
实时预报(14分)
数值降雨预报(3分)
能对未来降雨进行数值预报或能接入数值降雨预报数据
实时洪水预报(5分)
预报方案手动/自动运行,能够以图形表格方式展示运行结果
实时洪水校正(3分)
对洪水过程、单点数据进行自动/人工校正
预报误差统计(3分)
任意时间内或场次洪水的洪峰流量/水位、洪峰出现时间、洪量(径流量)的绝对误差、相对误差,确定性系数统计
成果管理(6分)
预报信息报表(2分)
自动生成预报信息报表
洪水预报精度评定(2分)
任意时间内或场次洪水预报过程的合格率统计、确定性系数统计
预报成果优选(2分)
多模型/方法计算结果的对比分析
(2)精度评定
精度等级
得分范围
优秀
9-10
良好
7-8
3
合格
5-6
4
不合格
0-4
(3)可靠性
评测内容
评分标准
成熟性(10分)
系统应能够不间断的稳定运行。
A.在测试过程中,系统运行情况良好,可以很好地完成所述功能,基本没有出错(9~10)
B.在测试过程中,系统运行情况基本正常,可以完成所述功能,发生一般性错误(5~8)
C.在测试过程中,系统运行情况不正常,难以完成所述功能,发生严重性错误(1~4)
D.在测试过程中,系统发生致命性错误,无法继续运行(0)
易恢复性
(5分)
软件系统应具备自动或手动恢复措施,以便在发生错误时能够快速地恢复正常运行。
A.运行中出错后不需人工干预即可恢复(5)
B.运行中出错后需人工干预才可恢复(4)
C.运行中出错后只能关闭重启应用系统才可恢复正常(2~3)
D.运行中出错后只能关闭计算机才可恢复正常
(1)
备注:
如果在成熟性测试中未出现错误,检测机构将模拟异常情况,例如强行断电等进行测试。
(4)效率
时间特性
对软件系统的各类人机交互操作、信息查询、图形操作等应实时响应。
A.在测试过程中,响应时间在合理范围之内(5)
B.在测试过程中,响应时间超出合理范围,但是可接受(1~4)
C.在测试过程中,响应时间超出合理范围,不可接受(0)
资源特性
对软件系统的各类操作,服务器的资源利用合理。
A.在测试过程中,资源利用合理(5)
B.在测试过程中,资源利用基本合理(1~4)
C.在测试过程中,资源利用明显不合理,如有内存泄漏等现象(0)
测试说明
(一)测试点
1、GIS操作:
放大操作到某个地区或流域。
2、模型计算耗时。
(5)易操作性
易操作性(5分)
应具有良好的简体中文操作界面、详细的帮助信息,系统参数的维护与管理通过操作界面完成。
A.操作简单,容易理解,完全符合软件信息表所述内容,很好地反映了其所在领域的特性(4~5)
B.比较容易操作,需花费一定的时间理解,基本符合软件信息表所述内容,基本地反映了其所在领域的特性(2~3)
C.操作复杂,难以理解,没有很好地反映了其所在领域的特性(0~1)
三、专家评审大纲
1、评审准备
参评单位自行准备软硬件及网络环境,以及相应的软件产品和测试数据。
2、评审内容及技术要求
专家评审的内容包括系统的主要功能及自选演示项目的实用性、易用性、时效性、美观性、先进性等方面进行评价,评审内容和其要求如下:
演示/测评内容
总体结构
(10分)
采用的软件结构(2分)
采用的开发架构(2分)
功能结构的合理性(6分)
模型/方法管理,包含多种产汇流、模型/方法,各模型/方法可任意组合,模型封装合理,组合方便。
预报方案构建:
方案定义(3分)
参数率定:
作业预报
(25分)
实时雨水情查询
雨情查询(4分)
水情查询(4分)
实时预报:
实时洪水校正(2分)
预报误差统计(2分)
成果管理(3分)
系统管理
用户管理(3分)
对用户及其功能权限管理
日志管理(2分)
模型计算错误时日志记录
GIS功能
通用GIS功能(5分)
等值线、在线编辑地图等功能(5分)
6
(20分)
演示参评产品的特色功能,例如无资料地区的处理等(20分)
专家将从实用性、易用性、时效性、美观性、先进性等方面,对各项演示内容进行评价。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 洪水 预报 软件 测评 方案