软件产品测评作业指导书.docx

软件产品测评作业指导书.docx

《软件产品测评作业指导书.docx》由会员分享，可在线阅读，更多相关《软件产品测评作业指导书.docx（23页珍藏版）》请在冰豆网上搜索。

软件产品测评作业指导书

软件产品测评

作

业

指

导

书

一　适用范围

本细则适用于对软件产品的测试。

规定了在进行软件产品测试时的引用文件（标准）、软件质量特性、测评方式、测评类型、测评内容、判定准则、测评工作流程等方面的要求。

二　引用文件

GB/T25000.51-2010《软件工程软件产品质量要求与评价（SquaRE）商业现货（COTS）软件产品的质量要求和测试细则》。

GB/T25000.1-2010《软件工程软件产品质量要求与评价（SQuaRE）SQuaRE指南》。

GB/T16260-2006《信息技术软件产品评价质量特性及其使用指南》

其它有关技术标准。

有关法律、法规和内部规定。

三软件质量特性及有关术语定义

3.1功能性functionality

与现有的一组功能及其规定的性质有关的一组属性。

这里的功能是指满足明确的或隐含的需求那些功能。

[GB/T16260–2006]

3.1.1适合性suitability

与规定任务能否提供一级功能以及这些功能的适合程度有关的软件属性。

3.1.2准确性accuracy

与能否得到正确或相符的结果或效果有关的软件属性。

3.1.3互操作性；

3.1.4互用性interoperability

与同其他指定系统进行交互的能力有关的软件属性。

3.1.5依从性compliance

使软件遵循有关的标准、约定、法规及类似规定的软件属性。

3.1.6安全性security

与防止对程序及数据的非授权的故意或意外访问的能力有关的软件属性.

3.2可靠性reliability

与在规定的一段时间和条件下，软件维持其性质水平的能力有关的一组属性[GB/T16260–2006]。

3.2.1成熟性maturity

与由软件故障引起失效的频度有关的软件属性。

3.2.2容错性faulttolerance

与在软件故障或违反指定接口的情况下，维持规定的性能水平的能力有关的软件属性。

3.2.3易恢复性recoverability

与在失效发生后，重建其性能水平并恢复直接受影响数据的能力以及达此目的所需的时间和努力有关的软件属性。

3.3易用性usability

与一组规定或潜在的用户为使用软件所需做的努力并且对这样的使用所作的评价有关的一组属性[GB/T16260–2006]。

3.3.1易理解性understandability

与用户为认识逻辑概念及其应用范围所花的努力有关的软件属性。

程序的问题、消息和结果应是易理解的。

3.3.2易学性Learnability

与用户为学习软件应用（例如运行控制、输入、输出）所花的努力有关的软件属性。

3.3.3易浏览性

如果有多种媒体，则每种数据媒体应具有产品标识、可辨别编号或文本。

程序宜易观察易读的形式向用户提供信息。

3.4易操作性Operability

与用户为操作和运行控制所花的努力有关的软件属性。

3.5效率efficiency

与在规定的条件下，软件的性质水平和所使用资源量之间的关系有关的一组属性。

[GB/T16260–2006]

3.5.1时间特性timebehavior

与软件执行其功能时响应和处理时间以及吞吐量有关的软件属性。

3.5.2资源特性resourcebehavior

与软件在执行其功能时所使用的资源数量及其使用时间有关的软件属性。

3.6可维护性maintainability

与进行规定的修改所需的努力有关的一组属性。

[GB/T16260–2006]

3.6.1易分析性analyzability

与为诊断缺陷或失效原因及为判定待修改的部分所需努力有关的软件属性。

3.6.2易改变性changeability

与进行修改、排除错误或适应环境变化所需努力有关的软件属性。

3.6.3稳定性stability

与修改所造成的未预料结果的风险有关的软件属性。

3.6.4易测试性testability

与确认已修改软件所需的努力有关的软件属性。

3.7可移植性portability

与软件可从某一环境到另一环境的能力有关的一组属性。

[GB/T16260–2006]

3.7.1适应性adaptability

与软件无需采用有别于为该软件准备的活动或手段就可能适应不同的规定环境有关的软件属性。

3.7.2易安装性installability

与在指定环境下安装所需努力有关的软件属性。

3.7.3遵循性conformance

使软件遵循与可移植性有关的标准或约定的软件属性。

3.7.4易替换性replaceability

与软件在该软件环境中有来替代指定的其软件的机会和努力有关的软件属性。

3.8用户文档集userdocumentation

以打印的或非打印形式得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分。

3.9产品说明productdescription

陈述软件各种性质的文档，其主要目的是帮助潜在的需方在采购前对该软件进行适用性评价。

（包括全部封面信息、数据表、网站信息等。

）[GB/T25000.51-2010]。

3.10测试用例testcase

测试者使用的文档化细则，其规定如何对某项功能或功能组合进行测试。

包括测试目标、要测试的功能、测试环境和其他条件、测试数据、过程、系统的预期行为。

3.11判定verdict

相对于测评项，对被测实现的结果给出“通过”或“不通过”等结论性陈述的行为。

3.12判定准则verdictcriteria

在测评项中规定的、使测评实验室和测评人员对测评结果做出评定结论的依据。

四　测试内容

4.1用户文档集测试

为了使用户了解软件的使用、操作和对软件进行维护，软件开发者为用户提供的详细资料，称为用户文档，即用户手册、操作手册、维护手册。

用户文档集测试文档的完备性、正确性、一致性、易理解性、易学性和可操作性：

4.1.1完备性

1）用户文档集中是否包含使用该软件的必须信息。

2）用户文档集是否包含在产品说明中陈述的所有功能以及最终用户能使用的功能。

3）用户文档集中是否说明可靠性的特征及其操作。

4）用户文档集中是否列出所处置的和引起应用系统失效或终止的差错和失效，特别是那些导致数据丢失的应用系统终止的结束条件。

5）用户文档集中是否给出必要数据的备份和恢复指南。

6）对于关键软件功能（即失效后会对安全产生影响或会造成重大财产损失或社会损失的软件），用户文档集是否提供详细的说明和参考信息。

7）用户文档集中是否陈述了产品文档中给出的所有限制。

8）用户文档集中是否陈述了安装该软件所要求的最小和最大磁盘空间。

9）对用户要完成的应用管理职能，用户文档集是否包括所有必要的信息。

10）在用户所完成的应用管理职能的信息中，应包括让用户能验证是否成功完成应用管理职能的信息。

11）如果用户文档集分若干部分，检查是否有标识标识出所有部分。

4.1.2正确性

检查用户文档集中的信息是否存在歧义。

4.1.3一致性

用户文档集是否自相矛盾、互相矛盾以及与产品说明矛盾。

4.1.4易理解性

1）用户文档集中的术语和文体是否便于用户理解。

2）是否有编排完整的文档清单。

4.1.5易学行

用户文档集中是否包含便于用户使用该软件的必要信息。

4.1.6可操作性

1）如果用户文档集不是纸质文档，检查文档中是否指明该文档集能否被打印，如果能打印，检查是否指出如何获得打印件。

2）用户文档集是卡片和快速参考指南以外的文档集，检查是否给出目次（或主题词列表）和索引。

3）检查用户文档集中是否对不常用的术语和首字母缩略语加以定义。

4.2功能性测试

4.2.1安装与卸载

1）软件由用户安装，用户手册和软件能提供详细的安装导向和缺省设置，是否提供覆盖、修复和重新安装；

2）安装后，程序能否运行应是可鉴别的；

3）软件是否能够实现完全卸载（自动卸载、手动卸载）；

4）软件完成安装与卸载，是否影响其他的程序。

4.2.2软件各功能模块是否能够全部挂接。

4.2.3用户手册中提到的所有功能应可执行。

4.2.4为完成工作任务，程序功能应正确执行。

4.2.5如果由于产品特定的边界值致使产品使用受限，应提供这些边界值：

1）最小和最大值；

2）键的长度；

3）文卷中的记录的最大数目；

4）检索准则的最大数目；

5）最小样本大小；

4.2.6安全性

在软件的质量特性中，安全性与功能、易用性有较大的关联，安全性是通过某些功能的实现来体现的，易用性与安全性也紧密相连，同时也存在矛盾。

软件产品安全性测试主要测试项：

（一）、用户管理和访问控制

1、用户权限控制

对于应用软件来说，用户权限的控制是比较重要的。

一个用户能够访问一个应用系统的权限主要来源于三个方面：

应用软件本身、操作系统和数据库。

应用软件在在开发过程中，主要采用用户名和密码登录的方式完成。

安全强度高的软件也可采用指纹认证、智能卡认证等方式进行。

⑴用户名称的测试

用户名称应该具有惟一性。

①同时存在的用户名称在不考虑大小写的状态下，不能够同名；

②对于关键领域的软件产品和安全性要求较高发软件，应当同时保证使用过的用户在用户删除或停用后，保留该用户记录，并且新用户不得与该用户同名。

⑵　用户口令测试

用户口令应该满足当前流行的控制模式，主要测试口令的强度、口令存储的位置和加密强度。

①最大口令时效：

指定用户可以保留当前口令的时间；

②最小口令时效：

指定用户修改口令之前，用户必须保留口令的时间；

③口令历史：

确定系统将要记住的口令数量，如果用户选择的口令存在于口令数据库中，系统将强制用户选择其他口令；

④最小口令长度：

对于用户口令可以包含的最少的可以接受的　

⑤口令复杂度：

在口令中要求用户使用非字母数字的字符或大小写字母；

⑥加密选项：

可以加密本地存储的口令；

⑦口令锁定：

在输入非法口令达到规定的次数之后，系统将禁用这个帐户。

⑧　帐户复位：

帐户锁定后定义是否可以在规定的时间间隔后自动恢复。

2、操作系统安全性测试

⑴是否关闭或卸载了不必要的服务和程序；

⑵是否存在不必要的帐户；

⑶权限设置是否合理；

⑷安装相应的安全补丁程序的情况；

⑸操作系统日志管理。

3、数据库权限测试

⑴数据库管理用户的设置应当注意对帐户的保护，超级用户的口令不得为空或默认口令。

对数据库的帐号和组的权限应作相应设置。

⑵数据库中关于应用软件用户权限和口令存储的相关表格，尽量采用加密算法进行加密；

⑶根据不同的程序访问数据库的功能，使用不同的数据库用户进行连接，并且必须设置密码。

（二）、通信加密

通信加密是保证数据在传输过程中数据的保密性和一致性。

软件产品在技术上通常使用链路加密、数据加密的方式进行。

目前，使用的加密技术包括VPN技术、对称加密算法、非对称加密算法、HASH算法。

本测试细则按照客户设计要求所使用的加密技术，采用验证的方式进行测试。

（三）、安全日志测试

安全日志是软件产品被动防范的措施，但也是重要的防范功能。

⑴日志应当记录所有用户访问系统的操作内容，包括登录用户名称、登录时间、浏览数据动作、修改数据动作、删除数据动作、退出时间等；

⑵日志的完整性、正确性；

⑶大型应用软件，系统是否提供了安全日志的统计分析能力。

程序和数据其本身不能自相矛盾，产品描述和用户文档不能相互矛盾，每个术语应处处具有相同的含义，具有良好的一致性。

⑴测试软件程序和数据其本身是否产生自相矛盾；

⑵测试软件产品描述和用户文档是否相