可靠性测试指的是系统、产品或组件在指定条件下、指定时间内执行指定功能的程度,也是GB/T 25000.51-2016标准中提及的软件产品的八大产品质量特征之一。今天,我们就一起来详细解读一下可靠性测试。

GB/T 25000.10-2016系统与软件工程 系统与软件质量要求和评价(SQuaRE)第10部分:系统与软件质量模型
GB/T 25000.51-2016系统与软件工程 系统与软件质量要求和评价(SQuaRE)第51部分:就绪可用软件产品(RUSP)的质量要求和测试细则
GB/T 25000.23-2019系统与软件工程 系统与软件质量要求和评价(SQuaRE)第23部分:系统与软件产品质量测量
GB/T 15532-2008 计算机软件测试规范
GB/T 29832.1-2013 系统与软件可靠性 指标体系
GB/T 29831.2-2013 系统与软件可靠性 度量方法
SJ/Z 21238.2-2016 军工软件质量度量 可靠性第三部分:测试方法
在GB/T 25000.51-2016、GB/T 25000.10-2016,对可靠性测试要求作量规定。GB/T 29832.1-2013、GB/T 29831.2-2013,对可靠性测试指标体系和度量方法进行了说明;在SJ/Z 21238-2016系列标准中也对可靠性测试进行了详细的说明,为测试工程师测试软件的可靠性提供了指南。
可靠性测试内容及方法
可靠性测试可以从成熟型、可用性、容错性、易恢复性、可靠性的依从性这五个方面进行测试,并以书面形式展现可验证的依从性依据。除非开发者能以服务数据或其他可验证的数据证实所作的生成,否则开发者不宜做出可靠性声称。
在25000.51-2016中对产品说明和用户文档集内容进行了要求。针对产品说明,产品说明应就软件在遇到由用户接口出错、应用程序自身的逻辑出错、系统或网络资源可用性引发差错的情况下的继续运行(即可用)能力做出说明;产品说明需要包含关于数据保存和恢复规程的信息(指明数据备份由操作系统的功能来执行也是可以接受的)。针对用户文档集,用户文档集应描述可靠性的特征及其操作。
针对于被测软件,软件应该按照用户文档集中定义的可靠性特征来执行;与差错处置相关的功能应与产品说明和用户文档集中的陈述一致;在用户文档集中陈述的限制范围内使用时,软件不应丢失数据(即使软件处于特殊情况下也应该满足上述要求,如:利用的容量达到规定的极限;尝试利用超出规定极限的容量;由产品说明中列出的其他软件或由最终用户所造成的不正确输入;违背用户文档集中明示的细则);软件应识别违反句法条件的输入,并且对不应作为许可的输入加以处理,软件应具有从致命性错误中恢复的能力,并对用户是明显易懂的。
软件可靠性测试分为:可靠性目标明确、开发操作剖面、生成测试用例、执行用例、失效数据的收集分析、可靠性评估这几个步骤。可靠性测试可以依据无故障运行实际爱你(MTBF)作为可靠性测试目标。操作剖面是由系统中不同角色可执行操作以及每个操作执行概率组成,一般可以用表格或图形进行表示。区别于其他软件测试,可靠性测试生成测试用例是按照软件实际使用统计规律(操作剖面和输入的取值概率分布)来生成用例,并不是根据输入输出设计用例。在计算用例分布设计用例之前,需要根据实际操作场景得出一个周期内需要运行的用例总数以及每个用例执行的间隔时间。
无故障运行时间(MTBF)计算方法:系统有效运行时间/运行时间内发生的失效次数
(一)成熟性
成熟型指的是系统、产品或组件在征程运行时满足可靠性要求的程度
成熟性通过验证覆盖率、故障密度满足程度、缺陷密度满足程度、缺陷排除率满足程度、平均故障间隔时间满足程度五方面进行综合判定。
验证覆盖率指的是实际完成验证任务与需完成任务之比。故障密度满足程度指的是在确定的测量单位的软件中发生的故障数量满足要求的程度。缺陷排除率满足程度指的是已纠正发现的缺陷数量满足要求的程度。缺陷排除率满足程度指的是已纠正缺陷与已发现缺陷之比满足要求的程度。平均故障间隔时间满足程度指的是一定周期内的软件发生故障间隔时间的 平均值满足要求的程度。可通过测试软件监测在后期时间内系统未发生故障的时间,计算平均值,得出的就是平均故障间隔时间。

上述的度量指标(除平均故障间隔时间满足程度MTBF外)需要在软件生命周期内进行长期验证
(二)可用性
可用性指的是系统、产品或组件在需要使用时能够进行操作和访问的程度。可用性通过服务时间率、平均宕机时间、特殊条件运行时间三个方面进行综合判定。服务时间率指的是软件实际提供服务时间与需提供的服务时间之比,即系统无故障运行时间占总时间之比。平均宕机时间满足度指的是一定运行周期内的软件无法提供服务的平均时间满足要求的程度。特殊条件运行时间满足度指的是在特殊条件下软件正常运行时间满足要求的程度。特殊条件时触发软件执行特定任务的特殊事件。
(三)容错性
容错性指的是尽管存在硬件或软件故障,系统、产品或组件的运行符合预期的程度。容错性通过避免宕机满足度、避免试效率满足度、抵御发生的误操作率、冗余率四个方面进行综合判定。
避免宕机满足度指的是为宕机的失效与软件失效之比满足要求的程度。避免失效率满足度指的是未引起失效的软件故障与易发生故障之比满足要求的程度。低于发生的误操作率指的是软件实际实现的抵御误操作的有效设计与要求设计的抵御误操作之比。冗余率指的是软件为了避免失效,实际软件部件备份与需进行备份部件之比。
(四)易恢复性
易恢复性指的是在发生中断或失效时,产品或系统能够恢复直接受影响的数据并重建期望的系统状态的程度。在失效发生后,计算机系统有时会宕机一段时间,这段时间的长短由其恢复性决定。
(五)可靠性的依从性
可靠性的依从性指的是产品或系统遵循与可靠性相关的标准、约定或法规以及类似规定的程度。
如果产品说明书中提及了可靠性相关的标准、约定或法规以及类似规定,需要提供证明材料才能认可。
综上所述,是关于CNAS软件测试可靠性内容的相关介绍,希望可以帮助到大家。想获取更多信息欢迎随时与我们取得联系。
