[发明专利]一种基于众测过程的众测任务关闭时间自动预测方法

说明书

本发明提供了一种基于众测过程的众测任务关闭时间自动预测方法，该方法包括：监控众测过程，按时间顺序收集众测报告；自动评估众测任务需求的术语覆盖度，判断术语覆盖度是否满足设定阈值；将特定数目的众测报告作为一个增量采样组；自动检测众测报告间的重复性；基于众测报告间的重复性，得到以增量采样组为单元的缺陷到达趋势，采用捕获再捕获方法预测被测软件含有的缺陷数目，如果已经发现的缺陷数目和预测的缺陷数目相同且术语覆盖度已经满足，则当前时间为任务的关闭时间，否则继续监控众测过程。本发明通过实时监控众测过程，预测合适的众测任务关闭时间，既保证测试充分性又可降低众测成本。

技术领域

本发明属于计算机技术领域，涉及软件测试技术，尤其是众包软件测试(简称众测)，用于管理众测过程，通过实时监控众测过程，预测合适的众测任务关闭时间，既保证测试充分性又降低众测成本，为一种基于众测过程的众测任务关闭时间自动预测方法。

背景技术

众测是指在软件正式发布前，软件公司将测试任务发布到互联网上的众测平台，平台上的众测人员执行测试，并提交众测报告。由于软件错误会导致用户流失和经济损失，在软件公司专业测试人员相对短缺的情况下，众测技术在当前互联网公司软件研发或更新过程中被广泛采用。

测试工程师时常面临评估“多少测试就足够了”的问题。不充分的测试会降低软件质量，过量的测试会潜在的延长项目周期、导致成本浪费。因众测环境下移动应用程序的复杂性和分布式众测过程的不可预测性，这个问题在众测环境下表现得尤为突出。为了更好的计划和管理众测过程，软件测试管理已有实践采用基于经验的、基于风险的、基于价值的方法等。然而，这些方法对于新兴的众测场景是不适用的，因为众测环境下众测人员的活动是自发的、不可控的，且管理者对于众测过程的干预也很难发挥作用。

在当前的众测实践中，项目管理人员严重的依赖专家经验来决定何时关闭众测任务，包括设置固定的任务周期(例如5天)、设置固定的参与人员(例如400个人)等。基于真实的众测平台数据调查发现，不同的众测任务在1)缺陷达到速率，2)任务周期，3)达到特定质量等级所需要的成本等方面差异很大。为了应对这些差异带来的影响，管理者倾向于设置很大的阈值(例如任务周期、参与人员)，这导致众测过程非常的低效，有很多的成本浪费，也就是在众测过程的后面阶段，没有或者只有极少的缺陷发现。

因此，对于如何管理众测过程、何时关闭众测任务以便降低众测成本同时保证测试充分性，管理者面临很大的挑战。本发明通过自动监控众测过程，建模缺陷的到达趋势，从而自动评估测试完成情况，预测合适的任务关闭时间，既保证测试充分性，又降低众测成本。

发明内容

本发明要解决的技术问题是：提出一种基于众测过程的众测任务关闭时间自动预测方法，为进行中的众测任务实时确定关闭时间，既保证测试充分性，又降低众测成本。

本发明的技术方案为：

一种基于众测过程的众测任务关闭时间自动预测方法，包括以下步骤：

(1)监控众测过程，按时间顺序收集众测报告；

(2)基于收集到的众测报告自动评估众测任务需求的术语覆盖度，判断术语覆盖度是否满足设定阈值；

(3)采用增量采样方法处理按时间顺序收集的众测报告，将特定数目的众测报告作为一个增量采样组；

(4)自动检测众测报告间的重复性；

(5)基于众测报告间的重复性，得到以增量采样组为单元的缺陷到达趋势，采用捕获再捕获方法预测被测软件含有的缺陷数目，如果已经发现的缺陷数目和预测的缺陷数目相同且术语覆盖度已经满足，则当前时间为任务的关闭时间，否则继续监控众测过程。

进一步地，步骤(1)包括以下几个子步骤：

1a)记录每个众测报告的到达时间、ID及报告自然语言描述；