[发明专利]一种基于行为数据的众包测试人员的评价方法

说明书

本发明公开了一种众包测试人员的评价方法。S10数据采集，众测测试人员在众包平台上注册信息，参加考试，领取任务并参与测试提交报告；S20特征提取，把采集到数据的来源分为人员信息、人机协同、历史测试数据三类；从获取的数据中提取出身份背景、社交人脉、能力证明、履约记录、历史行为五类特征共22个指标量；S30训练逻辑回归分类器，将训练数据集中的指标数据与众测人员的评价输入逻辑回归模型，对逻辑回归模型进行训练，使用梯度上升法计算损失函数的最大似然估计，确定参数；S33，构建预测函数，求所有数据的概率值，并根据概率值和阈值得出分类器的结果；通过训练好的分类器得到人员的评价。

技术领域

本发明属于软件工程中程序分析与验证技术领域。尤其是众包的方式来对移动应用程序测试人员进行评价的方法。

背景技术

随着移动设备的快速发展，主流市场上的移动应用变得越来越强大和复杂。虽然用户希望移动应用程序是可靠和安全的，但其不断增加的复杂性也使他们出现bug的可能性不断加大。为了确保移动应用程序使用过程中的质量，软件测试变得越来越重要。然而，由于移动设备的特殊性，如网络不可靠、屏幕尺寸差异大、操作系统多样，移动应用程序的测试具有一定的挑战性。

如今，许多公司或组织倾向于采用众包的方式来对移动应用程序进行测试，方法是招募一大批分布在各地的在线人员。与传统测试相比，众包测试涉及到不同的平台、语言和用户。开发人员可以获得真实的反馈信息、功能需求和用户体验；它还可以同时招募大量的测试人员来进行测试，从而实现高并行化，显著提高测试效率；此外，众包测试能够提供各种各样的测试环境，包括移动设备、网络环境、操作系统等，有效地保证了高软硬件覆盖率，大大降低了测试成本。

但是在众包测试的过程中，众测人员的测试水平是参差不齐的。有的众测人员能够准确的写出测试的步骤以及精准地描述出错的现象，但是有的众测人员只是草草说出其中某些步骤和模糊的现象描述，开发人员甚至无法按其报告复现。为了能鉴别出众测人员测试结果的质量，已有方法针对人员提交的报告，从报告中提取出形态指标、词汇指标、分析指标和关系指标，然后通过这些指标分类得出报告的质量情况。但是，上述方法只考虑了众测人员提交的报告，而并没有考虑人的其他因素，例如守约率、测试难度等。

发明内容

本发明目的：为了能更全面的对众测人员进行评价，本发明提供一种众包测试人员的评价方法，对人员信息、历史测试数据进行相应的数据处理，提取出五类不同的特征，训练逻辑回归分类器，从而得到众测人员的评价结果。

为实现上述目的，本发明采用的技术方案为：一种众包测试人员的评价方法，包括如下步骤：

S10数据采集，众测测试人员在众包平台上注册信息，参加考试，领取任务并参与测试提交报告；

S20特征提取，把采集到数据的来源分为人员信息、人机协同、历史测试数据三类；从获取的数据中提取出身份背景、社交人脉、能力证明、履约记录、历史行为五类特征共22个指标量；

S30训练逻辑回归分类器，包括以下步骤：

S31，建立训练数据集，训练数据集中的每个数据对应一个众测人员，包括自变量字段及决策目标字段，其中，自变量字段包括众测人员的身份背景、社交人脉、能力证明、履约记录、历史行为五类特征，决策目标字段包括专家对该人员对评价结果；

S32，将训练数据集中的指标数据与众测人员的评价输入逻辑回归模型，对逻辑回归模型进行训练，使用梯度上升法计算损失函数的最大似然估计，确定参数；

S33，构建预测函数，求所有数据的概率值，并根据概率值和阈值得出分类器的结果；

S40分类，使用逻辑回归分类器进行分类，得到众测人员的评价结果。

优选的：所述步骤S20从数据中提取出22个指标量如下：