[发明专利]软件测试监控方法、装置、电子设备及可读存储介质

权利要求书

1.一种软件测试监控方法，其特征在于，包括：

获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，所述目标事件为影响用户使用体验的负面事件；

根据所述第一次数及第二次数计算得到次数差值；

判断所述次数差值是否达到第一阈值，其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；

若所述次数差值达到所述第一阈值，则生成告警信息，其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件。

2.根据权利要求1所述的方法，其特征在于，所述方法还可以包括：

预先根据第一预设计算公式、所述预设正确率、预设召回率及预设最小改善程度计算得到所述第一阈值，其中，所述第一预设计算公式为：

其中，α表示根据所述预设正确率计算得到的预设显著性水平，1-β表示所述预设召回率，P_c表示预设的所述目标事件发生在所述第一用户集群的概率，P_t表示预设的所述目标事件发生在所述第二用户集群的概率，P_c及P_t根据所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值。

3.根据权利要求1所述的方法，其特征在于，所述方法还可以包括：

预先根据第二预设计算公式、所述预设正确率、预设召回率、预设最小改善程度及预设变化阈值计算得到所述第一阈值，其中，所述第二预设计算公式为：

其中，α表示根据所述预设正确率计算得到的预设显著性水平，1-β表示所述预设召回率，P_c0表示预设的所述目标事件发生在所述第一用户集群的初始概率，P_t0表示预设的所述目标事件发生在所述第二用户集群的初始概率，P_c0及P_t0根据所述预设变化阈值计算得到，P_c表示预设的所述目标事件发生在所述第一用户集群的概率，P_t表示预设的所述目标事件发生在所述第二用户集群的概率，P_c及P_t根据P_c0、P_t0及所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，在判断所述次数差值是否达到第一阈值之后，所述方法还包括：

若所述次数差值小于所述第一阈值，则判断所述第一次数与第二次数的次数和值是否达到第二阈值，其中，所述第二阈值通过简单序贯检验算法根据所述预设正确率、预设召回率及预设最小改善程度计算得到；

若所述次数和值达到所述第二阈值，则停止监控。

5.根据权利要求2所述的方法，其特征在于，在所述次数差值不小于所述第一阈值的情况下，在生成所述告警信息之前，所述方法还包括：

根据所述第一次数、第二次数、第一总次数及第二总次数，计算得到所述目标事件分别发生在所述第一用户集群、第二用户集群的概率的实际变化幅度，其中，所述第一总次数为所述第一用户集群使用所述测试版本软件的总次数，所述第二总次数为所述第二用户集群使用所述基准版本软件的总次数；

判断所述实际变化幅度是否大于预设变化阈值；

若所述实际变化幅度大于所述预设变化阈值，则执行生成告警信息的步骤。

6.根据权利要求2所述的方法，其特征在于，所述根据所述第一次数及第二次数计算得到次数差值，包括：

根据预设变化阈值对所述第一次数进行修正处理，得到处理后的第一次数；

根据处理后的第一次数及所述第二次数，通过差值运算，获得所述次数差值。