[发明专利]实验周期的确定方法、装置、终端及存储介质

说明书

本公开实施例提供一种实验周期的确定方法、装置、终端及存储介质；所述实验周期的确定方法包括：基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果；基于所述统计结果，确定所述测试对象的样本量；并根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期。如此，本公开实施例可以通过关键指标的统计结果确定出合适的样本量；并基于合适的样本量等确定出合理的实验周期，使得实验周期不会过长或者过短。

技术领域

本公开涉及但不限于软件测试领域或者计算机技术领域，尤其涉及一种实验周期的确定方法、装置、终端及存储介质。

背景技术

为了更好地提供产品质量和/或用户体验，通常可以对产品做AB实验或者AA实验等线上实验。而做该些实验时，若实验周期设置的不合理则达不到实验效果：例如设置相对较长的实验周期会导致用户流量的浪费，又如设置相对较短的实验周期则会导致实验结果不置信。

发明内容

本公开提供一种实验周期的确定方法、装置、终端及存储介质。

根据本公开的第一方面，提供一种实验周期的确定方法，包括：

基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果；

基于所述统计结果，确定所述测试对象的样本量；

根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期。

在一些实施例中，所述根据所述样本量、所述测试对象的实验分组数量、所述测试对象的用户流量比例及新增用户访问数量，确定所述测试对象的实验周期，包括：

根据所述样本量、所述实验分组数量、所述用户流量比例及预定时长的乘积，确定第一数值；

根据所述第一数值与所述预定时长内新增用户访问数量的比值，确定所述测试对象的实验周期。

在一些实施例中，所述基于测试对象的关键指标的关键指标信息，确定所述关键指标的统计结果，包括以下至少之一：

基于所述关键指标在所述预定时长内每天用户启动次数的平均值，确定所述关键指标的关键指标基线；

基于所述关键指标的所述关键指标基线及历史信息中预定关键指标基线，确定所述关键指标的检验灵敏度；

基于所述关键指标在所述预定时长内每天用户启动次数的方差的算术平方根，确定所述关键指标的标准方差；

基于所述关键指标在所述预定时长内新增用户访问数量与所述预定时长内用户访问数量的比值，确定所述关键指标的统计功效参数；

基于所述测试对象对应的版本与历史测试的版本的差异程度，确定所述关键指标的显著性参数。

在一些实施例中，所述基于所述统计结果，确定所述测试对象的样本量，包括：

根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；

基于所述统计功效参数和/或所述显著性参数，查询正态分布函数以获得第三数值；

根据所述第二数值及所述第三数值平方的乘积，确定所述测试对象的所述样本量。

在一些实施例中，所述基于所述统计结果，确定所述测试对象的样本量，包括：

根据所述关键指标基线的平方与所述检验灵敏度的平方的比值，确定第二数值；

基于所述第二数值，确定所述测试对象的所述样本量。

在一些实施例中，所述方法还包括：