[发明专利]一种基于统计学原理的AB测试方法和装置

权利要求书

1.一种基于统计学原理的AB测试方法，其特征在于，包括如下步骤：

获取上游数据；

根据预设输入比例将所述上游数据随机分流至模型部署实例，所述模型部署实例包括生产模型和草稿模型；

获取所述生产模型和草稿模型的预测结果并缓存至第一数据库，且仅将所述生产模型的预测结果发送至下游接口；

获取与所述上游数据对应的真实结果，并转化为结构化数据输入到第二数据库中；

将所述第一数据库中的预测结果和第二数据库中的真实结果进行比对，获得生产模型和草稿模型的测量值，并缓存至第二数据库；

对比评估所述测量值并根据预设规则修改生产模型和草稿模型的输入比例。

2.根据权利要求1所述的基于统计学原理的AB测试方法，其特征在于，所述生产模型包括主模型和多个试水模型，则所述上游数据100％分流至主模型和多个试水模型中，并根据预设输入比例复制所述上游数据输入至草稿模型，所述生产模型的预测结果包括主模型预测结果和试水模型预测结果，所述生产模型的测量值包括主模型测量值和试水模型测量值。

3.根据权利要求1所述的基于统计学原理的AB测试方法，其特征在于，所述生产模型包括主模型和多个试水模型，主模型记为A，试水模型记为B，则所述对比评估测量值，包括比较主模型和试水模型，具体为：

设零假设为A模型的测量值等于B模型的测量值，对立假设为B模型的测量值大于A模型的测量值；

计算A模型和B模型在N个周期数据上的测量值，假设a_i为模型A在第i个周期数据集上的测量值，b_i为模型B在第i个周期数据集上的测量值，则A、B模型的测量值向量分别为

A_Measurement＝[a₁，a₂，...，a_n]

B_Measurement＝[b₁，b₂，...，b_n]

计算向量D_Measurement，即B模型和A模型测量值的差异，

D_Measurement＝[b₁-a₁，b₂-a₂，...，b_n-a_n]＝[d₁，....，d_n]

对|d₁|，|d₂|，...，|d_n|从小到大进行排序，记rank(d_i)为|d_i|在所有|d_i|中的序列值；

计算统计量：

当对立假设是A模型的测量值大于B模型的测量值时，使用统计量W_-，当对立假设是是B模型的测量值大于A模型的测量值时，使用统计量W₊；

当周期N小于第一限值时，选定阈值d，在临界值表中根据n和d找到对应的比较值，n为周期N中第n个周期；

若统计量小于比较值，则拒绝零假设，若统计量大于或等于比较值，则无法拒绝零假设。

4.根据权利要求3所述的基于统计学原理的AB测试方法，其特征在于，当周期N大于或等于第二限值时，计算标准分数Z；

上式中，标准分数Z服从标准正态分布，W为统计量；

查询标准正态分布的p值对应表，得到p值，并与阈值α比较，若p值小于阈值α，则拒绝零假设，若p值大于或等于阈值α，则无法拒绝零假设。