[发明专利]一种基于统计学原理的AB测试方法和装置

说明书

本发明提出了一种基于统计学原理的AB测试方法和装置，该方法包括如下步骤：获取上游数据；根据预设输入比例将所述上游数据随机分流至模型部署实例；获取所述生产模型和草稿模型的预测结果并缓存至第一数据库，且仅将所述生产模型的预测结果发送至下游接口；获取与所述上游数据对应的真实结果，并转化为结构化数据输入到第二数据库中；将预测结果和真实结果进行比对，获得生产模型和草稿模型的测量值，并缓存至第二数据库；对比评估所述测量值并根据预设规则修改生产模型和草稿模型的输入比例。本发明中模型可以对模型性能进行评估和对比，推荐当前最好的模型，还支持预设参数阈值，对输入模型的前端数据里进行分配，从而实现模型的替换。

技术领域

本发明涉及计算机应用领域，具体而言，涉及一种基于统计学原理的AB测试方法和装置。

背景技术

为验证用户体验、市场推广等是否正确，目前通常采用AB测试进行对比实验以根据实际效果确定最佳方案，即为web或APP界面或流程制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用，通常将基于统计学的一种测试方法植入到模型中，从而供模型自动进行AB测试。

目前存在的AB测试方法，很多是使用一些简单的统计学方法进行比较，并且每次测试，需要人工有计划的进行执行，同时执行的时间长度有限。

传统的模型部署流程，将模型直接部署到某一环境内，上游接入数据流，然后将结果向下游进行推送。但是传统的模型部署流程中，存在一些亟需解决的问题：1)需要进行模型的性能和表现的评估，这影响到如何使用模型，是否将重要决策交由模型进行决定，是否需要对模型进行优化或者回炉重造，2)考虑到应用环境的变化，模型需要定期使用新数据进行重新训练并替换，需要找到一个平衡成本和效果的时间点，如果替换太过频繁，那么会浪费大量资源和成本，如果替换的过于缓慢，那么测试模型的性能和表现将会大幅滑落，导致影响到业务。

发明内容

鉴于上述问题，本发明提供了一种基于统计学原理的AB测试方法和装置，植入到模型部署流程之中，从而提供模型自动进行AB测试，获取模型在生产数据中的实际成效，并自动调节数据流，自动迭代模型，从而大大简化模型的表现评估和替换的流程。

为解决上述技术问题，本发明采用的技术方案是：一种基于统计学原理的AB测试方法，包括如下步骤：获取上游数据；根据预设输入比例将所述上游数据随机分流至模型部署实例，所述模型部署实例包括生产模型和草稿模型；获取所述生产模型和草稿模型的预测结果并缓存至第一数据库，且仅将所述生产模型的预测结果发送至下游接口；获取与所述上游数据对应的真实结果，并转化为结构化数据输入到第二数据库中；将所述第一数据库中的预测结果和第二数据库中的真实结果进行比对，获得生产模型和草稿模型的测量值，并缓存至第二数据库；对比评估所述测量值并根据预设规则修改生产模型和草稿模型的输入比例。

作为优选方案，所述生产模型包括主模型和多个试水模型，则所述上游数据100％分流至主模型和多个试水模型中，并根据预设输入比例复制所述上游数据输入至草稿模型，所述生产模型的预测结果包括主模型预测结果和试水模型预测结果，所述生产模型的测量值包括主模型测量值和试水模型测量值。

作为优选方案，所述生产模型包括主模型和多个试水模型，主模型记为A，试水模型记为B，则所述对比评估测量值，包括比较主模型和试水模型，具体为：设零假设为A模型的测量值等于B模型的测量值，对立假设为B模型的测量值大于A模型的测量值；计算A模型和B模型在N个周期数据上的测量值，假设a_i为模型A在第i个周期数据集上的测量值，b_i为模型B在第i个周期数据集上的测量值，则A、B模型的测量值向量分别为

A_Measurement＝[a₁,a₂,…,a_n]