[发明专利]AB实验集成方法及系统在审

专利信息
申请号: 202110156820.X 申请日: 2021-02-04
公开(公告)号: CN112817856A 公开(公告)日: 2021-05-18
发明(设计)人: 杨白冰 申请(专利权)人: 上海哔哩哔哩科技有限公司
主分类号: G06F11/36 分类号: G06F11/36;G06F9/50
代理公司: 北京英特普罗知识产权代理有限公司 11015 代理人: 邓小玲
地址: 200433 上海市*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: ab 实验 集成 方法 系统
【说明书】:

本申请公开了一种AB实验集成方法,该方法包括:中心服务端配置所述AB实验的分流规则;将所配置的所述分流规则传送至所述本地服务端,以使所述本地服务端的分流引擎根据所述分流规则对所连接的多个客户端进行分组计算并为各个分组的所述客户端分配相应的实验任务;接收所述本地服务端上报的分组信息和实验数据;根据所述分组信息和所述实验数据进行实时的分析处理并展示给用户查看。本申请还公开了一种AB实验集成系统、电子装置和计算机可读存储介质。由此,能够提供一个快速且分布式的AB实验方案。

技术领域

本申请涉及数据处理技术领域,尤其涉及一种AB实验集成方法、系统、电子装置及计算机可读存储介质。

背景技术

AB实验是一种随机实验,通常有两个变体(A组和B组),利用控制变量法保持有单一变量的前提下,将A组和B组数据进行对比,得出实验结论。这种实验方法被广泛应用在互联网产品中进行产品优化。

现代互联网产品在庞大的用户群体下,无法快速的决策某项功能的正确性以及最优方案,所以一个快速且有效的AB实验方案对整个产品的更迭优化起着至关重要的作用。大到内容的分发算法策略,小到一个按钮颜色以及文案变更带来的用户差异,均可以采用AB实验后的数据验证。一般情况下,是为同一个优化目标制定两个方案,让同一用户群体中的一部分用户命中A方案,同时另一部分用户命中B方案,统计并比较不同方案的点击率、转化率等数据指标,通过不同方案的数据表现,在确定数据表现通过假设检验后决定最终方案。

但是,各大互联网公司现有的绝大多数的AB实验平台都会遇到数据收集和接入方不友好的问题。因此往往都是采用的线上配置实验,线下计算数据的方式来进行对应的AB实验,这样带来的问题是人效低下,会有大量重复工作。并且,实验过程中可能遇到的多层多组实验的相互影响问题,会影响到最终的数据结果,导致判断不够准确。

需要说明的是,上述内容并不用于限制申请保护范围。

发明内容

本申请的主要目的在于提出一种AB实验集成方法、系统、电子装置及计算机可读存储介质,旨在解决至少一个上述问题。

为实现上述目的,本申请实施例提供了一种AB实验集成方法,应用于中心服务端,所述中心服务端与一个或多个本地服务端通信连接,所述方法包括:

配置所述AB实验的分流规则;

将所配置的所述分流规则传送至所述本地服务端,以使所述本地服务端的分流引擎根据所述分流规则对所连接的多个客户端进行分组计算并为各个分组的所述客户端分配相应的实验任务;

接收所述本地服务端上报的根据所述分组计算得到的分组信息和所述客户端的实验数据;及

根据所述分组信息和所述实验数据进行实时的分析处理并展示给用户查看。

可选地,所述分流规则的配置通过语法决策树实现,支持按照多维度信息及多种算法进行动态化配置。

可选地,所述配置所述AB实验的分流规则包括:

通过多叉树的数据结构配置多层级的分组实验,并通过在所述分流规则中加入随机盐实现同一个所述客户端在不同实验中的正交。

可选地,所述配置所述AB实验的分流规则还包括:

在所述AB实验的运行过程中实时调配流量占比。

此外,为实现上述目的,本申请实施例还提供一种AB实验集成系统,应用于中心服务端,所述系统包括:

配置模块,用于配置所述AB实验的分流规则;

传送模块,用于将所配置的所述分流规则传送至所述本地服务端,以使所述本地服务端的分流引擎根据所述分流规则对所连接的多个客户端进行分组计算并为各个分组的所述客户端分配相应的实验任务;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海哔哩哔哩科技有限公司,未经上海哔哩哔哩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110156820.X/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top