[发明专利]AB实验的分流方案确定、分流实现方法、装置及系统有效
申请号: | 202010775645.8 | 申请日: | 2020-08-05 |
公开(公告)号: | CN111884949B | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 崔垚 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | H04L47/80 | 分类号: | H04L47/80;H04L47/24 |
代理公司: | 北京永新同创知识产权代理有限公司 11376 | 代理人: | 林锦辉;刘景峰 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | ab 实验 分流 方案 确定 实现 方法 装置 系统 | ||
本说明书实施例提供了一种AB实验的流量分配方案确定、分配实现方法、装置及系统。在AB实验中的用户流量分配方案确定方法中,响应于获取到针对AB实验的当前用户流量分配请求,使用第一哈希因子将当前可分配用户流量打散分配至预定数目个流量分桶,根据各个目标实验版本的用户流量比例,确定各个目标实验版本的对应用户流量分桶区间;以及根据所确定出的各个目标实验版本的对应用户流量分桶区间,生成当前用户流量分配请求的当前用户流量分配方案。
技术领域
本说明书实施例涉及计算机应用技术领域,具体地,涉及AB实验的分流方案确定、分流实现方法、装置及系统。
背景技术
AB实验是一种通过数据驱动来推进产品迭代、验证算法效果、获取业务产出等的方式,一般是将产品、页面、算法等不同方案作为AB实验的不同实验版本,从全体用户流量中划分一部分用户流量到不同实验版本中。在此基础上,为不同的实验版本设置不同的实验方案,观察分析实验指标效果,得到实验结论。
在AB实验中,通过分流算法将用户流量分配到需要分析的AB实验版本中,以支持后续数据分析。AB实验的分流算法需要确保各个实验版本中所分配的用户流量符合预期,且所分配的用户流量满足一致性、均匀性以及独立性。这样才能确保AB实验的有效性。
发明内容
鉴于上述,本说明书实施例提供了一种AB实验的分流方案确定、分流实现方法、装置及系统。在AB实验的用户流量分配方案确定方法中,响应于当前用户流量分配请求,所使用的第一哈希因子与先前用户流量分配请求使用的哈希因子不同,使用这样的第一哈希因子将当前可分配用户流量重新打散分配,确保了用户流量分配的均匀性,避免了先前已运行实验导致用户流量的特征发生变化而不满足均匀性,从而导致后续实验不准确的问题。
根据本说明书实施例的一个方面,提供了一种用于确定AB实验中的用户流量分配方案的方法,包括:响应于获取到针对AB实验的当前用户流量分配请求,使用第一哈希因子将当前可分配用户流量打散分配至预定数目个流量分桶,所述当前用户流量分配请求包括当前用户流量分配的目标实验的目标实验版本以及各个目标实验版本的用户流量比例;根据各个目标实验版本的用户流量比例,确定各个目标实验版本的对应用户流量分桶区间;以及根据所确定出的各个目标实验版本的对应用户流量分桶区间,生成当前用户流量分配请求的当前用户流量分配方案,其中,所述第一哈希因子与先前用户流量分配请求所对应的哈希因子不同。
可选地,在上述方面的一个示例中,所述预定数目个流量分桶是固定数目个流量分桶。
可选地,在上述方面的一个示例中,各个目标实验版本的用户流量比例是绝对用户流量比例,根据各个目标实验版本的用户流量比例,确定各个目标实验版本的对应流量分桶区间包括:基于各个目标实验版本的绝对用户流量比例和所述当前可分配用户流量,确定各个目标实验版本相对于所述当前可分配用户流量的相对用户流量比例;以及根据各个目标实验版本的相对用户流量比例,确定各个目标实验版本的对应流量分桶区间。
可选地,在上述方面的一个示例中,还包括:根据所述当前用户流量分配方案确定哈希链的新增哈希链节点,所述哈希链由多个哈希链节点依照用户流量分配顺序链接构成,每个哈希链节点与一次用户流量分配请求中的一个目标实验对应,并且记录在该次用户流量分配请求时针对该目标实验的用户流量分配信息;以及将所确定出的新增哈希链节点依照用户流量分配顺序链接到当前哈希链的链尾。
可选地,在上述方面的一个示例中,每个哈希链节点记录节点哈希因子、实验信息MD5值和流量分配列表,所述节点哈希因子是该哈希链节点所对应的用户流量分配请求所使用的哈希因子,所述实验信息MD5值是针对该哈希链节点所对应的实验信息的MD5值,所述流量分配列表包括响应于该哈希链节点所对应的用户流量分配请求而分配给该目标实验的所有流量分配信息,每个流量分配信息对应一个实验版本,每个流量分配信息包括对应实验版本的实验版本标识和用户流量分桶区间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010775645.8/2.html,转载请声明来源钻瓜专利网。