[发明专利]策略上线前测试方法、装置及设备

说明书

本发明提供一种策略上线前测试方法、装置及设备。该方法包括：确定满足预设流量比例的第一实验策略和第二实验策略。确定满足预设流量比例的第一待测流量和第二待测流量，其中，第二待测流量中包括与第一待测流量相同流量分布且相同流量大小的第三待测流量。按照第一实验策略，对第一待测流量进行实验，获得第一待测流量对应的第一实验结果。按照第二实验策略，对第二待测流量进行实验，获得第三待测流量对应的第二实验结果。若第一实验结果优于第二实验结果，则将第二实验策略替换为第一实验策略；若第二实验结果优于第一实验结果，则将第一实验策略替换为第二实验策略。从而解决了传统技术中代码冗余和重复的问题，降低了开发和维护成本。

技术领域

本发明涉及测试技术领域，尤其涉及一种策略上线前测试方法、装置及设备。

背景技术

ABTest已逐渐成为优化应用程序中的页面或者网页的主流方法，可用于增加转化率、注册等网页指标。

ABTest本质上是个分离式组间实验，即同一产品使用两个策略应用在不同的用户群体，如让一部分用户使用A策略，另一部分用户使用B策略。然后，通过日志记录各个用户群体的使用情况，并通过如点击率、转化率等相关指标，得出A策略和B策略中的哪个策略会更符合预期设计目标，并最终将用户流量全部切换至符合预期设计目标策略。

在传统ABTest小流量测试过程中，例如，测试系统先建立一个新的a页面，该a页面可能在标题字体、背景颜色、布局设置或者措辞等方面与旧的b页面有所不同。然后，测试系统将a页面和b页面以随机方式同时推送给所有浏览用户，此时两个策略均上线一次。接着，测试系统统计通过a页面到达网址内页的用户占比，以及通过b页面到达网址内页的用户占比。

若通过a页面到达网址内页的用户占比大于通过b页面到达网址内页的用户占比，则说明a页面得到了用户的喜欢，进而，测试系统将a页面推送给所有浏览用户，此时新策略再上线一次。

若通过a页面到达网址内页的用户占比小于通过b页面到达网址内页的用户占比，则说明a页面未得到用户的喜欢，进而，测试系统将b页面推送给所有浏览用户，此时默认旧策略。

然而，传统ABtest小流量测试过程中，不仅多个策略的软件代码会共存，导致测试系统中存在冗余代码，且多个策略需要多次上线，增加了策略开发和上线的成本。

发明内容

本发明提供一种策略上线前测试方法、装置及设备，以解决传统技术中不同策略存在软件代码冗余而占用过多空间以及需要策略多次上线而增加成本的问题。

第一方面，本发明提供一种策略上线前测试方法，包括：

确定满足预设流量比例的第一实验策略和第二实验策略；

确定满足所述预设流量比例的第一待测流量和第二待测流量，其中，所述第二待测流量中包括与所述第一待测流量相同流量分布且相同流量大小的第三待测流量；

按照所述第一实验策略，对所述第一待测流量进行实验，获得所述第一待测流量对应的第一实验结果；

按照所述第二实验策略，对所述第二待测流量进行实验，获得所述第三待测流量对应的第二实验结果；

若所述第一实验结果优于所述第二实验结果，则将所述第二实验策略替换为所述第一实验策略；若所述第二实验结果优于所述第一实验结果，则将所述第一实验策略替换为所述第二实验策略。

可选地，所述第一实验策略和所述第二实验策略处于相同的存储空间。

可选地，所述确定满足所述预设流量比例的第一待测流量和第二待测流量，包括：

按照所述预设流量比例，将待测用户总流量划分为所述第一待测流量和所述第二待测流量。

可选地，所述预设流量比例为根据业务类型确定的。