[发明专利]一种分桶测试的方法、装置和系统

说明书

技术领域

本申请涉及测试领域，尤其涉及一种分桶测试的方法、装置和系统。

背景技术

互联网搜索产品可以根据用户需求的变化而不断的改进和优化，如，搜索结果页（Search Result Page，简称Srp），其中某个按钮是放在页面左边还是右边，都面临着多个设计方案的选择。设计方案的优劣可以借助分桶测试（Bucket Testing，简称bts）的方法来收集用户的真实使用数据加以衡量，进而择优选择设计方案。

所述分桶测试是指，根据分桶逻辑对用户进行的功能测试。所述分桶逻辑是一种访问量分配的方法，分桶就是划分访问量、即按某种方式来分配访问量。其中，A/B测试（A/B Testing）是分桶测试的最简单形式，即设定一个或多个基准桶，基准桶用于测试现有的功能，其作为比较改进后的功能的测试效果的基准，再设定一个或多个测试桶，测试桶用于测试改进后的功能，通过考察基准桶与测试桶之间在测试获得的各项指标上的差异，最终确定测试桶的效果，如是否优于基准桶等等。其中，每一个桶（基准桶、测试桶）具有一个分组号（bucket id）。

结合图1所示的现有技术的分桶测试系统架构示意图来说明分桶测试。

用户的搜索请求首先被发送到web应用服务器。web应用服务器接收到用户的搜索请求后，根据该搜索请求为用户随机分配一个分组号，用户可以根据获得的分组号访问web应用服务器。进一步地，将具有同一个分组号的多个用户的网站访问量称之为一个桶，web应用服务器可以向在同一个桶内的用户提供具有某一功能的服务。也即是说，一个桶可以用于测试web应用服务器提供的一个功能。基于用户的搜索请求和分组号，分别请求相关的引擎服务器，如，导航引擎服务器，搜索引擎服务器等，以得到相关的页面资源数据。Web应用服务器将各相关引擎服务器返回的页面资源返回给用户，从而可以得到包含需要测试的功能的搜索结果页（Search Result Page，简称Srp）。用户在搜索结果页里可以进行进一步地操作，例如：点击导航细化搜索条件。用户的操作（用户行为）可以以日志的方式记录下来。基于日志生成与分组号对应的测试数据（指标）。将同一功能在测试桶的测试数据和在基准桶的测试数据进行比较。其中，测试桶对应改进后的功能，基准桶对应现有的功能（即已经存在的原有功能、而非改进后的功能）。进而可以得到用户对现有功能和改进后的功能的使用感受，进而比较出现有产品功能和改进后产品功能的优劣，并以此确定是否全量上线测试桶对应的优化或改进的产品功能。

在现有技术中，桶的数量决定了可以测试的功能的数量，当需要测试的功能增多时，可以在一个桶中测试多个功能，即，为多个功能测试分配一个分组号，并将多个功能展示在一个srp页面中，但是，多个功能公用一个分组号进行测试，可能造成多个功能的测试数据融合在一起，相互干扰，不易区分用户行为数据归属于哪一个功能，不利于在相同的功能之间进行分析和比较，影响测试数据的准确性。

在现有的分桶逻辑是将用户随机分布在各个桶中，无法针对特定用户群体、特定地域用户的相关功能的进行测试，测试数据缺乏针对性，例如，无法针对男用户进行运动种类排序的功能测试。

现有技术对被测功能采用先确定测试时间、再上线测试的方法，并且需要进行上线操作，容易导致上线时刻不准确，例如，上线操作时间过长使上线时刻滞后，然而测试数据是参考预先确定的测试时间而生成，从而造成测试数据不准确的问题。

根据现有技术的分桶测试方法，若在功能测试过程中发现某个测试的功能出现错误，则只能回滚同一批上线的多个功能测试，或者重新对需要测试的功能进行开发、测试，这样影响其他功能测试的正常进行并且不容易评估在重新开发、测试的过程中该存在问题的功能对其他功能的影响，存在稳定性风险。并且，测试数据与分组号绑定，存在问题的功能再次上线时，需要重新分配分组号，若与之前的分组号不相同，则会造成测试数据分散，不利于数据分析和比较。

发明内容

本申请的主要目的在于提供一种分桶测试的方法、装置和系统，以克服现有技术存在的上述缺陷，解决多个功能并行测试，以支持更多功能测试，提高了分桶测试效率的问题，进一步，还可以解决有针对性更细粒度的测试的问题，进一步，还可以解决提高功测试数据准确性的问题进而提高评估的精确度，进一步，还可以解决安全便捷、低成本的线上功能测试的问题。

为了解决上述技术问题，本发明的目的是通过以下技术方案实现的：