[发明专利]基于流批配合的累计独立访问量确定方法、装置及设备

权利要求书

1.一种基于流批配合的累计独立访问量确定方法，所述方法包括：

通过流数据源获取用户访问流；

按照预设的时间间隔从所述用户访问流中提取用户访问数据，得到批数据源；

根据所述批数据源创建批任务，执行所述批任务以进行去重，得到至少部分去重的历史访问维表；

创建对应于当前时间段的流任务，根据当前的所述历史访问维表，以及所述用户访问流中对应于所述当前时间段的流数据，执行所述流任务以进行再去重，得到所述当前时间段内的累计独立访问量。

2.根据权利要求1所述的方法，所述得到至少部分去重的历史访问维表之前，所述方法还包括：

获取待确定的所述累计独立访问量对应的独立统计维度；

创建包含的维度仅有所述独立统计维度的历史访问维表，所述历史访问维表是通过执行所述批任务进行更新的，所述用户访问流对应的多个属性维度中包含所述独立统计维度。

3.根据权利要求1所述的方法，所述创建对应于当前时间段的流任务，具体包括：

接收所述累计独立访问量的查询者发送流批无关的第一去重SQL指令；

通过对所述第一去重SQL指令进行自动改写，得到第二去重SQL指令；

根据所述第二去重SQL指令，创建对应于当前时间段的流任务。

4.根据权利要求3所述的方法，所述根据所述批数据源创建批任务，执行所述批任务以进行去重，得到至少部分去重的历史访问维表，具体包括：

根据所述批数据源中的预设的各时间间隔对应的用户访问数据与对应的第三去重SQL指令分别创建批任务；

执行各所述批任务进行去重，得到所述各时间间隔分别单独去重的历史访问维表。

5.根据权利要求4所述的方法，所述创建批任务，具体包括：

获取当前时间段对应的所述预设的时间间隔，作为最新批任务调度时间；

根据所述最新批任务调度时间，对所述第一去重SQL指令进行自动改写，得到所述第三去重SQL指令。

6.根据权利要求2所述的方法，所述根据当前的所述历史访问维表，以及所述用户访问流中对应于所述当前时间段的流数据，执行所述流任务以进行再去重，具体包括：

将所述当前时间段的流数据与当前的所述历史访问维表连接；

在所述连接的过程中，根据所述独立统计维度，对所述当前时间段的流数据与当前的所述历史访问维表进行维度对齐，得到所述连接的结果；

在所述连接的结果中筛选出所述当前时间段的流数据中存在但当前的所述历史访问维表中不存在的用户记录；

通过针对所述筛选的结果进行去重，完成对所述流任务的执行。

7.根据权利要求6所述的方法，所述通过针对所述筛选的结果进行去重，完成对所述流任务的执行，具体包括：

根据所述独立统计维度，对所述筛选的结果中包含的各用户访问记录进行分组，得到一个或者多个访问记录组；

分别为各所述访问记录组中的用户访问记录进行单独编号，得到各所述用户访问记录的记录行号；

以相同的一个记录行号在各所述访问记录组中分别进行过滤，使得过滤后的各所述访问记录组分别仅保留一条用户访问记录；

根据所述保留的用户访问记录，完成对所述流任务的执行。

8.根据权利要求1所述的方法，还包括：

按照依次来自所述用户访问流的各用户访问记录，创建针对预设的各时间间隔的流任务；

通过预设的各时间间隔对应的流任务获取对应的用户访问流，通过预设各时间间隔对应的批任务获取对应的至少部分去重的历史访问维表；

根据预设的各时间间隔对应的用户访问流与历史访问维表，执行预设的各时间间隔的流任务以进行去重，得到预设的各时间间隔内的累计独立访问量，并将预设的各时间间隔的累计独立访问量存储至累计独立访问量数据库。