[发明专利]去重方法、装置、设备、介质及产品

权利要求书

1.一种去重方法，包括：

响应于去重请求，确定所述去重请求所属的待去重时间段；

确定所述待去重时间段包括的至少一个目标去重周期；

将所述目标去重周期对应的去重过滤器，作为目标去重过滤器；

根据所述目标去重过滤器对所述去重请求中的待去重数据进行处理，得到去重结果。

2.根据权利要求1所述的方法，其中，所述确定所述待去重时间段包括的至少一个目标去重周期，包括：

确定所述去重请求对应的请求时刻，并将所述请求时刻所属的候选去重周期，作为末尾的目标去重周期；

将位于末尾的目标去重周期之前，且属于所述待去重时间段的候选去重周期，也作为所述目标去重周期。

3.根据权利要求1所述的方法，其中，所述响应于去重请求，确定所述去重请求所属的待去重时间段，包括：

确定去重时长，其中，所述去重时长根据设置的配置信息确定；

将所述去重请求对应的请求时刻前推所述去重时长的对应时刻确定为待去重起始时刻，并将所述请求时刻确定为待去重结束时刻；

将所述待去重起始时刻和所述待去重结束时刻之间的时间段作为所述去重请求所属的待去重时间段。

4.根据权利要求1所述的方法，其中，根据所述目标去重过滤器对所述去重请求中的待去重数据进行处理，得到去重结果，包括：

根据所述目标去重过滤器对所述待去重数据进行同步处理；其中，所述去重过滤器为布隆过滤器；

在确定过滤器中目标执行函数未对所述待去重数据进行设置过时，则确定所述目标执行函数所属的目标去重过滤器的去重结果为所述待去重数据不重复。

5.根据权利要求1-4任一项所述的方法，所述方法还包括：

响应于对目标数据内容的排查请求，根据所述排查请求对应的排查时刻确定排查去重过滤器；

在所述排查去重过滤器中添加所述目标数据内容，用于排查待去重数据中是否包括所述目标数据内容。

6.根据权利要求5所述的方法，其中，响应于对目标数据内容的排查请求，根据排查请求对应的排查时刻确定排查去重过滤器，包括：

确定候选去重周期中的末尾去重周期的去重结束时刻；

若所述排查时刻大于或等于所述去重结束时刻，则重新创建新的候选去重周期，并将所述新的候选去重周期对应的去重过滤器作为所述排查去重过滤器。

7.根据权利要求1所述的方法，其中，所述方法还包括：

确定候选去重周期对应的去重过滤器的存活时长；

确定所述存活时长大于过期时长的去重过滤器为过期去重过滤器；其中，所述过期时长根据设置的配置信息确定；

对所述过期去重过滤器进行删除。

8.根据权利要求1所述的方法，所述方法还包括：

根据所述去重请求、所述目标去重过滤器的数量以及所述目标去重过滤器中的执行函数数量，确定根据所述目标去重过滤器对所述待去重数据进行处理时的放大处理流量；

根据所述放大处理流量、去重服务的当前累积流量和流量阈值判断所述去重请求是否影响去重服务当前稳定性；

根据判断结果对所述去重请求进行过滤。

9.根据权利要求8所述的方法，其中，根据所述放大处理流量、去重服务的当前累积流量和流量阈值判断所述去重请求是否影响去重服务当前稳定性，包括：

若所述放大处理流量和所述当前累积流量的流量和大于或等于所述流量阈值，则确定所述去重请求影响去重服务当前稳定性；其中，所述当前累积流量是指按照配置信息中的统计周期统计的所述去重服务在当前统计周期内的历史累积流量。