[发明专利]一种待融合数据的过滤方法、过滤装置及可读存储介质

说明书

本申请提供了一种待融合数据的过滤方法、过滤装置及可读存储介质，所述过滤方法包括：获取缓存数据库中的多条待融合数据以及每一条待融合数据的数据标识信息以及时间信息；基于每一条待融合数据的采集时间和多个预设时间区间，将多条待融合数据划分至多个待过滤数据集中；从每个待过滤数据集中属于同一数据标识信息的多条待融合数据中确定出目标数据以及目标数据的时间信息；将每一个待过滤数据集中除目标数据之外的其他待融合数据过滤，得到待融合数据集。这样，能够根据数据的上传时间和采集时间将冗余数据滤除，不仅可以统一数据标准，得到在时间维度上的标准数据，还可以降低数据量，减少后续的数据处理时间，有助于提高后续数据处理的效率。

技术领域

本申请涉及数据处理技术领域，尤其是涉及一种待融合数据的过滤方法、过滤装置及可读存储介质。

背景技术

ID融合是指针对一个实体的多个标识，实现多个标识打通能共同指向同一个实体的功能，ID融合问题是一个数据底层ID打通问题，在进行ID融合计算之前需要对轨迹数据进行清洗过滤，针对ID融合场景，因为轨迹数量庞大，计算量大，需要对数据进行过滤处理，具有统一标准化的数据，在后续的计算和处理时，更加方便。

现阶段，对于数据清理，一般集中清理设备获取到的出错的数据，比如数据不全、数据错误等，直接将发生错误的数据删除，在现有技术中，对于数据的删除，只是针对数据本身做简单同步处理，没有考虑数据之外，例如由于设备原因造成的数据冗余，数据过滤不彻底的问题，过滤后数据标准不统一，影响后续数据处理效果。

发明内容

有鉴于此，本申请的目的在于提供一种待融合数据的过滤方法、过滤装置及可读存储介质，能够根据数据的上传时间和采集时间将冗余数据滤除，不仅可以统一数据标准，得到在时间维度上的标准数据，还可以降低数据量，减少后续的数据处理时间，有助于提高后续数据处理的效率。

本申请实施例提供了一种待融合数据的过滤方法，所述过滤方法包括：

获取缓存数据库中的多条待融合数据以及每一条待融合数据对应的数据标识信息以及时间信息；

基于每一条待融合数据的时间信息确定的采集时间以及多个预设时间区间，将多条待融合数据划分至与各预设时间区间相对应的多个待过滤数据集中；

从每个待过滤数据集中属于同一数据标识信息的多条待融合数据中确定出目标数据，并获取所述目标数据的时间信息，其中，所述目标数据的采集时间与所述待过滤数据集对应的起始时间之间的差值，小于所述同一数据标识信息的多条待融合数据中除所述目标数据之外的其他待融合数据中的每一条待融合数据的采集时间与所述起始时间之间的差值；

将每一个待过滤数据集中除对应的目标数据之外的其他待融合数据过滤，得到待融合数据集。

进一步的，所述基于每一条待融合数据的时间信息确定的采集时间以及多个预设时间区间，将多条待融合数据划分至与各预设时间区间相对应的多个待过滤数据集中，包括：

将预设统计时间段划分成多个预设时间区间；

根据每一条待融合数据的采集时间所属的预设时间区间，将多条待融合数据划分至多个待过滤数据集中。

进一步的，通过以下步骤确定所述采集时间属于预设时间区间：

获取预设时间区间的起始时间以及终止时间；

检测所述采集时间是否在所述起始时间之后，并且所述采集时间是否在所述终止时间之前；

若所述采集时间在所述起始时间之后并且所述采集时间在所述终止时间之前，确定所述采集时间属于预设时间区间。

进一步的，通过以下步骤确定采集时间：

检测每一条待融合数据的时间信息指示的时间是否只有一条；