[发明专利]数据过滤方法、装置、电子设备及存储介质

说明书

本发明的实施例提供了一种数据过滤方法、数据过滤装置、电子设备以及存储介质，涉及大数据技术领域。该方法包括：基于第一数据表中多条数据的标识信息生成广播变量，并将所述广播变量广播至各个工作节点；提取所述工作节点产生的新增数据的标识信息，确定所述新增数据的标识信息是否存在于所述广播变量中；响应于所述新增数据的标识信息存在于所述广播变量中，将对应的新增数据过滤到待处理弹性分布式数据集。本发明实施例可以解决数据过滤时临时表占用大量内存，导致发生延迟影响数据处理效率的问题。

技术领域

本发明涉及大数据技术领域，具体而言，涉及一种数据过滤方法、数据过滤装置、电子设备以及计算机可读存储介质。

背景技术

随着互联网技术的迅速发展，催生了大数据时代，与大数据随之而来的是海量实时的数据，而且数据无时无刻不在更新迭代，因此数据过滤技术也应运而生。

目前，相关的数据过滤技术中，通过Spark程序读取Kafka中新增的监控报警数据，将新增的数据通过Spark SQL直接生成临时表，再将该临时表与数据库中的报警表进行join(连接)查询，将join查询的结果插入到数据库中。然而，将新增的数据直接转换成临时表会占用大量的内存空间，而且两张数据表进行join查询时会产生大量的读写操作，导致延迟经常发生，影响数据处理效率。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种数据过滤方法、数据过滤装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据过滤时占用大量空间，延迟经常发生的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种数据过滤方法，包括：基于第一数据表中多条数据的标识信息生成广播变量，并将所述广播变量广播至各个工作节点；提取所述工作节点产生的新增数据的标识信息，确定所述新增数据的标识信息是否存在于所述广播变量中；响应于所述新增数据的标识信息存在于所述广播变量中，将对应的新增数据过滤到待处理弹性分布式数据集。

在本发明的一些实施例中，基于前述方案，基于第一数据表中多条数据的标识信息生成广播变量，包括：获取第一数据表中多条数据的标识信息；将各条数据的标识信息作为第一关键字，通过对所述第一关键字进行哈希运算生成与所述标识信息对应的位集BitSet；将所述BitSet作为初始数据生成广播变量。

在本发明的一些实施例中，基于前述方案，确定所述新增数据的标识信息是否存在于所述广播变量中，包括：将所述新增数据的标识信息作为第二关键字，对所述第二关键字进行所述哈希运算；基于所述哈希运算的结果判断所述第二关键字在所述BitSet中是否存在。

在本发明的一些实施例中，基于前述方案，所述数据过滤方法还包括：基于所述待处理弹性分布式数据集生成临时表，并将所述临时表与第二数据表进行连接查询。

在本发明的一些实施例中，基于前述方案，基于所述待处理弹性分布式数据集生成临时表，包括：创建子线程，通过所述子线程将所述待处理弹性分布式数据集转换成数据帧DataFrame；基于所述DataFrame生成临时表。

在本发明的一些实施例中，基于前述方案的数据过滤方法，所述第一数据表为报警规则表，所述标识信息为日期、IP地址以及报警类型。

在本发明的一些实施例中，基于前述方案的数据过滤方法，所述哈希运算为MurmurHash运算。