[发明专利]一种数据的过滤方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种数据的过滤方法、装置、电子设备及存储介质，该方法包括：获取待过滤的数据；利用预先训练好的过滤模型对所述数据进行过滤。而由于过滤模型是机器学习得到，因此，处理数据速度较快，并且准确率高，从而提高整体引擎的准确率及召回率，以更高效、更精准、更稳定的方法实现数据的过滤。

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据的过滤方法、装置、电子 设备及存储介质。

背景技术

随着互联网、社交网络、电子商务等的迅猛发展，每天新增的数据量迅猛 激增，数据平台的存储压力及查询性能压力也越来越大，其中HTTP协议在数据 总量中占据相当大的比重。

现有技术中，基本是依赖规则的词库检测机制，比如检测引擎内置的正则 或者采用多模匹配算法等进行HTTP协议信息的匹配。虽然能够将大部分无价值 HTTP数据过滤掉，但是依然存在一些问题，导致过滤效率较低。例如，词库维 护困难，为保证词库的有效性，需要不断的对大量数据进行分析；词库中词的 粒度大小容易导致过拟合或者欠拟合，比如规则写的太宽泛容易误杀，写的太 细容易绕过；基于规则的词库检测机制严重影响性能，尤其是词库量大时，极 大的影响了实时流式框架的处理速度，造成消息队列的积压。

发明内容

本发明提供一种数据的过滤方法、装置、电子设备及存储介质，实现对HTTP 协议数据的高效率过滤，大大减少了资源的开销，提升了实时处理性能和过滤 效率。

第一方面，本发明实施例提供了一种数据的过滤方法，包括：

获取待过滤的数据；

利用预先训练好的过滤模型对所述数据进行过滤。

第二方面，本发明实施例还提供了一种数据的过滤装置，包括：

数据获取模块，用于获取待过滤的数据；

数据过滤模块，用于利用预先训练好的过滤模型对所述数据进行过滤。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多 个处理器实现如本发明任意实施例所述的一种数据的过滤方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例 所述的一种数据的过滤方法。

本发明实施例的技术方案，通过获取待过滤的数据，并利用预先训练好的 过滤模型对所述数据进行过滤，而由于过滤模型是机器学习得到，因此，处理 数据速度较快，并且准确率高，从而提高整体引擎的准确率及召回率，以更高 效、更精准、更稳定的方法实现数据的过滤。

附图说明

图1是本发明实施例一中的一种数据的过滤方法的流程图。

图2是本发明实施例二中的一种数据的过滤方法的流程图。

图3是本发明实施例三中的一种数据的过滤装置的结构示意图。

图4是本发明实施例四中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。

实施例一