[发明专利]数据处理方法及装置，计算设备和介质

说明书

本公开提供了一种数据处理方法及装置，计算设备和介质，涉及大数据领域，尤其涉及数据拼接领域。实现方案为：获取第一数据流；在查询表中查询与所述第一数据流相对应的第二数据流在数据库中的存储信息，其中，所述数据库中存储有多个第二数据流，多个第二数据流包括至少一个有效的第二数据流，查询表中包括所述至少一个有效的第二数据流中的每一个第二数据流在所述数据库中的存储信息；以及响应于在查询表中查询到与所述第一数据流相对应的第二数据流的存储信息，基于所述存储信息，在所述数据库中确定用于与所述第一数据流执行拼接处理的第二数据流。

技术领域

本公开涉及大数据技术领域，尤其涉及数据拼接技术领域，具体涉及一种数据处理的方法、装置、计算设备、计算机可读存储介质和计算机程序产品。

背景技术

在大数据、机器学习等数据驱动的领域中，数据处理平台(框架)起到重要的作用，例如常见的Spark Streaming、Storm、Apache Flink等等开源数据处理框架广泛应用其中。从数据处理逻辑来看，数据处理可以分为单条数据流处理(例如，过滤、变换等等)、多条数据流处理(例如，聚合、拼接等等)两种。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种数据处理方法的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种数据处理方法，包括：获取第一数据流；在查询表中查询与第一数据流相对应的第二数据流在数据库中的存储信息，其中，数据库中存储有多个第二数据流，多个第二数据流包括至少一个有效的第二数据流，查询表中包括至少一个有效的第二数据流中的每一个第二数据流在数据库中的存储信息；以及响应于在查询表中查询到与第一数据流相对应的第二数据流的存储信息，基于存储信息，在数据库中确定用于与第一数据流执行拼接处理的第二数据流。

根据本公开的一方面，提供了一种数据处理装置，包括：获取单元，被配置用于获取第一数据流；查询单元，被配置用于在查询表中查询与第一数据流相对应的第二数据流在数据库中的存储信息，其中，数据库中存储有多个第二数据流，多个第二数据流包括至少一个有效的第二数据流，查询表中包括至少一个有效的第二数据流中的每一个第二数据流在数据库中的存储信息；以及第一确定单元，被配置用于响应于在查询表中查询到与第一数据流相对应的第二数据流的存储信息，基于存储信息，在数据库中确定用于与第一数据流执行拼接处理的第二数据流。

根据本公开的一方面，提供了一种计算设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的方法。

根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据上述的方法。

根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述的方法。

根据本公开的一个或多个实施例，可以避免无效的数据搜索，提升数据处理的效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。