[发明专利]一种用于多数据源的流式数据处理方法及装置

说明书

一种用于多数据源的流式数据处理方法及装置，所述方法包括如下步骤：当数据到达传输管道的接入点时，获取所述数据包括的消息头和消息体，所述消息头包含所述消息体的特征信息，所述数据来自多个数据源中的任一数据源；在所述消息头的指示下对所述数据进行传输和处理，以将所述数据经由所述传输管道的出口点传输至目的点，所述目的点根据所述消息头确定；其中，所述数据在所述传输管道内的传输路径根据所述消息头或者消息体确定。通过本发明提供的技术方案能够基于同一传输管道来体系化的接入和处理不同数据源和/或数据结构的数据，极大地提高了对数据的处理效率。

技术领域

本发明涉及大数据处理领域，具体地涉及一种用于多数据源的流式数据处理方法及装置。

背景技术

在大数据领域，特别是在大数据分析过程中，数据的接入和数据的结构化是最为关键的两个部分。在实际应用中，用于分析的数据可能来源于多个数据源，并且基于不同数据源获得的数据的结构也可能存在差异，这就对大数据分析带来了很大的障碍。

在现有的大数据处理领域，对于数据接入方面的处理仍处于“各自为阵”的阶段，没有形成体系化的操作模式。在现阶段，大多数情况下，用户都是根据单一的业务逻辑进行高耦合的开发，从而处理和分析从单一数据源接入的数据。但是，这样的方案需要用户针对不同的数据源以及不同的数据结构分别制定对应的业务逻辑和处理规则，当需要的处理的数据的来源较多时，现有的方案无法满足用户高效、便捷的数据接入和处理需求，不利于提高数据处理的效率。

发明内容

本发明解决的技术问题是现有技术必须针对不同的数据源以及不同的数据结构分别制定对应的业务逻辑和处理规则，无法更好地提高数据处理效率的问题。

为解决上述技术问题，本发明实施例提供一种用于多数据源的流式数据处理方法，包括如下步骤：当数据到达传输管道的接入点时，获取所述数据包括的消息头和消息体，所述消息头包含所述消息体的特征信息，所述数据来自多个数据源中的任一数据源；在所述消息头的指示下对所述数据进行传输和处理，以将所述数据经由所述传输管道的出口点传输至目的点，所述目的点根据所述消息头确定；其中，所述数据在所述传输管道内的传输路径根据所述消息头或者消息体确定。

可选的，所述目的点包括：使用和/或存储所述数据的终端。

可选的，在所述消息头的指示下对所述数据进行传输和处理包括：根据所述消息体与预设标准的比较结果，确定所述数据在所述传输管道内的传输路径，以将符合所述预设标准的数据经由所述传输路径传输至所述出口点。

可选的，在所述消息头的指示下对所述数据进行传输和处理还包括：若所述消息体不符合所述预设标准，则将所述数据从所述传输管道中移除，或者将所述传输管道的出口点修正为错误数据传输管道的接入点。

可选的，在所述消息头的指示下对所述数据进行传输和处理包括：根据所述消息体确定所述目的点是否需要更改；若所述目的点需要更改，则根据更改后的目的点确定所述数据在所述传输管道内的传输路径，以将所述数据经由所述传输路径传输至所述出口点。

可选的，根据所述消息体确定所述目的点是否需要更改包括：根据所述消息体判断所述消息头是否需要更改；当判断结果表明所述消息头需要更改时，将所述消息头更改为与所述消息体相对应的消息头，并确定所述目的点需要更改。

可选的，在所述消息头的指示下对所述数据进行传输和处理包括：根据所述消息头确定所述数据在所述传输管道内的传输路径，以将所述数据经由所述传输路径传输至所述出口点。