[发明专利]一种Spark平台中事件处理方法和装置

说明书

本发明提供了一种Spark平台中事件处理方法和装置，涉及数据处理技术领域，该方法包括：从消息队列中提取事件实体；将事件实体处理为结构化数据；将处理为结构化数据的事件实体发送至关联引擎；关联引擎将接收到的事件实体写入对应的事件类中，并根据关联规则对各事件类中的事件实体进行关联计算，输出复杂事件。本发明缓解了现有的实时计算框架Spark Steaming无法对数据流进行关联分析以从数据流中推断出新数据的技术问题。

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种Spark平台中事件处理方法和装置。

背景技术

实时计算框架Spark Steaming是Spark API(Application ProgrammingInterface，应用程序编程接口)的一个扩展。实时计算框架Spark Steaming 不能像流式处理框架Storm一样事件来一条处理一条。实时计算框架Spark Streaming将流式计算分解成一系列短小的批处理作业，处理的引擎是Spark Core。Spark Core将实时计算框架SparkStreaming的输入数据按照批尺寸batch size生成一个个离散数据流(DStream，Discretized Stream)。

但是，在现有技术中，实时计算框架Spark Steaming无法从离散数据流DStream中获得更多有价值的事件。获得更多有价值的事件是指找到离散数据流DStream中事件之间的关系，进而根据该关系推断新的数据。

随着大数据时代的到来，数据处理不仅仅是对数据进行简单的分析、存储等操作，从大量的数据流中提取更多有价值的数据显得尤为重要。

发明内容

有鉴于此，本发明的目的在于提供一种Spark平台中事件处理方法和装置，以缓解了现有的实时计算框架Spark Steaming无法对数据流进行关联分析以从数据流中推断出新数据的技术问题。

第一方面，本发明实施例提供了一种Spark平台中事件处理方法，应用于SparkStreaming节点，所述Spark Streaming节点中集成有关联引擎，包括：从消息队列中提取事件实体；将所述事件实体处理为结构化数据；将处理为结构化数据的事件实体发送至所述关联引擎；所述关联引擎将接收到的事件实体写入对应的事件类中，并根据关联规则对各事件类中的事件实体进行关联计算，输出复杂事件。

进一步地，所述关联引擎将接收到的事件实体写入对应的事件类中包括：在各事件类中查找与所述接收到的事件实体相对应的事件类；若查找到所述相对应的事件类，则将所述接收到的事件实体写入对应的事件类中；若未查找到所述相对应的事件类，则创建新的事件类，并将所述接收到的事件实体写入所述新的事件类中。

进一步地，将所述处理为结构化数据的事件实体发送至所述关联引擎时，该方法还包括：所述关联引擎按照第一预设规则对所述接收到的事件实体进行过滤，将过滤后的事件实体写入所述对应的事件类。

进一步地，该方法还包括：所述关联引擎将过滤后事件实体送入事件窗口。

进一步地，所述关联引擎根据关联规则对各事件类中的事件实体进行关联计算，输出复杂事件包括：所述关联引擎根据第二预设规则触发监听事件；所述监听事件为针对触发时刻对应的事件窗口中包含的事件实体根据关联规则进行关联计算，输出复杂事件。

第二方面，本发明实施例提供了一种Spark平台中事件处理装置，设置于SparkStreaming节点，包括提取单元、数据转化单元、发送单元和关联引擎，其中：所述提取单元，用于从消息队列中提取事件实体；所述数据转化单元，用于将所述事件实体处理为结构化数据；所述发送单元，用于将处理为结构化数据的事件实体发送至所述关联引擎；所述关联引擎，用于将接收到的事件实体写入对应的事件类中，并根据关联规则对各事件类中的事件实体进行关联计算，输出复杂事件。