[发明专利]一种基于Flink流式引擎的CEP规则更新方法

说明书

本发明公开了一种基于Flink流式引擎的CEP规则更新方法，涉及CEP规则更新方法技术领域，包括以下步骤：每个任务从外部文件加载初始的规则，根据键值对保存在内存中，另外任务从外部消息引擎接入事件流，根据加载的规则进行分析；从外部缓存或者系统获取需要更新规则数据，然后进行广播，并与事件流进行结合。本发明中任务从外部消息引擎接入事件流，根据加载的规则进行分析，从外部缓存或者系统获取需要更新规则数据，然后进行广播，只需去规则库获取一次规则，同时把此更新规则转换成特殊标志的事件流，如果下游算子并行度只有一个，就生成一个事件，如果有多个，就生成多个相应事件，事件的类型字段改成规则类型，事件的编号改成规则的编号，其他相应字段也做更新。

技术领域

本发明涉及一种CEP规则更新方法，涉及CEP规则更新方法技术领域，具体涉及一种基于Flink流式引擎的CEP规则更新方法。

背景技术

数据流式引擎更新规则一般是从缓存中读取，并将规则生成流，然后跟事件流进行结合，在结合节点上进行替换原有规则，然后可用新规则进行分析，虽然是结合流，但是对两个流的事件还是要分开处理，另外，对于CEP库分析事件流无法直接进行分析，还需要增加额外的业务逻辑代码才能进行分析。针对现有技术存在以下问题：

1、现有的规则更新方法只能更新结合流的算子节点，无法更新结合流下游的算子节点；

2、现有的规则更新方法对于一般的规则更新是没问题，但是对于CEP规则的话，则需要进行业务代码重新改写。

发明内容

本发明提供一种基于Flink流式引擎的CEP规则更新方法，其中一种目的是为了具备更新下游算子节点的能力,解决只能更新流结合的算子节点的问题；其中另一种目的是为了解决CEP规则需要进行业务代码重新改写再更新的问题，以达到简化更新过程的效果。

为解决上述技术问题，本发明所采用的技术方案是：

其中一方面是一种基于Flink流式引擎的CEP规则更新方法，包括以下步骤：

步骤一：每个任务从外部文件加载初始的规则，根据键值对保存在内存中，另外任务从外部消息引擎接入事件流，根据加载的规则进行分析；

步骤二：从外部缓存或者系统获取需要更新规则数据，然后进行广播，并与事件流进行结合,每个任务在此算子节点获取结合流；

步骤三：根据更新规则的编号，与步骤二算子节点的键比对，如果一样，把此更新规则转换成特殊标志的事件流，如果此时有多个并发节点，需要根据规则进行拷贝多份规则事件，并设置不同的指定字段的值，然后往此任务的下游算子投递事件流；

步骤四：分析的算子节点根据特殊事件流的编号信息及版本信息，与此节点现有的规则进行比对，只有都一致情况，则更新此规则，并用新规则进行实时关联分析。

本发明技术方案的进一步改进在于：所述步骤一中初始的规则为含有规则编号的多个规则列表。

本发明技术方案的进一步改进在于：所述步骤三中规则流中根据更新规则的编号，与需要更新的算子节点的规则的键比较，如果比较结果不一致，则忽略此更新规则。

本发明技术方案的进一步改进在于：所述步骤三中规则流中根据更新规则的编号，与需要更新的算子节点的规则的键比较，如果比较结果一致，则把此更新规则转换成特殊标志的事件流，根据下游算子并行度，相应生成多个事件，事件的类型字段改成规则类型，事件的编号改成规则的编号，其他相应字段也做更新。

本发明技术方案的进一步改进在于：所述步骤三中往此任务的下游算子投递事件流时该事件流为含有特殊标志的事件流后，所述步骤四中下游算子根据事件类型和编号与算子中使用的规则比较，如果类型是规则类型，算子则更新现有规则，如果是事件类型，就用当前规则分析此事件。