[发明专利]一种动态规则更新方法、装置及存储介质有效
申请号: | 202010743874.1 | 申请日: | 2020-07-29 |
公开(公告)号: | CN112000350B | 公开(公告)日: | 2023-06-13 |
发明(设计)人: | 肖鹏 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F8/65 | 分类号: | G06F8/65;G06F8/41 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 450000 河南省郑州市郑州高*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 动态 规则 更新 方法 装置 存储 介质 | ||
1.一种动态规则更新方法,其特征在于,该方法应用于流处理框架中,所述方法包括:
读取提交到集群进行处理的第一作业的作业状态;所述第一作业使用第一扩展复杂事件处理CEP算子进行数据处理,所述第一扩展CEP算子包括由第一规则生成的第一非确定有限状态自动机NFA属性以及负责编译更新第一NFA属性的规则更新方法;
当第一作业进入运行状态后,在分布式应用协调组件中为第一作业建立第一监听节点,第一监听节点用于监听规则的更新;
当第一监听节点监听到第一规则更新时,使所述第一扩展CEP算子中的规则更新方法获知更新的规则信息,当第一扩展CEP算子获知所述更新的规则信息后,根据更新的规则信息从规则表中读取更新后的规则,重新编译生成新的第一NFA属性,将更新规则标识置位;
当所述更新规则标识被置位后,自动切换第一作业当前使用的第一NFA为新的第一NFA属性值。
2.根据权利要求1所述的方法,其特征在于,
当第一作业所使用的第一规则更新后,通过分布式应用协调组件提供的接口将更新的第一规则的信息写入所述第一监听节点,第一监听节点的变化触发规则更新事件,在规则更新事件中通过更新消息通知第一扩展CEP算子规则发生了更新,第一扩展CEP算子根据更新消息从第一监听节点中获取更新的第一规则的信息。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当第一作业所使用的第一规则更新后,通过分布式应用协调组件提供的接口将更新的第一规则的信息写入分布式应用协调组件中第一作业对应的第一监听节点,第一作业中的第一扩展CEP算子通过轮询的方式从第一监听节点中读取更新的第一规则的信息。
4.根据权利要求1所述的方法,其特征在于,
所述流处理框架为Flink;和/或
所述的分布式应用协调组件为Zookeeper、Redis、Kafka或消息队列MQ。
5.一种动态规则更新装置,其特征在于,该装置应用于流处理框架中,该装置包括:
作业提交模块,用于向大数据集群提交作业并建立监听模块;
监听模块,用于读取提交到集群进行处理的第一作业的作业状态;当第一作业进入运行状态后,还用于在分布式应用协调组件中为第一作业建立第一监听节点,第一监听节点用于监听规则的更新;当第一监听节点监听到第一规则更新时,还用于使第一扩展CEP算子中的规则更新方法获知更新的规则信息,以使其根据更新的规则信息重新编译生成新的第一NFA属性后指示第一作业切换NFA属性;
规则更新模块,用于更新第一作业所使用的第一规则,并通过分布式应用协调组件提供的接口将更新的第一规则的信息写入所述第一监听节点;
所述第一作业使用第一扩展CEP算子进行数据处理,所述第一扩展CEP算子包括由第一规则生成的第一非确定有限状态自动机NFA属性以及负责编译更新第一NFA属性的规则更新方法;
作业规则更新模块,用于维护所述第一扩展CEP算子,并为第一作业动态更新所使用的第一规则;
所述第一扩展CEP算子中还包括更新规则标识属性;当第一扩展CEP算子获知所述更新的规则信息后,根据更新的规则信息从规则表中读取更新后的规则,重新编译生成新的第一NFA属性,将所述更新规则标识置位;
当所述更新规则标识被置位后,所述作业规则更新模块还用于自动切换第一作业当前使用的第一NFA为新的第一NFA属性值。
6.根据权利要求5所述的装置,其特征在于,
当第一作业所使用的第一规则更新后,所述第一监听节点的变化触发所述监听模块的规则更新事件,在规则更新事件中所述监听模块通过更新消息通知第一扩展CEP算子规则发生了更新,第一扩展CEP算子根据更新消息从第一监听节点中获取更新的第一规则的信息。
7.根据权利要求5所述的装置,其特征在于,
当第一作业所使用的第一规则更新后,所述第一扩展CEP算子通过轮询的方式从第一监听节点中读取更新的第一规则的信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010743874.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:轻便集成型智能化过滤器组
- 下一篇:一种Kafka数据处理的方法和服务器