[发明专利]一种Spark平台中事件处理方法和装置在审
申请号: | 201811288881.6 | 申请日: | 2018-10-31 |
公开(公告)号: | CN109471741A | 公开(公告)日: | 2019-03-15 |
发明(设计)人: | 韩东亮;龚红祥 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F9/54 | 分类号: | G06F9/54 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 苏胜 |
地址: | 450000 河南省郑州市郑州高新*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 事件实体 方法和装置 结构化数据 数据流 关联引擎 事件处理 数据处理技术 复杂事件 关联分析 关联规则 实时计算 提取事件 消息队列 推断 写入 发送 关联 输出 缓解 | ||
1.一种Spark平台中事件处理方法,其特征在于,应用于Spark Streaming节点,所述Spark Streaming节点中集成有关联引擎,包括:
从消息队列中提取事件实体;
将所述事件实体处理为结构化数据;
将处理为结构化数据的事件实体发送至所述关联引擎;
所述关联引擎将接收到的事件实体写入对应的事件类中,并根据关联规则对各事件类中的事件实体进行关联计算,输出复杂事件。
2.根据权利要求1所述的方法,其特征在于,所述关联引擎将接收到的事件实体写入对应的事件类中包括:
在各事件类中查找与所述接收到的事件实体相对应的事件类;
若查找到所述相对应的事件类,则将所述接收到的事件实体写入对应的事件类中;
若未查找到所述相对应的事件类,则创建新的事件类,并将所述接收到的事件实体写入所述新的事件类中。
3.根据权利要求2所述的方法,其特征在于,将所述处理为结构化数据的事件实体发送至所述关联引擎时,该方法还包括:
所述关联引擎按照第一预设规则对所述接收到的事件实体进行过滤,将过滤后的事件实体写入所述对应的事件类。
4.根据权利要求3所述的方法,其特征在于,该方法还包括:
所述关联引擎将过滤后事件实体送入事件窗口。
5.根据权利要求4所述的方法,其特征在于,所述关联引擎根据关联规则对各事件类中的事件实体进行关联计算,输出复杂事件包括:
所述关联引擎根据第二预设规则触发监听事件;
所述监听事件为针对触发时刻对应的事件窗口中包含的事件实体根据关联规则进行关联计算,输出复杂事件。
6.一种Spark平台中事件处理装置,其特征在于,设置于Spark Streaming节点,包括提取单元、数据转化单元、发送单元和关联引擎,其中:
所述提取单元,用于从消息队列中提取事件实体;
所述数据转化单元,用于将所述事件实体处理为结构化数据;
所述发送单元,用于将处理为结构化数据的事件实体发送至关联引擎;
所述关联引擎,用于将接收到的事件实体写入对应的事件类中,并根据关联规则对各事件类中的事件实体进行关联计算,输出复杂事件。
7.根据权利要求6所述的装置,其特征在于,所述关联引擎用于:
在各事件类中查找与所述接收到的事件实体相对应的事件类;
若查找到所述相对应的事件类,则将所述接收到的事件实体写入对应的事件类中;
若未查找到所述相对应的事件类,则创建新的事件类,并将所述接收到的事件实体写入所述新的事件类中。
8.根据权利要求6所述的装置,其特征在于,
所述关联引擎还用于,按照第一预设规则对所述接收到的事件实体进行过滤,将过滤后的事件实体写入所述对应的事件类。
9.根据权利要求6所述的装置,其特征在于,
所述关联引擎还用于,将过滤后事件实体送入事件窗口。
10.根据权利要求6所述的装置,其特征在于,
所述关联引擎还用于,根据第二预设规则触发监听事件;
所述监听事件为针对触发时刻对应的事件窗口中包含的事件实体根据关联规则进行关联计算,输出复杂事件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811288881.6/1.html,转载请声明来源钻瓜专利网。