[发明专利]一种Spark平台中事件处理方法和装置在审
申请号: | 201811288881.6 | 申请日: | 2018-10-31 |
公开(公告)号: | CN109471741A | 公开(公告)日: | 2019-03-15 |
发明(设计)人: | 韩东亮;龚红祥 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F9/54 | 分类号: | G06F9/54 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 苏胜 |
地址: | 450000 河南省郑州市郑州高新*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种Spark平台中事件处理方法和装置,涉及数据处理技术领域,该方法包括:从消息队列中提取事件实体;将事件实体处理为结构化数据;将处理为结构化数据的事件实体发送至关联引擎;关联引擎将接收到的事件实体写入对应的事件类中,并根据关联规则对各事件类中的事件实体进行关联计算,输出复杂事件。本发明缓解了现有的实时计算框架Spark Steaming无法对数据流进行关联分析以从数据流中推断出新数据的技术问题。 | ||
搜索关键词: | 事件实体 方法和装置 结构化数据 数据流 关联引擎 事件处理 数据处理技术 复杂事件 关联分析 关联规则 实时计算 提取事件 消息队列 推断 写入 发送 关联 输出 缓解 | ||
【主权项】:
1.一种Spark平台中事件处理方法,其特征在于,应用于Spark Streaming节点,所述Spark Streaming节点中集成有关联引擎,包括:从消息队列中提取事件实体;将所述事件实体处理为结构化数据;将处理为结构化数据的事件实体发送至所述关联引擎;所述关联引擎将接收到的事件实体写入对应的事件类中,并根据关联规则对各事件类中的事件实体进行关联计算,输出复杂事件。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811288881.6/,转载请声明来源钻瓜专利网。