[发明专利]基于CEP技术的RTLogic大数据处理系统及方法

说明书

技术领域

本发明涉及数据处理技术领域，具体地说是一种基于CEP技术的 RTLogic(Real Time Logic，实时逻辑)大数据处理系统及方法。

背景技术

随着中国互联网规模的不断扩大，特别是移动互联网的这几年 的迅猛发展，政府企业的信息化等等企业产生了海量的数据。2011 年大数据得到我国政府和IT行业的重视，称之为大数据市场的元 年。越来越多的企业意识到，如何利用这些海量的数据，将看似杂 乱的数据经过处理转化为企业有价值的东西，是大数据时代企业在 市场的竞争中保持优势的关键。

现有的大数据处理技术主要有Hadoop处理方法，Hadoop处理方 法是采用MapReduce技术，在传统的数据分析方法的基础上针对大 数据创立的一种方法，是基于批量处理的，但是Hadoop处理方法主 要是针对历史数据的，它存在以下几点不足：

(1)Hadoop处理方法无法对事件之间进行关联，匹配处理，也 就是说，Hadoop处理方法无法对复杂事件进行处理；

(2)Hadoop处理方法受设计和实现的局限，只能处理历史数据， 无法满足某些行业实时业务处理需求；

(3)Hadoop处理方法采用分布式计算方法处理海量数据，却实 现不了某些业务对时间滑动窗口的处理要求；

(4)Hadoop处理方法没有实时大数据的可视化技术，无法给用 户直观动态图像显示；

(5)Hadoop处理方法无法集成R语言，以便数据的数理统计。

RTLogic(Real Time Logic，实时逻辑)技术正是能够做到大数 据商业智能(business intelligence)的目标，能够满足对大数据 进行实时处理的要求。

发明内容

针对现有技术的不足，本发明提供了一种基于CEP技术的 RTLogic大数据处理系统及方法，它能够满足对大数据进行实时处 理的要求。

本发明解决其技术问题采取的技术方案是：一种基于CEP技 术的RTLogic大数据处理系统，其特征是，包括用户编辑器、数 据采集适配器、核心处理系统和输出适配器，所述的用户编辑器、 数据采集适配器和输出适配器分别与核心处理系统相连，所述用 户编辑器用于编辑商业智能逻辑来定义查询目标，所述数据采集 适配器用以根据查询目标从数据源采集数据并发送给核心处理系 统，所述核心处理系统用以对采集的数据进行分析处理，所述输 出适配器用以将核心处理系统分析处理后的数据发送给监视器进 行显示；所述核心处理系统包括CEP引擎、python适配器、R适 配器和CQL适配器，所述CEP引擎用以对数据采集适配器采集的 数据进行分析处理，并将分析处理后的数据发送给输出适配器； 所述的python适配器、R适配器和CQL适配器分别与用户编辑器 相连。

优选地，所述用户编辑器支持python语言和R语言，能够满 足对策略的方便导入。

优选地，所述数据采集适配器支持JMS、TibcoRV、EMS、SNMP、 Socket、SMTP、RSS和HTTP数据源。

优选地，所述核心处理系统还包括规则引擎，所述规则引擎 用以将CEP引擎分析处理后的数据作进一步处理后发送给输出适 配器。

优选地，所述CEP引擎包括事件产生器、处理器、通道合成 器和事件消费者，用以实现模式匹配。

本发明还提供了一种基于CEP技术的RTLogic大数据处理方 法，其特征是，包括以下步骤：

通过用户编辑器定义查询目标；

数据采集适配器采集数据并将采集到的数据转化为可识别事 件对象后发送给核心处理系统；

核心处理系统对采集的数据进行分析处理，并将分析处理后 的数据发送给输出适配器；

输出适配器将分析处理后的数据发送给监视器进行显示。

优选地，上述方法中所述用户编辑器采用python语言或R语 言通过CQL编辑商业智能逻辑来定义查询目标。

优选地，上述方法中所述数据采集适配器采集数据的数据源 包括JMS、TibcoRV、EMS、SNMP、Socket、SMTP、RSS和HTTP数 据源。

优选地，上述方法中所述核心处理系统根据查询目标对事件流 进行实时有效地分析和处理。