[发明专利]基于实时流计算分析的特征提取系统及方法

权利要求书

1.一种基于实时流计算分析的特征提取系统，其特征在于：

至少包括：

DSL解析层，被配置为：获取待分析事件流的多个特征，确定特征间的依赖关系，根据依赖关系进行特征的深度分组，根据深度分组结果得到特征提取的执行计划；

执行层，被配置为：按照深度由大到小依次计算各个深度分组中的所有特征，进行实时流计算，得到特征提取结果。

2.如权利要求1所述的基于实时流计算分析的特征提取系统，其特征在于：

还包括：状态存储层；

所述状态存储层，被配置为：使用Apache Ignite或者Redis Cluster分布式内存数据库进行状态管理。

3.如权利要求2所述的基于实时流计算分析的特征提取系统，其特征在于：

结合消息中间件对流数据的分区功能，进行特征提取引擎的集群。

4.如权利要求1所述的基于实时流计算分析的特征提取系统，其特征在于：

DSL解析层，包括：Source输入流、Sink输出流、Field字段、Operator算子、Function函数、Macro宏以及Mode操作模式。

5.如权利要求4所述的基于实时流计算分析的特征提取系统，其特征在于：

Source输入流定义事件的输入流，终端上报数据到消息队列，实时流计算特征提取引擎将消息队列作为事件的输入流。

6.如权利要求4所述的基于实时流计算分析的特征提取系统，其特征在于：

Sink输出流定义事件的输出流，与输入源对应，当特征提取引擎对事件提取完成以后，将特征追加到事件上，再将附加了特征的事件输出到消息队列中。

7.如权利要求4所述的基于实时流计算分析的特征提取系统，其特征在于：

Field字段为参与特征提取的JSON串，当原始事件中的名字与预想不一致，通过Field字段映射功能设定特征引擎感兴趣的字段与原始事件之间的对应关系。

8.如权利要求1所述的基于实时流计算分析的特征提取系统，其特征在于：

DSL解析层中，如果同一个特征在不同的树中有不同的深度，将特征的深度设置为最大的那个深度值。

9.如权利要求1所述的基于实时流计算分析的特征提取系统，其特征在于：

DSL解析层中，将所有这些树中的特征按照对应节点在各自树中的深度分组，每个组有若干特征的执行计划。

10.一种基于实时流计算分析的特征提取方法，其特征在于：

包括以下过程：

获取待分析的多个特征，根据获取的子特征确定特征间的依赖关系，根据依赖关系进行特征的深度分组，根据深度分组结果得到特征提取的执行计划；

按照深度由大到小依次计算各个深度分组中的所有特征，进行实时流计算，得到特征提取结果；

使用Apache Ignite或者Redis Cluster分布式内存数据库进行状态管理。