[发明专利]生成实时计算逻辑数据的方法和装置

说明书

本发明公开了一种生成实时计算逻辑数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：利用语法分析器，将离线数据处理逻辑转化为抽象语法树；对所述抽象语法树进行解析，生成与所述离线数据处理逻辑对应的第一任务集合；对所述第一任务集合中的第一任务进行转化，生成第二任务集合；根据所述第二任务集合中的第二任务，生成实时计算逻辑数据。该实施方式解决了现有技术因离线引擎所采用的语法和实时计算引擎所采用的编写语法差异比较大，无法做到对全场景数据的处理、业务进行扩展存在的成本高的技术缺陷，进而达到提高生成实时计算逻辑数据效率的技术效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种生成实时计算逻辑数据的方法和装置。

背景技术

大数据处理技术包括离线数据处理和实时数据处理，通常离线数据处理基于离线引擎，而实时数据处理则是基于实时计算引擎，但是离线引擎与实时计算引擎所采用的编写语言不同。在现有技术中，对离线数据转化为实时数据的工作通常由数据库管理工程师负责。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.对于实时数据，很难做到快速的逻辑复用和业务扩展；

2.由于离线引擎所采用的语法和实时计算引擎所采用的编写语言差异比较大，很难做到相互转换，故现有技术无法做到对全场景数据的处理。

发明内容

有鉴于此，本发明实施例提供一种生成实时计算逻辑数据的方法和装置，能够解决现有技术因离线引擎所采用的语法和实时计算引擎所采用的编写语法差异比较大，无法做到对全场景数据的处理、业务进行扩展存在的成本高的技术缺陷，进而达到提高生成实时计算逻辑数据效率的技术效果。

为实现上述目的，根据本发明实施例的一个方面，提供了一种生成实时计算逻辑数据的方法，包括：

利用语法分析器，将离线数据处理逻辑转化为抽象语法树；

对所述抽象语法树进行解析，生成与所述离线数据处理逻辑对应的第一任务集合；

对所述第一任务集合中的第一任务进行转化，生成第二任务集合；

根据所述第二任务集合中的第二任务，生成实时计算逻辑数据。

可选地，利用语法分析器，将离线数据处理逻辑转化为抽象语法树之前，包括：

利用离线引擎，对所述离线数据处理逻辑进行语法校验，确定所述离线数据处理逻辑满足预设语法规范。

可选地，对所述抽象语法树进行解析，生成与所述离线数据处理逻辑对应的第一任务集合，包括：

判断所述抽象语法树中是否存在与集合基本运算对应的关键词；其中，与集合基本运算对应的关键词包括：并集、交集或差集；

若是，则利用所述关键词对所述抽象语法树进行划分，将划分后的结果确定为第一任务；将所述第一任务组成的集合确定为第一任务集合。

可选地，对所述抽象语法树进行解析，生成与所述离线数据处理逻辑对应的第一任务集合，包括：

判断所述抽象语法树中是否存在关联节点；

若存在关联节点，则将所述关联节点的子节点确定为第一任务；将所述第一任务组成的集合确定为第一任务集合。

可选地，判断所述抽象语法树中是否存在关联节点之前，包括：

判断所述抽象语法树中是否存在子查询语法；

若是，则根据语义规则，将子查询语法对应的所述抽象语法树转换为包含关联节点的连接操作语法对应的所述抽象语法树。

可选地，对所述第一任务集合中的第一任务进行转换，生成第二任务集合，包括：