[发明专利]生成实时计算逻辑数据的方法和装置在审
申请号: | 202010279967.3 | 申请日: | 2020-04-10 |
公开(公告)号: | CN113515285A | 公开(公告)日: | 2021-10-19 |
发明(设计)人: | 周默 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F8/41 | 分类号: | G06F8/41;G06F8/51;G06F16/242 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 冯培培;耿雪利 |
地址: | 100176 北京市北京经济技术*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 生成 实时 计算 逻辑 数据 方法 装置 | ||
1.一种生成实时计算逻辑数据的方法,其特征在于,包括:
利用语法分析器,将离线数据处理逻辑转化为抽象语法树;
对所述抽象语法树进行解析,生成与所述离线数据处理逻辑对应的第一任务集合;
对所述第一任务集合中的第一任务进行转化,生成第二任务集合;
根据所述第二任务集合中的第二任务,生成实时计算逻辑数据。
2.根据权利要求1所述的方法,其特征在于,利用语法分析器,将离线数据处理逻辑转化为抽象语法树之前,包括:
利用离线引擎,对所述离线数据处理逻辑进行语法校验,确定所述离线数据处理逻辑满足预设语法规范。
3.根据权利要求1所述的方法,其特征在于,对所述抽象语法树进行解析,生成与所述离线数据处理逻辑对应的第一任务集合,包括:
判断所述抽象语法树中是否存在与集合基本运算对应的关键词;其中,与集合基本运算对应的关键词包括:并集、交集或差集;
若是,则利用所述关键词对所述抽象语法树进行划分,将划分后的结果确定为第一任务;将所述第一任务组成的集合确定为第一任务集合。
4.根据权利要求1所述的方法,其特征在于,对所述抽象语法树进行解析,生成与所述离线数据处理逻辑对应的第一任务集合,包括:
判断所述抽象语法树中是否存在关联节点;
若存在关联节点,则将所述关联节点的子节点确定为第一任务;将所述第一任务组成的集合确定为第一任务集合。
5.根据权利要求4所述的方法,其特征在于,判断所述抽象语法树中是否存在关联节点之前,包括:
判断所述抽象语法树中是否存在子查询语法;
若是,则根据语义规则,将子查询语法对应的所述抽象语法树转换为包含关联节点的连接操作语法对应的抽象语法树。
6.根据权利要求1-5中任一所述的方法,其特征在于,对所述第一任务集合中的第一任务进行转换,生成第二任务集合,包括:
对所述第一任务集合中的第一任务按照所述实时计算逻辑数据对应的语言进行映射,生成第一中间任务;
对所述第一中间任务进行聚合原语映射,生成第二中间任务;
对所述第二中间任务进行过滤条件映射,生成第二任务集合。
7.根据权利要求6所述的方法,其特征在于,对所述第一任务集合中的第一任务按照所述实时计算逻辑数据对应的语言进行映射,生成第一中间任务,包括:
读取离线引擎表中的数据库模式定义语言信息;
读取消息队列中主体模式中的消息体提要;
根据所述数据库模式定义语言信息和所述消息体提要,建立实体关系映射表;
根据所述实体关系映射表,对所述第一任务集合中的第一任务按照所述实时计算逻辑数据对应的语言进行映射,生成第一中间任务。
8.根据权利要求6所述的方法,其特征在于,对所述第一中间任务进行聚合原语映射,生成第二中间任务,包括:
识别所述第一中间任务中的聚合节点;
在所述聚合节点中提取标识符节点对应的叶子节点;
确定所述叶子节点对应的聚合操作类型;
根据所述聚合操作类型,对所述第一中间任务进行聚合原语映射,生成第二中间任务。
9.根据权利要求8所述的方法,其特征在于,对所述第二中间任务进行过滤条件映射,生成第二任务集合,包括:
识别所述第二中间任务中的查询说明节点;
根据所述查询说明节点中的布尔表达式,识别查询条件对应的逻辑表达式;
将所述逻辑表达式映射在过滤器的原语函数中,生成第二任务集合。
10.根据权利要求1所述的方法,其特征在于,根据所述第二任务集合中的第二任务,生成实时计算逻辑数据之前,包括:
对所述第二任务进行框架代码的补全操作;
其中,所述补全操作,包括至少以下之一:创建消息数据源环境、创建数据流、补全Flink环境配置、补全任务执行函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010279967.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:陶瓷工件激光钻孔的方法
- 下一篇:加密读卡组件及其控制方法、电子装置