[发明专利]基于流计算的维表关联方法、装置、设备及可读存储介质

权利要求书

1.一种基于流计算的维表关联方法，其特征在于，所述方法包括：

根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树；

将所述语法树转换为可执行的分布式流处理代码；

根据所述分布式流处理代码逻辑执行维表关联操作，

其中，所述根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树包括：

根据业务表的流数据、维表数据源及维表关联逻辑通过预设优化规则进行SQL解析，将用户SQL解析为SQL语法树，将所述预设优化规则应用至所述SQL语法树，转移、合并、变换所述SQL语法树上维表关联的逻辑节点，生成优化的语法树。

2.根据权利要求1所述的方法，其特征在于，将所述语法树转化为可执行的分布式流处理代码，包括：

将所述语法树的SQL语句翻译成可执行的分布式流处理代码。

3.根据权利要求1所述的方法，其特征在于，根据所述分布式流处理代码逻辑执行维表关联操作，包括：

引入所述业务表的流数据，同时加载所述维表数据源的维表数据，根据所述分布式流处理代码逻辑执行维表关联操作。

4.根据权利要求3所述的方法，其特征在于，根据所述分布式流处理代码逻辑执行维表关联操作，包括：

根据关联语句，将所述业务表的流数据的每条数据与所述维表数据进行关联，如果命中则进行计算输出，如果未命中，则异步去所述维表数据源继续加载数据。

5.根据权利要求1至4任一项所述的方法，其特征在于，通过DB连接池从数据库拉取数据，再利用LRU式、ALL模式或NONE模式实现维表数据源的数据缓存，并将cache分区。

6.一种基于流计算的维表关联装置，其特征在于，包括：

语法解析模块，用于根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树；

语法树转换模块，用于将所述语法树转换为可执行的分布式流处理代码；

维表关联操作模块，用于根据所述分布式流处理代码逻辑执行维表关联操作，所述语法解析模块还用于：

根据业务表的流数据、维表数据源及维表关联逻辑通过预设优化规则进行SQL解析，将用户SQL解析为SQL语法树，将所述预设优化规则应用至所述SQL语法树，转移、合并、变换所述SQL语法树上维表关联的逻辑节点，生成优化的语法树。

7.根据权利要求6所述的装置，其特征在于，所述语法树转换模块用于：

将所述语法树的SQL语句翻译成可执行的分布式流处理代码。

8.根据权利要求6所述的装置，其特征在于，所述维表关联操作模块用于：

引入所述业务表的流数据，同时加载所述维表数据源的维表数据，根据所述分布式流处理代码逻辑执行维表关联操作。

9.根据权利要求8所述的装置，其特征在于，所述表关联操作模块用于：

根据关联语句，将所述业务表的流数据的每条数据与所述维表数据进行关联，如果命中则进行计算输出，如果未命中，则异步去所述维表数据源继续加载数据。

10.根据权利要求6至9任一项所述的装置，其特征在于，通过DB连接池从数据库拉取数据，再利用LRU式、ALL模式或NONE模式实现维表数据源的数据缓存，并将cache分区。

11.一种基于流计算的维表关联设备，其特征在于，包括：

处理器；

存储器，用于存储有所述处理器的可执行指令；

其中，所述处理器配置为经由所述可执行指令来执行权利要求1至5中任一项所述的基于流计算的维表关联方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于流计算的维表关联方法的步骤。