[发明专利]基于流计算的维表关联方法、装置、设备及可读存储介质

说明书

本发明公开了一种基于流计算的维表关联方法、装置、设备及计算机可读存储介质，属于大数据技术领域。所述方法包括：根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树；将所述语法树转换为可执行的分布式流处理代码；根据所述分布式流处理代码逻辑执行维表关联操作。本发明提供的基于流计算的维表关联方案兼具高效性、良好性能、操作便捷性和实用性，可应用涉及维表关联的多种大数据应用场景。

技术领域

本发明涉及大数据技术领域，特别涉及一种基于流计算的维表关联方法、装置、设备及可读存储介质。

背景技术

流计算可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点，流计算作为一类针对流数据的实时计算模型，可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。流处理作为一种重要的大数据处理手段，其主要特点是其处理的数据是源源不断且实时到来的。分布式流处理是一种面向动态数据的细粒度处理模式，基于分布式内存，对不断产生的动态数据进行处理。其对数据处理的快速，高效，低延迟等特性，在大数据处理中发挥越来越重要的作用。

维表可以理解成业务表的辅助数据表，数据处理过程中常常需要业务数据关联维表，例如查看某个门店的库存就需要商品表关联门店表，在这个例子里，商品表就是业务表，门店表就是维表，同时维表数据具备会随时间缓慢变化的特性，如数据仓库数据每天更新一次，更新开张新的门店信息。

目前常规使用流计算处理业务表关联维表的做法是：编写代码，在流计算业务处理的逻辑代码中嵌入关联外部维表数据库的逻辑，每条数据处理时对外部数据库进行实时查询，再拼接业务表和维表数据并输出结果，这种做法需要大量代码开发，且关联维表性能和时效性不高，而实时维表关联在实时领域是一个通用的需求。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于流计算的维表关联方法、装置、设备及可读存储介质，解决了传统关联维表方式，代码开发繁琐，性能差的技术问题，提供了一种简单统一的解决方案，极大的减少了代码开发量，此外，还提高了关联维表的性能，将关联性能提升到毫秒级。

所述技术方案如下：

第一方面，提供了一种基于流计算的维表关联方法，其所述方法包括：根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树；将所述语法树转换为可执行的分布式流处理代码；根据所述分布式流处理代码逻辑执行维表关联操作。

进一步地，根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树，包括：根据业务表的流数据、维表数据源及维表关联逻辑通过预设优化规则进行SQL解析，转移、合并、变换SQL语法树上维表关联的逻辑节点，生成优化的SQL语法树。

进一步地，将所述语法树转化为可执行的分布式流处理代码，包括：将所述语法树的SQL语句翻译成可执行的分布式流处理代码。

进一步地，根据所述分布式流处理代码逻辑执行维表关联操作，包括：引入所述业务表的流数据，同时加载所述维表数据源的维表数据，根据所述分布式流处理代码逻辑执行维表关联操作。

进一步地，根据所述分布式流处理代码逻辑执行维表关联操作，包括：根据关联语句，将所述业务表的流数据的每条数据与所述维表数据进行关联，如果命中则进行计算输出，如果未命中，则异步去所述维表数据源继续加载数据。

进一步地，通过DB连接池从数据库拉取数据，再利用LRU式、ALL模式或NONE模式实现维表数据源的数据缓存，并将cache分区。