[发明专利]业务数据处理方法及装置

权利要求书

1.一种业务数据处理方法，其特征在于，包括：

获取业务在当前日的日志数据，并基于所述日志数据确定消息队列的base层数据以及Hbase维表数据；

将所述base层数据与所述Hbase维表数据进行关联计算，确定所述业务的日增量数据；所述日增量数据为以日为单位、每日增加的包含有base层数据与关联的Hbase维表数据两部分的日增量数据；

基于所述日增量数据与所述业务的历史数据，确定全量数据；

所述base层数据基于如下方式确定：

将日志数据经由数据抽取从一个kafka中取出，然后对取出的日志数据进行数据清洗以及数据转换，处理后得到的数据以数据加载的方式加载至另一kafka中，即可形成kafka的base层数据。

2.根据权利要求1所述的业务数据处理方法，其特征在于，所述将所述base层数据与所述Hbase维表数据进行关联计算，确定所述业务的日增量数据，具体包括：

基于flink流式计算框架，以所述base层数据作为流数据，结合所述Hbase维表数据进行关联计算，确定所述业务的日增量数据。

3.根据权利要求2所述的业务数据处理方法，其特征在于，所述基于flink流式计算框架，以所述base层数据作为流数据，结合所述Hbase维表数据进行关联计算，确定所述业务的日增量数据，具体包括：

基于flink流式计算框架，以所述base层数据作为流数据，结合所述Hbase维表数据进行关联计算，若判断获知关联计算失败，则将所述流数据与所述流数据的上游流数据合并，并将合并后的结果与所述Hbase维表数据进行关联计算，确定所述业务的日增量数据。

4.根据权利要求1-3中任一项所述的业务数据处理方法，其特征在于，所述Hbase维表数据基于如下方式确定：

基于所述日志数据，对Hbase维表进行更新，得到所述Hbase维表数据；所述Hbase维表基于所述业务的数据库数据进行初始化得到。

5.根据权利要求1-3中任一项所述的业务数据处理方法，其特征在于，所述基于所述日增量数据与所述业务的历史数据，确定全量数据，之后还包括：

将所述全量数据同步至clickhouse数据库中进行存储，并基于所述clickhouse数据库，对所述全量数据进行视图展示以及逻辑处理。

6.根据权利要求1-3中任一项所述的业务数据处理方法，其特征在于，所述基于所述日增量数据与所述业务的历史数据，确定全量数据，之后还包括：

基于超文本传输协议HTTP接口，将所述全量数据发送至目标设备。

7.一种业务数据处理装置，其特征在于，包括：

日志数据获取模块，用于获取业务在当前日的日志数据，并基于所述日志数据确定消息队列的base层数据以及Hbase维表数据；

日增量数据获取模块，用于将所述base层数据与所述Hbase维表数据进行关联计算，并确定所述业务的日增量数据；所述日增量数据为以日为单位、每日增加的包含有base层数据与关联的Hbase维表数据两部分的日增量数据；

全量数据确定模块，用于基于所述日增量数据与所述业务的历史数据，确定全量数据；

还包括：base层数据确定模块，用于：

将日志数据经由数据抽取从一个kafka中取出，然后对取出的日志数据进行数据清洗以及数据转换，处理后得到的数据以数据加载的方式加载至另一kafka中，即可形成kafka的base层数据。

8.根据权利要求7所述的业务数据处理装置，其特征在于，所述日增量数据获取模块，具体用于：

基于flink流式计算框架，以所述base层数据作为流数据，结合所述Hbase维表数据进行关联计算，确定所述业务的日增量数据。