[发明专利]业务数据处理方法及装置

说明书

本发明实施例提供一种业务数据处理方法及装置，通过获取业务的日志数据，并根据日志数据确定消息队列的base层数据以及Hbase维表数据，将base层数据与Hbase维表数据进行关联计算，确定业务实时的日增量数据，最后根据日增量数据与业务的历史数据，确定业务的全量数据。该全量数据包含有实时的日增量数据与离线的历史数据，使得BI分析平台在利用该全量数据时既可以考虑历史数据又可以考虑实时数据，可以保证BI分析平台分析计算的结果满足客户对实时性的要求，提高用户体验感。

技术领域

本发明涉及房产大数据分析技术领域，尤其涉及一种业务数据处理方法及装置。

背景技术

目前，在房产、金融等众多领域均需要交易单数据等业务数据进行分析计算，以得到所需信息。现有技术中通常通过商务智能(Business Intelligence，BI)分析平台实现业务数据的分析计算，但是BI分析平台使用的业务数据通常基于离线数仓得到，而离线数仓内的数据均为历史数据，使得BI分析平台无法获得实时数据，进而可能导致分析计算的结果无法满足客户对实时性的要求。

发明内容

本发明实施例提供一种业务数据处理方法及装置，用以解决现有技术中存在的缺陷。

本发明实施例提供一种业务数据处理方法，包括：

获取业务在当前日的日志数据，并基于所述日志数据确定消息队列的base层数据以及Hbase维表数据；

将所述base层数据与所述Hbase维表数据进行关联计算，确定所述业务的日增量数据；

基于所述日增量数据与所述业务的历史数据，确定全量数据。

根据本发明一个实施例的业务数据处理方法，所述将所述base层数据与所述Hbase维表数据进行关联计算，确定所述业务的日增量数据，具体包括：

基于flink流式计算框架，以所述base层数据作为流数据，结合所述Hbase维表数据进行关联计算，确定所述业务的日增量数据。

根据本发明一个实施例的业务数据处理方法，所述基于flink流式计算框架，以所述base层数据作为流数据，结合所述Hbase维表数据进行关联计算，确定所述业务的日增量数据，具体包括：

基于flink流式计算框架，以所述base层数据作为流数据，结合所述Hbase维表数据进行关联计算，若判断获知关联计算失败，则将所述流数据与所述流数据的上游流数据合并，并将合并后的结果与所述Hbase维表数据进行关联计算，确定所述业务的日增量数据。

根据本发明一个实施例的业务数据处理方法，所述base层数据基于如下方式确定：

对所述日志数据进行清洗及转换，得到所述base层数据。

根据本发明一个实施例的业务数据处理方法，所述Hbase维表数据基于如下方式确定：

基于所述日志数据，对Hbase维表进行更新，得到所述Hbase维表数据；所述Hbase维表基于所述业务的数据库数据进行初始化得到。

根据本发明一个实施例的业务数据处理方法，所述基于所述日增量数据与所述业务的历史数据，确定全量数据，之后还包括：

将所述全量数据同步至clickhouse数据库中进行存储，并基于所述clickhouse数据库，对所述全量数据进行视图展示以及逻辑处理。

根据本发明一个实施例的业务数据处理方法，所述基于所述日增量数据与所述业务的历史数据，确定全量数据，之后还包括：

基于超文本传输协议HTTP接口，将所述全量数据发送至目标设备。