[发明专利]基于大数据技术的实时与离线业务统一处理方法和装置

权利要求书

1.一种基于大数据技术的实时与离线业务统一处理方法，其特征在于，包括：

将实时采集的业务数据写入KAFKA集群；

基于实时业务需求和离线业务范围对所述KAFKA集群中的数据进行处理整合，得到所述实时业务的第一明细数据和所述离线业务范围对应的第二明细数据；

对所述第一明细数据进行所述实时业务对应的分析处理，所述第二明细数据用于后续所述离线业务于预设时刻进行对应的分析处理。

2.根据权利要求1所述的基于大数据技术的实时与离线业务统一处理方法，其特征在于，所述基于实时业务需求和离线业务范围对所述KAFKA集群中的数据进行处理整合，得到所述实时业务的第一明细数据和所述离线业务范围对应的第二明细数据，包括：

基于实时业务需求和离线业务范围确定数据处理整合后的属性维度；

基于所述属性维度对所述KAFKA集群中的数据进行抽取、转换和维度关联操作，得到处理整合后的明细数据；

从所述明细数据中筛选出所述实时业务对应的第一明细数据，且从所述明细数据中筛选出所述离线业务范围对应的第二明细数据。

3.根据权利要求2所述的基于大数据技术的实时与离线业务统一处理方法，其特征在于，基于所述属性维度确定所述抽取操作的抽取条件，基于所述属性维度确定所述转换操作中目标数据对应的关联数据的类型，所述维度关联操作用于生成关联整合后的数据的视图表。

4.根据权利要求3所述的基于大数据技术的实时与离线业务统一处理方法，其特征在于，所述基于所述属性维度对所述KAFKA集群中的数据进行抽取、转换和维度关联操作，得到处理整合后的明细数据，包括：

基于预设Web流式平台上人工编写的目标脚本语句控制Flink计算框架对所述KAFKA集群中的数据进行抽取、转换和维度关联处理，得到处理整合后的明细数据；

其中，所述目标脚本语句为包括所述抽取、转换和维度关联处理的指令的SQL语句，其被所述预设Web流式平台打包上传至所述Flink计算框架，以供所述Flink计算框架转换成Flink语句执行。

5.根据权利要求4所述的基于大数据技术的实时与离线业务统一处理方法，其特征在于，所述预设Web流式平台包括预先绑定并关联的KAFKA集群中的主题数据，以及预先封装的功能模块；

对应地，所述目标脚本语句人工编写的过程，包括：

在基于所述主题数据和所述功能模块形成的处理模版语句上进行人工配置，得到目标脚本语句。

6.根据权利要求2-5中任一项所述的基于大数据技术的实时与离线业务统一处理方法，其特征在于，所述从所述明细数据中筛选出所述实时业务对应的第一明细数据，包括：

从所述明细数据中筛选出所述实时业务对应的第一明细数据；

创建KAFKA实时明细宽表，将所述第一明细数据导入所述KAFKA实时明细宽表，以供后续进行所述实时业务的分析处理。

7.根据权利要求2-5中任一项所述的基于大数据技术的实时与离线业务统一处理方法，其特征在于，所述从所述明细数据中筛选出所述离线业务范围对应的第二明细数据，包括：

从所述明细数据中筛选出所述离线业务范围对应的第二明细数据；

创建离线实时明细宽表，将所述第二明细数据导入所述离线实时明细宽表，以供后续进行所述离线业务的分析处理；

其中，所述离线实时明细宽表为HIVE实时明细宽表或HDFS实时明细宽表。

8.一种基于大数据技术的实时与离线业务统一处理装置，其特征在于，包括：

写入单元，用于将实时采集的业务数据写入KAFKA集群；

统一整合单元，用于基于实时业务需求和离线业务范围对所述KAFKA集群中的数据进行处理整合，得到所述实时业务的第一明细数据和所述离线业务范围对应的第二明细数据；

分支单元，用于对所述第一明细数据进行所述实时业务对应的分析处理，所述第二明细数据用于后续所述离线业务于预设时刻进行对应的分析处理。