[发明专利]一种实时数据处理中维度关联的方法及系统

权利要求书

1.一种实时数据处理中维度关联的方法，其特征在于，所述方法包括：

待处理的维度表数据经过实时流处理系统；

实时流处理系统根据表数据的数据量大小选择直接缓存到本地或者缓存动态热数据；维度表数据根据数据量大小存储于不同类型的数据库中，当实际的维度表数据量大于设定的基础数据量时，为大表，选择使用Hbase数据库作为底层数据的存储；当实际的维度表数据量小于设定的基础数据量时，为小表，选择Mysql数据库作为底层数据的存储；当数据量为小表时，通过 Mysql数据库的A表、B表以及表之间的标记来保证服务在切换过程中的稳定性；当数据量为大表类型时，通过外置的数据交换任务进行底层数据的增量更新；

监听维度表数据是否发生变化，如数据发生变化，则触发更新；

输出更新后的维度表数据。

2.如权利要求1所述的实时数据处理中维度关联的方法，其特征在于，所述方法还包括：用户对维度表数据的更新是通过界面进行配置以调整表数据的相关信息。

3.如权利要求1所述的实时数据处理中维度关联的方法，其特征在于，通过心跳机制来触发判断维度表数据是否发生变化。

4.如权利要求2或3所述的实时数据处理中维度关联的方法，其特征在于，调整表数据的相关信息包括表类型、表名称、是否适用KV内存数据库。

5.如权利要求4所述的实时数据处理中维度关联的方法，其特征在于，在使用场景多的服务时，设置KV内存中间件。

6.如权利要求1所述的实时数据处理中维度关联的方法，其特征在于，待处理的维度表数据进入实时流处理系统时，先验证小表内存是否全部加载完成，并通过实时流计算的工作日志来定位判断数据记载是否异常。

7.一种实时数据处理中维度关联的系统，其特征在于，所述系统包括：实时流处理系统、监听模块及输出模块，其中，

所述实时流处理模块，将待处理的维度表数据，根据其数据量大小选择直接缓存到本地或者缓存动态热数据；维度表数据根据数据量大小存储于不同类型的数据库中，当实际的维度表数据量大于设定的基础数据量时，为大表，选择使用Hbase数据库作为底层数据的存储；当实际的维度表数据量小于设定的基础数据量时，为小表，选择Mysql数据库作为底层数据的存储；当数据量为小表时，通过 Mysql数据库的A表、B表以及表之间的标记来保证服务在切换过程中的稳定性；当数据量为大表类型时，通过外置的数据交换任务进行底层数据的增量更新；

监听模块，监听所述实时流处理系统中的维度表数据是否发生变化，如数据发生变化，则触发更新；

输出模块，在维度表信息更新后输出更新后的数据作为关联数据。

8.如权利要求7所述的实时数据处理中维度关联的系统，其特征在于，所述系统还包括：配置模块，用以通过界面进行配置调整实时流处理模块的维度信息。