[发明专利]数据处理方法、装置及电子设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

响应于监听到数据库中的第一数据宽表发生数据变动，查询与所述第一数据宽表相关的第二数据宽表，其中，所述第一数据宽表和第二数据宽表为将业务主体相关的指标、维度、属性关联在一起的数据宽表；

根据所述第一数据宽表和所述第二数据宽表的数据变动生成数据变动消息；

根据所述数据变动消息更新缓存中对应的聚合宽表，所述聚合宽表根据所述第一数据宽表和第二数据宽表聚合确定，包括以第一数据宽表为聚合维度得到的第一聚合宽表以及以第二数据宽表为聚合维度得到的第二聚合宽表。

2.根据权利要求1所述的方法，其特征在于，所述聚合宽表包括第一聚合宽表和第二聚合宽表；其中，所述第一聚合宽表的标识根据第一数据宽表的表ID确定，所述第二聚合宽表的标识根据所述第二数据宽表的表ID确定。

3.根据权利要求1所述的方法，其特征在于，根据所述数据变动消息更新缓存中对应的聚合宽表包括：

响应于接收到数据变动消息，采用多线程反查所述数据库，以确定所述数据变动消息的准确性；

响应于所述数据变动消息准确，根据所述数据变动消息更新缓存中对应的聚合宽表。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

初始化所述缓存中的数据。

5.根据权利要求4所述的方法，其特征在于，初始化所述缓存中的数据包括：

将数据库中的具有相关关系的至少两个数据宽表进行聚合，得到至少两个聚合宽表；

将各所述聚合宽表分别存储至所述缓存中的缓存单元中。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据第一预定时间段内的所述数据库的数据变化，定时刷新所述缓存中的数据。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

周期性查询第二预定时间段内的所述数据库和所述缓存中更新的数据；

响应于所述数据库中的数据和所述缓存中的数据不一致，对所述缓存中的数据进行修复。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

响应于所述数据库中的数据和所述缓存中的数据不一致，和/或所述缓存中具有缺失字段，发送告警消息。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过Canal监听数据库中的数据变动。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于数据查询请求，访问所述缓存执行查询操作。

11.根据权利要求10所述的方法，其特征在于，响应于数据查询请求，访问所述缓存执行查询操作包括：

响应于所述数据查询请求满足预定条件，访问所述缓存执行查询操作。

12.根据权利要求10所述的方法，其特征在于，所述方法还包括：

响应于所述数据查询请求不满足预定条件，或在所述缓存中未查询到所需数据，访问所述数据库执行查询操作。

13.根据权利要求11或12所述的方法，其特征在于，所述预定条件为所述数据查询请求所要查询的数据量小于阈值。