[发明专利]数据处理方法、数据处理装置、存储介质及电子设备

权利要求书

1.一种数据处理方法，其特征在于，由数据仓库执行，所述方法包括：

获取针对所述数据仓库中一个或多个数据组的数据操作信息；

将满足数据同步条件的所述数据组的数据操作信息写入日志库，以使数据查询引擎通过获取所述日志库中的数据操作信息来更新所述数据查询引擎的缓存数据；

所述将满足数据同步条件的所述数据组的数据操作信息写入日志库，包括：

获取所述一个或多个数据组的同步属性参数；

将所述同步属性参数为预设值的所述数据组的数据操作信息写入所述日志库；所述同步属性参数为预设值表示所述数据组的信息需要同步至所述数据查询引擎；所述同步属性参数为非预设值表示所述数据组的信息不需要同步至所述数据查询引擎；

所述方法还包括：

获取针对所述同步属性参数的属性操作信息；

将所述属性操作信息写入所述日志库，以使所述数据查询引擎通过获取所述日志库中的所述属性操作信息来更新所述数据查询引擎中的数据同步状态；当所述数据仓库中的数据操作信息过滤机制发生异常时，所述日志库中存储有不满足所述数据同步条件的数据组的数据操作信息，由所述数据查询引擎根据各数据组的同步属性参数对所述数据操作信息进行过滤，或者由所述数据仓库与所述数据查询引擎进行两次过滤。

2.根据权利要求1所述的方法，其特征在于，所述同步属性参数设置在所述数据组中。

3.根据权利要求1所述的方法，其特征在于，所述属性操作信息包括：将所述同步属性参数从非预设值更改为预设值，或者将所述同步属性参数从预设值更改为非预设值。

4.根据权利要求1所述的方法，其特征在于，所述同步属性参数设置在所述数据组的表头信息中。

5.根据权利要求1所述的方法，其特征在于，所述将满足数据同步条件的所述数据组的数据操作信息写入日志库，包括：

将位于白名单上的所述数据组的数据操作信息写入所述日志库。

6.根据权利要求1所述的方法，其特征在于，所述获取针对数据仓库中一个或多个数据组的数据操作信息，包括：

从所述数据仓库的元数据存储组件中获取针对所述数据仓库中一个或多个数据组的所述数据操作信息。

7.根据权利要求1所述的方法，其特征在于，所述将满足数据同步条件的所述数据组的数据操作信息写入日志库，包括：

通过所述数据仓库中的日志写入线程，将满足数据同步条件的所述数据组的数据操作信息写入日志库。

8.根据权利要求1所述的方法，其特征在于，所述数据组包括一个或多个数据分区；

所述将满足数据同步条件的所述数据组的数据操作信息写入日志库，包括：

在满足数据同步条件的所述数据组中确定发生变化的数据分区；

将所述发生变化的数据分区的数据操作信息写入所述日志库。

9.根据权利要求8所述的方法，其特征在于，所述发生变化的数据分区的数据操作信息包括：数据组标识，操作类型，操作前的数据分区标识，操作后的数据分区标识。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述数据操作信息包括基于数据定义语言的数据操作信息。