[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取对关系型数据库的当前操作；

确定所述当前操作涉及的操作信息；

将所述操作信息缓存到消息队列中；

利用flume引擎从所述消息队列中实时获取所述操作信息，并将其传送至非关系型数据库中进行存储，

其中，所述确定所述当前操作涉及的操作信息，包括：

解析所述当前操作，确定所述当前操作对应的操作类型和/或数据源；

将所述操作类型和/或数据源封装成标准格式，

其中，所述非关系型数据库为kudu数据库，所述方法还包括：

在所述flume引擎中添加所述kudu数据库的操作API，用于解析封装成标准格式的所述操作类型和/或数据源，并将其同步至所述kudu数据库；

将所述flume引擎的数据终点配置为所述操作API，

所述获取对关系型数据库的当前操作包括：

响应于在所述关系型数据库中增加或删除完整性约束条件，获取所述当前操作。

2.根据权利要求1所述的数据处理方法，其特征在于，获取对关系型数据库的当前操作，包括：

响应于对所述关系型数据库的数据增加、数据修改和数据删除中的任意一个，获取所述当前操作。

3.根据权利要求1所述的数据处理方法，其特征在于，将所述操作信息缓存到消息队列中，包括：

将所述操作信息缓存到Kafka消息队列中。

4.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：

配置所述flume引擎，以将所述Kafka消息队列作为所述flume引擎的数据源。

5.一种数据处理装置，其特征在于，包括：

获取模块，被配置为获取对关系型数据库的当前操作；

确定模块，被配置为确定所述当前操作涉及的操作信息；

缓存模块，被配置为将所述操作信息缓存到消息队列中；

传送模块，被配置为利用flume引擎从所述消息队列中实时获取所述操作信息，并将其传送至非关系型数据库中进行存储，

其中，所述确定模块包括：

确定子模块，被配置为解析所述当前操作，确定所述当前操作对应的操作类型和/或数据源；

封装子模块，被配置为将所述操作类型和/或数据源封装成标准格式，

其中，所述非关系型数据库为kudu数据库，所述装置还包括：

第二配置模块，被配置为配置所述flume引擎，以将所述kudu数据库作为所述flume引擎的数据终点，所述第二配置模块包括：

添加子模块，被配置为在所述flume引擎中添加所述kudu数据库的操作API，用于解析封装成标准格式的所述操作类型和/或数据源，并将其同步至所述kudu数据库；

配置子模块，被配置为将所述flume引擎的数据终点配置为所述操作API，

所述获取对关系型数据库的当前操作包括：

响应于在所述关系型数据库中增加或删除完整性约束条件，获取所述当前操作。

6.根据权利要求5所述的数据处理装置，其特征在于，所述获取模块包括：

获取子模块，被配置为响应于对所述关系型数据库的数据增加、数据修改和数据删除中的任意一个，获取所述当前操作。

7.根据权利要求5所述的数据处理装置，其特征在于，所述缓存模块包括：

缓存子模块，被配置为将所述操作信息缓存到Kafka消息队列中。

8.根据权利要求7所述的数据处理装置，其特征在于，所述装置还包括：

第一配置模块，被配置为配置所述flume引擎，以将所述Kafka消息队列作为所述flume引擎的数据源。

9.一种电子设备，其特征在于，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-4任一项所述的方法步骤。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-4任一项所述的方法步骤。