[发明专利]数据处理方法、装置、设备及介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

读取消息中间件流式接收的至少一条数据变更消息；其中，每条所述数据变更消息携带对应的数据变更操作所属的事务信息；

根据与目标事务对应的所有数据变更消息的相关数据，加工匹配的数据宽表；

根据所述数据宽表，对下游存储系统进行数据同步。

2.根据权利要求1所述的方法，其特征在于，所述数据变更消息携带事务编号和事务消息总条数。

3.根据权利要求2所述的方法，其特征在于，在根据与目标事务对应的所有数据变更消息的相关数据，加工匹配的数据宽表之前，包括：

根据各条所述数据变更消息携带的事务编号和事务消息总条数，确定与所述目标事务对应的所有数据变更消息，并获取所述所有数据变更消息的相关数据。

4.根据权利要求3所述的方法，其特征在于，在根据与目标事务对应的所有数据变更消息的相关数据，加工匹配的数据宽表之前，还包括：

确定与在所述目标事务之前的所有其他事务对应的所有数据变更消息均已向所述下游存储系统同步。

5.根据权利要求3或4所述的方法，其特征在于，在所述读取消息中间件流式接收的至少一条数据变更消息之前，还包括：

在数据库中获取已提交的数据变更操作，并根据每个所述数据变更操作生成一条数据变更消息，流式发送至所述消息中间件中。

6.根据权利要求5所述的方法，其特征在于，在所述读取消息中间件流式接收的至少一条数据变更消息之后，还包括：

将所述至少一条数据变更消息的相关数据流式写入目标数据库。

7.根据权利要求6所述的方法，其特征在于，将所述至少一条数据变更消息流式写入目标数据库，包括：

在将所述至少一条数据变更消息的相关数据流式写入目标数据库时，将所述目标数据库中数据表在同构的基础上增加事务编号字段。

8.根据权利要求7所述的方法，其特征在于，在将所述至少一条数据变更消息的相关数据流式写入目标数据库之后，还包括：

将所述至少一条数据变更消息的消息特征流式写入与所述目标数据库对应的事务缓冲池；

其中，所述消息特征包括：事务编号、事务消息总条数、实体和消息主键。

9.根据权利要求8所述的方法，其特征在于，根据各条所述数据变更消息携带的事务编号和事务消息总条数，确定与所述目标事务对应的所有数据变更消息，并获取所述所有数据变更消息的相关数据，包括：

根据所述事务缓冲池中记录的所述数据变更消息的消息特征，确定与所述目标事务对应的所有数据变更消息；

根据所述数据变更消息的消息特征在所述目标数据库中读取所述所有数据变更消息的相关数据。

10.根据权利要求9所述的方法，其特征在于，所述消息特征还包括：时间戳和用于关联数据主表的根消息主键。

11.根据权利要求8所述的方法，其特征在于，在根据所述数据宽表，对下游存储系统进行数据同步之后，还包括：

将所述事务缓冲池中与所述目标事务对应的所有数据变更消息的消息特征删除。

12.根据权利要求11所述的方法，其特征在于，确定与在所述目标事务之前的所有其他事务对应的所有数据变更消息均已被同步至所述下游存储系统，包括：

若所述事务缓冲池记录的消息特征中不包括在所述目标事务之前的所有其他事务的事务编号，则确定与在所述目标事务之前的所有其他事务对应的所有数据变更消息均已向所述下游存储系统同步。