[发明专利]数据处理方法、装置、设备及介质

说明书

本发明实施例公开了一种数据处理方法、装置、设备及介质，涉及自动程序设计技术领域。该方法包括：读取消息中间件流式接收的至少一条数据变更消息；其中，每条所述数据变更消息携带对应的数据变更操作所属的事务信息；根据与目标事务对应的所有数据变更消息的相关数据，加工匹配的数据宽表；根据所述数据宽表，对下游存储系统进行数据同步。上述技术方案以数据库变更操作所属的事务为粒度处理在数据库中捕获到的变更数据，使下游存储系统中不会出现数据部分更新部分未更新的情况，时刻保证了下游存储系统的数据一致性。

技术领域

本发明实施例涉及自动程序设计技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

在流式数据处理中，通常会使用CDC(Change Data Capture，变更数据捕获)从数据库中获取已提交的变更数据，并将这些变更数据发送到下游存储系统中，以供下游存储系统使用。

数据库中前后多条变更数据之间通常存在关联性，但由于现有技术中每条变更数据是单独发送到下游存储系统中的，故在这多条变更数据还未完全实现同步时下游存储系统中会出现数据部分更新部分未更新的情况，进而导致在某些时刻下游存储系统中会存在数据不一致的问题。

发明内容

本发明实施例提供一种数据处理方法、装置、设备及介质，以时刻保证下游存储系统的数据一致性。

第一方面，本发明实施例提供了一种数据处理方法，包括：

读取消息中间件流式接收的至少一条数据变更消息；其中，每条所述数据变更消息携带对应的数据变更操作所属的事务信息；

根据与目标事务对应的所有数据变更消息的相关数据，加工匹配的数据宽表；

根据所述数据宽表，对下游存储系统进行数据同步。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

数据变更消息读取模块，用于读取消息中间件流式接收的至少一条数据变更消息；其中，每条所述数据变更消息携带对应的数据变更操作所属的事务信息；

数据宽表加工模块，用于根据与目标事务对应的所有数据变更消息的相关数据，加工匹配的数据宽表；

数据同步模块，用于根据所述数据宽表，对下游存储系统进行数据同步。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的数据处理方法。

本发明实施例提供的技术方案，根据与目标事务对应的所有变更数据加工数据宽表，进而根据数据宽表对下游数据存储系统进行数据同步，也即以数据库变更操作所属的事务为粒度处理在数据库中捕获到的变更数据，使下游存储系统中不会出现数据部分更新部分未更新的情况，时刻保证了下游存储系统的数据一致性。

附图说明

图1是本发明实施例一中的一种数据处理方法的流程图；

图2是本发明实施例二中的一种数据处理方法的流程图；

图3是本发明实施例三中的一种数据处理装置的结构示意图；

图4是本发明实施例四中的一种计算机设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。