[发明专利]数据处理方法及其系统、电子设备和介质

权利要求书

1.一种用于数据库的数据处理方法，包括：

针对接收到的由上游系统下发的流式增量实时数据，执行解析操作以获得第一待处理数据，所述第一待处理数据包括指定主键字段；

从内存数据库中获取第一已处理数据，其中，所述第一已处理数据包括所述指定主键字段；

通过比对所述第一待处理数据与所述第一已处理数据，确定是否存在第一有效待处理数据；

在确定存在所述第一有效待处理数据的情况下，基于所述第一有效待处理数据，确定第一事务操作；以及

执行所述第一事务操作，以获得第一更新内存数据库；

所述执行所述第一事务操作，以获得第一更新内存数据库包括：

获取所述第一有效待处理数据的数据内容；

检测所述数据内容中是否包含有第一版本号；

在所述第一有效待处理数据中包含有所述第一版本号的情况下，从所述内存数据库中获取所述第一已处理数据的第二版本号；以及

在所述第一版本号和所述第二版本号一致的情况下，执行所述第一事务操作，以获得第一更新内存数据库；

所述方法还包括：

针对接收到的所述上游系统下发的批量增量数据，执行解析操作以获得第二待处理数据，所述第二待处理数据包括所述指定主键字段；

从所述内存数据库中获取第二已处理数据，所述第二已处理数据包括所述指定主键字段；

通过比对所述第二待处理数据与所述第二已处理数据，确定是否存在第二有效待处理数据；

在确定存在所述第二有效待处理数据的情况下，基于所述第二有效待处理数据，确定第二事务操作；以及

执行所述第二事务操作，以获得第二更新内存数据库；

所述执行所述第二事务操作，以获得第二更新内存数据库包括：

检测所述第一已处理数据是否与所述第二已处理数据一致；以及

在所述第一已处理数据与所述第二已处理数据不一致的情况下，执行所述第二事务操作，以获得第二更新内存数据库。

2.根据权利要求1所述的方法，其中，所述执行所述第一事务操作，以获得第一更新内存数据库还包括：

在所述第一有效待处理数据中未包含有所述第一版本号的情况下，执行所述第一事务操作，以获得第一更新内存数据库。

3.根据权利要求1所述的方法，其中，所述通过比对所述第一待处理数据与所述第一已处理数据，确定是否存在第一有效待处理数据包括：

获取与所述第一待处理数据对应的第一时间戳；

获取与所述第一已处理数据对应的第二时间戳；

比对所述第一时间戳和所述第二时间戳，以获得第一比对结果；以及

根据所述第一比对结果，确定是否存在第一有效待处理数据。

4.根据权利要求3所述的方法，其中，所述根据所述第一比对结果，确定是否存在第一有效待处理数据包括：

在所述第一比对结果指示所述第一时间戳晚于所述第二时间戳的情况下，检测所述第一待处理数据是否与所述第一已处理数据一致；以及

在所述第一待处理数据与所述第一已处理数据不一致的情况下，确定存在所述第一有效待处理数据。

5.根据权利要求4所述的方法，其中，所述根据所述第一比对结果，确定是否存在第一有效待处理数据还包括：

在所述第一待处理数据与所述第一已处理数据一致的情况下，确定不存在所述第一有效待处理数据。

6.根据权利要求4所述的方法，其中，所述根据所述第一比对结果，确定是否存在第一有效待处理数据还包括：

在所述第一比对结果指示所述第一时间戳的时刻早于所述第二时间戳的时刻的情况下，确定不存在所述第一有效待处理数据。