[发明专利]数据处理方法及其系统、电子设备和介质

说明书

本公开提供了一种用于数据库的数据处理方法，包括：针对接收到的由上游系统下发的流式增量实时数据，执行解析操作以获得第一待处理数据，第一待处理数据包括指定主键字段；从内存数据库中获取第一已处理数据，其中，第一已处理数据包括指定主键字段；通过比对第一待处理数据与第一已处理数据，确定是否存在第一有效待处理数据；在确定存在第一有效待处理数据的情况下，基于第一有效待处理数据，确定第一事务操作；以及执行第一事务操作，以获得第一更新内存数据库。本公开还提供了一种用于数据库的数据处理系统，电子设备和介质。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种用于数据库的数据处理方法、系统、电子设备和介质。

背景技术

随着互联网时代信息量的爆炸性增长，大数据处理技术的飞速发展，应运而生一类诸如实时交易数据、交通数据、气象数据、股票价格等具有“流”特点的实时数据，即流式数据，在对其进行处理加工后即可生成更具时效性的应用价值，在面对如今高度竞争、瞬息万变的市场环境时，为企业提升自身竞争力做出重要贡献。

流式实时数据加工广泛运用于需关联业务数据的复杂场景，通常，业务数据来源于多个渠道，且存储于关系型数据库中。为了提高处理效率，一般会复制一份业务数据到流式实时数据处理系统中供查询使用，并且需与上游系统业务数据实时保持一致。然而，流式系统中为保证数据高速读写采用的键值型数据库，与关系型数据库在结构上存在较大差异。通过主动采集日志的方式，将造成实时复制存在至少秒级的延时。

发明内容

有鉴于此，本公开提供了一种用于数据库的数据处理方法及其系统、电子设备和介质。

本公开的一个方面提供了一种用于数据库的数据处理方法，包括：针对接收到的由上游系统下发的流式增量实时数据，执行解析操作以获得第一待处理数据，上述第一待处理数据包括指定主键字段，从内存数据库中获取第一已处理数据，其中，上述第一已处理数据包括上述指定主键字段，通过比对上述第一待处理数据与上述第一已处理数据，确定是否存在第一有效待处理数据，在确定存在上述第一有效待处理数据的情况下，基于上述第一有效待处理数据，确定第一事务操作，以及执行上述第一事务操作，以获得第一更新内存数据库。

根据本公开的实施例，上述执行上述第一事务操作，以获得第一更新内存数据库包括：获取上述第一有效待处理数据的数据内容，检测上述数据内容中是否包含有第一版本号，在上述第一有效待处理数据中包含有上述第一版本号的情况下，从上述内存数据库中获取上述第一已处理数据的第二版本号，以及在上述第一版本号和上述第二版本号一致的情况下，执行上述第一事务操作，以获得第一更新内存数据库。

根据本公开的实施例，上述执行上述第一事务操作，以获得第一更新内存数据库还包括：在上述第一有效待处理数据中未包含有上述第一版本号的情况下，执行上述第一事务操作，以获得第一更新内存数据库。

根据本公开的实施例，上述方法还包括：针对接收到的上述上游系统下发的批量增量数据，执行解析操作以获得第二待处理数据，上述第二待处理数据包括上述指定主键字段，从上述内存数据库中获取第二已处理数据，上述第二已处理数据包括上述指定主键字段，通过比对上述第二待处理数据与上述第二已处理数据，确定是否存在第二有效待处理数据，在确定存在上述第二有效待处理数据的情况下，基于上述第二有效待处理数据，确定第二事务操作，以及执行上述第二事务操作，以获得第二更新内存数据库。

根据本公开的实施例，上述执行上述第二事务操作，以获得第二更新内存数据库包括：检测上述第一已处理数据是否与上述第二已处理数据一致，在上述第一已处理数据与上述第二已处理数据不一致的情况下，执行上述第二事务操作，以获得第二更新内存数据库。

根据本公开的实施例，上述通过比对上述第一待处理数据与上述第一已处理数据，确定是否存在第一有效待处理数据包括：获取与上述第一待处理数据对应的第一时间戳，获取与上述第一已处理数据对应的第二时间戳，比对上述第一时间戳和上述第二时间戳，以获得第一比对结果，以及根据上述第一比对结果，确定是否存在第一有效待处理数据。