[发明专利]数据处理方法及装置、电子设备和计算机可读存储介质

说明书

本公开提供了一种数据处理方法及装置、电子设备和计算机可读存储介质，可用于大数据技术领域。该数据处理方法包括：将从第一数据列表中提取到的第一数据存储至键值存储区；将从第二数据列表中提取到的第二数据，与键值存储区中的第一数据进行比较；在键值存储区中包含与第二数据相同的第一数据的情况下，从键值存储区中删除与第二数据相同的第一数据；在键值存储区中不包含与第二数据相同的第一数据的情况下，将第二数据存储至键值存储区；根据从键值存储区中提取的数据生成变更列表。

技术领域

本公开涉及大数据技术领域，更具体地，涉及一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

随着业务的发展，业务数据的数据体量也越来越庞大，可能达到上亿数据量。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，在数据版本更新的过程中，需要在大数量级的数据中确定变更的数据，因数据量太大，现有的比较算法时间复杂度较高，耗时较长，计算资源耗费较大。

发明内容

鉴于上述问题，本公开提供了一种数据处理方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种数据处理方法，包括：

一种数据处理方法，包括：

将从第一数据列表中提取到的第一数据存储至键值存储区；

将从第二数据列表中提取到的第二数据，与键值存储区中的第一数据进行比较；

在键值存储区中包含与第二数据相同的第一数据的情况下，从键值存储区中删除与第二数据相同的第一数据；

在键值存储区中不包含与第二数据相同的第一数据的情况下，将第二数据存储至键值存储区；

根据从键值存储区中提取的数据生成变更列表。

根据本公开的实施例，上述方法还包括：

在将从第一数据列表中提取到的第一数据存储至键值存储区后，对存储至键值存储区的第一数据添加第一标识；

在将第二数据存储至键值存储区后，对存储至键值存储区的第二数据添加第二标识。

根据本公开的实施例，其中，从键值存储区中提取的数据包括：键值存储区中未被删除且被添加有第一标识的目标第一数据，以及在键值存储区中新增存储且被添加有第二标识的目标第二数据；

根据从键值存储区中提取的数据生成变更列表包括：

根据添加有第一标识的目标第一数据，生成删除列表；

根据添加有第二标识的目标第二数据，生成新增列表。

根据本公开的实施例，其中，第一数据列表包括多个，多个第一数据列表分别位于多个不同的预定存储节点中，第二数据列表包括多个，多个第二数据列表也分别位于多个不同的预定存储节点中，上述方法还包括：

利用预设算法，将第一原始数据列表中的数据分片存储至多个预定存储节点并形成多个第一数据列表、以及将第二原始数据列表中的数据分片存储至多个预定存储节点并形成多个第二数据列表，其中，在第一原始数据列表中的第一目标数据，和第二原始数据列表中的第二目标数据为相同的数据的情况下，第一目标数据和第二目标数据被存储至相同的预定存储节点。

根据本公开的实施例，其中，预设算法为哈希算法；利用预设算法，将第一原始数据列表中的数据分片存储至多个预定存储节点包括：

利用哈希算法，分别计算得到第一原始数据列表中的每个数据的哈希值；

分别将第一原始数据列表中的每个数据的哈希值，针对多个预定存储节点的总数量取余，得到第一原始数据列表中的每个数据对应的余数；