[发明专利]一种数据更新方法、装置、存储介质及电子设备

说明书

本说明书公开了一种数据更新方法、装置、存储介质及电子设备，本说明书实施例根据分布式系统接收第一数据宽表依赖的任一数据源发送的数据变更消息。在数据源依赖关系复杂、数据量大、实时更新多的情况下，通过所述数据变更消息确定主数据源中与所述发生变更的数据对应的数据作为待更新数据，并确定待更新数据的主键。在所述第一数据宽表依赖的各数据源中，获取与所述待更新数据的主键对应的数据，更新所述第一数据宽表，保证在关系复杂的数据源中快速的找到变更数据源所变更的数据，优先更新重要数据，用多个线程来加快更新的速度，并变更快速的更新到宽表中，有效提高数据的更新效率。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种数据更新方法、装置、存储介质及电子设备。

背景技术

随着互联网技术的不断发展，很多基于互联网的服务应运而生。

在搜索服务中，当数据量较大且有实时变更的情况下，将不同来源和存储类型的数据整合在宽表中，可以增加搜索引擎的搜索效率。

如何将所有数据源的数据变更快速的更新到宽表中，以及如何在关系复杂的数据源中快速的找到变更数据源所变更的数据，是所有数据更新系统需要面对的一个亟待解决的问题。

发明内容

本说明书实施例提供一种数据更新方法、装置、存储介质及电子设备，以部分解决上述现有技术存在的问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种数据更新方法，分布式系统用于维护第一数据宽表，所述第一数据宽表依赖于至少一个数据源，所述至少一个数据源包括主数据源和非主数据源，包括：

针对所述第一数据宽表依赖的任一数据源，所述分布式系统接收该数据源发送的数据变更消息，其中，所述数据变更消息是该数据源中的数据在发生变更时发送的；

根据所述数据变更消息，确定该数据源中发生变更的数据的主键；

根据所述发生变更的数据的主键，确定所述主数据源中与所述发生变更的数据对应的数据，作为待更新数据；

确定所述主数据源中所述待更新数据的主键；

在所述第一数据宽表依赖的各数据源中，获取与所述待更新数据的主键对应的数据；

根据所述待更新数据的主键以及获取到的数据，更新所述第一数据宽表。

可选地，所述分布式系统预先订阅所述至少一个数据源的数据变更消息；

所述分布式系统接收该数据源发送的数据变更消息，具体包括：

所述分布式系统接收订阅的该数据源发送的数据变更消息。

可选地，确定所述主数据源中与所述发生变更的数据对应的数据，具体包括：

在所述主数据源中，确定与所述发生变更的数据的主键具有关联关系的数据，作为所述主数据源中与所述发生变更的数据对应的数据。

可选地，在所述第一数据宽表依赖的各数据源中，获取与所述待更新数据的主键对应的数据，具体包括：

根据所述发生变更的数据所在的数据源的优先级，将所述待更新数据的主键加入到所述优先级的队列中；

针对各队列，根据该队列的优先级，在所述第一数据宽表依赖的各数据源中，获取该队列中的主键对应的数据。

可选地，将所述待更新数据的主键加入到所述优先级的队列中之前，所述方法还包括：

确定所述优先级的队列中不存在所述待更新数据的主键。

可选地，在所述第一数据宽表依赖的各数据源中，获取与所述待更新数据的主键对应的数据，具体包括：