[发明专利]数据处理方法、装置、电子设备和计算机可读存储介质

说明书

本公开公开了一种数据处理方法、装置、电子设备和计算机可读存储介质。其中所述数据处理方法包括：将第一数据存储在主模块；将第二数据存储在至少一个从模块；使所述主模块根据所述至少一个从模块的订阅消息向所述至少一个从模块发送数据变更消息，所述数据变更消息指示所述第一数据中所述订阅消息对应的数据发生变更。在本公开实施例提供的数据处理方法、装置、电子设备和计算机可读存储介质中，主模块和从模块分别存储各自的数据，并且主模块可以根据从模块的订阅信息将数据变更消息发送给从模块，通过上述主模块和从模块之间的协作能够提高处理数据的效率。

技术领域

本公开涉及数据处理领域，尤其涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着计算机技术的进步和信息时代的来临，人们需要处理越来越多的数据，这对数据关于处理速度和存储容量的要求越来越高，因此分布式系统凭借强大的性能得到广泛应用。

现有技术中分布式系统的常见形式包括通过多个子系统分别支撑特定的业务，例如分布式系统的每个子系统各自存储特定业务的数据，从而可以针对各自的特定业务及其数据的特点对子系统进行优化，以获得高性能。但是，业务之间并非全无联系，当一个业务需要基于多个其他特定的业务的数据来完成时，需要对分布式系统的多个子系统进行访问，如果其中的一个子系统出现问题(例如系统停机，系统中存储数据错误等)，将会导致上述一个业务出错或无法执行，造成执行的低效率。

发明内容

在本公开实施例提供数据处理方法，装置，电子设备，和计算机可读存储介质中，主模块和从模块分别存储各自的数据，并且主模块可以根据从模块的订阅信息将数据变更消息发送给从模块，通过上述主模块和从模块之间的协作能够提高处理数据的效率。

第一方面，本公开实施例提供一种数据处理方法，包括：将第一数据存储在主模块；将第二数据存储在至少一个从模块；使所述主模块根据所述至少一个从模块的订阅消息向所述至少一个从模块发送数据变更消息，所述数据变更消息指示所述第一数据中所述订阅消息对应的数据发生变更。

进一步的，所述方法还包括：响应于满足第一预设条件，使所述至少一个从模块将所述第二数据或者所述第二数据中的部分数据存储到所述主模块。

进一步的，所述第一预设条件包括如下预设条件中的一个或者多个：第一时间段内所述第二数据或者所述第二数据中的部分数据被调用的次数达到第一预设次数；第二时间段内所述第二数据或者所述第二数据中的部分数据未发生变更或者发生变更的次数小于第二预设次数；所述第二数据或者所述第二数据中的部分数据被标记为第一类数据。

进一步的，所述方法还包括：响应于满足第二预设条件，使所述主模块将所述第一数据或者所述第一数据中的部分数据存储到所述至少一个从模块。

进一步的，所述第二预设条件包括如下预设条件中的一个或者多个：第三时间段内所述第一数据或者所述第一数据中的部分数据被调用的次数小于第三预设次数；第四时间段内所述第一数据或者所述第一数据中的部分数据发生变更或者发生变更的次数达到第四预设次数；所述第一数据或者所述第一数据中的部分数据被标记为第二类数据。

进一步的，所述订阅消息指示以下至少一项：与所述订阅消息对应的数据的名称，标识和类型。

进一步的，使所述主模块根据所述至少一个从模块的订阅消息向所述至少一个从模块发送数据变更消息，包括：响应于数据变更日志中存在所述订阅消息对应的所述数据发生变更的记录，使所述主模块向所述至少一个从模块发送所述数据变更消息。

进一步的，所述主模块的数据处理能力强于所述至少一个从模块的数据处理能力。

进一步的，所述第一数据包括多个类型的数据，存储于同一个所述从模块中的所述第二数据属于同一个类型。