[发明专利]分布式系统的数据处理方法和分布式系统

说明书

本发明提供一种分布式系统的数据处理方法和分布式系统。该分布式系统包括调度平台、热数据存储节点和冷数据存储节点。该方法包括多次执行的以下操作：调度平台将接收到的数据存入热数据存储节点；当调度平台监控到热数据存储节点中的数据持续预设时间间隔未被访问的情况下，调度平台将该数据从热数据存储节点转存至冷数据存储节点；调度平台根据接收到的目标数据访问请求，在热数据存储节点中访问目标数据，若热数据存储节点中无目标数据，则在冷数据存储节点中访问目标数据。

技术领域

本发明涉及计算机及软件技术领域，特别地涉及一种分布式系统的数据处理方法和分布式系统。

背景技术

分布式数据库按有没有中心节点，可以分为有中心节点和没有中心节点。对于没有中心节点的情况，各节点的计算机配置基本相同，采用负载均衡算法为各节点分配任务。

随着计算机发展，如今数据呈爆发式增长，有些数据经常被访问，例如近期的新闻或者微博等，称作热数据，导致存储热数据的节点负荷过大。有些数据很少被访问，例如过时的新闻或者微博等。

如果采用传统的无中心节点的分布式数据库，会存在存储和读取效率低、资源配置不合理的问题。

发明内容

有鉴于此，本发明提供一种分布式系统的数据处理方法和分布式系统，有助于提高数据处理效率，并优化资源配置。

为此，本发明第一方面提出一种分布式系统的数据处理方法，所述分布式系统包括调度平台、热数据存储节点和冷数据存储节点，所述方法包括多次执行的以下操作：所述调度平台将接收到的数据存入所述热数据存储节点；当所述调度平台监控到所述热数据存储节点中的数据持续预设时间间隔未被访问的情况下，所述调度平台将该数据从所述热数据存储节点转存至所述冷数据存储节点；所述调度平台根据接收到的目标数据访问请求，在所述热数据存储节点中访问所述目标数据，若所述热数据存储节点中无所述目标数据，则在所述冷数据存储节点中访问所述目标数据。

可选地，所述热数据存储节点的数量为一个。

可选地，所述热数据存储节点的配置高于所述冷数据存储节点的配置。

可选地，所述访问请求为：读取请求或者修改请求。

另外，本发明第二方面提出一种分布式系统，所述分布式系统包括调度平台、热数据存储节点和冷数据存储节点，所述分布式系统能够多次执行以下操作：所述调度平台将接收到的数据存入所述热数据存储节点；当所述调度平台监控到所述热数据存储节点中的数据持续预设时间间隔未被访问的情况下，所述调度平台将该数据从所述热数据存储节点转存至所述冷数据存储节点；所述调度平台根据接收到的目标数据访问请求，在所述热数据存储节点中访问所述目标数据，若所述热数据存储节点中无所述目标数据，则在所述冷数据存储节点中访问所述目标数据。

可选地，所述热数据存储节点的数量为一个。

可选地，所述热数据存储节点的配置高于所述冷数据存储节点的配置。

可选地，所述访问请求为：读取请求或者修改请求。

根据本发明实施例的技术方案，通过将时效性强的数据存入热数据存储节点并且将时效性弱的数据存入冷数据存储节点，读取时优先查询热数据存储节点，能够提高数据处理效率，优化节点硬件资源配置。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明实施例的分布式系统的数据处理方法的流程示意图。

具体实施方式

本发明实施例的一种分布式系统的数据处理方法，分布式系统包括调度平台、热数据存储节点和冷数据存储节点，如图1所示，方法包括多次执行的以下操作。