[发明专利]分布式数据处理系统、方法、服务器及计算机可读存储介质

说明书

本发明提供了一种分布式数据处理系统、方法、服务器及计算机可读存储介质，分布式数据处理系统，包括第一节点及第二节点，第一节点生成第一数据时，赋予第一数据第一版本号；当第二节点需要使用数据时，自第一节点拉取第一数据并缓存；当第一节点生成第二数据时，赋予第二数据第二版本号，并发送至第二节点；当第二节点接收第二版本号时，将第二版本号与第一版本号比较，在第二版本号与第一版本号相异下，第二节点清除第一数据及第一版本号；当第二节点再次需要使用数据时，拉取第二数据以使用，并缓存具有第二版本号的第二数据。采用上述技术方案后，可减少数据验证时的耗时，并解决数据大小、变化频率的缓存数据在同步时的性能瓶颈。

技术领域

本发明涉及计算机服务器领域，尤其涉及一种分布式数据处理系统、方法、服务器及计算机可读存储介质。

背景技术

随着计算机技术和数据库技术的飞速发展，业务需求逐渐多样化，互联网产品的很多新增功能或组件都是只对部分用户开放，以达到测试和改善的目的，那么开发者需要利用缓存技术，在数据库内各节点之间进行大量数据的更新和交互。缓存是数据交互的缓冲区，节点间通过缓存可进行快速地数据更新和交互。

因此，将各节点划分为不同类型的集群，从而采用分布式集群协同工作，根据不同类型的集群维护各自的数据。当其中一类集群的数据被另一类集群频繁使用的时候，会发生大量远端数据请求。这种情况就需要在各集群间建立数据缓存。减少不必要的rpc和网络数据拷贝。解决当数据较大，变化频率较高的时候，数据同步带来的性能问题。

现有的节点在作数据缓存时采取单一的定时同步、定时拉取、变化时同步的方法。当数据量较大，或数据变化不敏感的场景造成资源浪费，效率低下。

因此需要一种新型的分布式数据处理系统和方法，在保证缓存数据的有效性下，减少RPC调用，减少资源浪费。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种分布式数据处理系统、方法、服务器及计算机可读存储介质，可减少数据验证时的耗时，并解决数据大小、变化频率的缓存数据在同步时的性能瓶颈。

本发明公开了一种分布式数据处理系统，包括生成数据的第一节点及自第一节点接收数据的第二节点，

第一节点生成第一数据时，赋予第一数据一第一版本号；

当第二节点需要使用数据时，自第一节点拉取具有第一版本号的第一数据以使用，并缓存具有第一版本号的第一数据；

当第一节点生成基于第一数据所迭代的第二数据时，赋予第二数据一与第一版本号不同的第二版本号，并将第二版本号发送至第二节点；

当第二节点接收第二版本号时，将第二版本号与缓存的第一版本号比较，在第二版本号与第一版本号相异下，第二节点清除第一数据及第一版本号；

当第二节点再次需要使用数据时，自第一节点拉取具有第二版本号的第二数据以使用，并缓存具有第二版本号的第二数据。

优选地，第一节点基于第一周期向第二节点发送存储于第一节点内的当前数据的当前版本号；

第二节点将当前版本号与缓存的第一版本号或第二版本号比较，当当前版本号相同于第一版本号或第二版本号时，保留缓存的第一数据或第二数据；当当前版本号相异于第一版本号或第二版本号时，清除具有第一版本号的第一数据或具有第二版本号的第二数据。

优选地，当第一节点生成基于第二数据所迭代的第三数据时，赋予第三数据一与第一版本号、第二版本号不同的第三版本号，并将第三版本号发送至第二节点；

第二节点清除具有第一版本号的第一数据或具有第二版本号的第二数据。

优选地，第二节点基于第二周期向第一节点发送获取请求，以获取存储于第一节点内的当前数据的当前版本号；