[发明专利]面向分布式系统的数据发布方法、装置、系统及存储介质

说明书

一种面向分布式系统的数据发布方法、装置、系统及计算机可读存储介质，设置生产者、中间人、消费者三种系统角色，各角色之间定时轮询，在需要同步数据时，建立连接同步数据，并更新数据版本。所述方法包括：生产者生成并保存原始数据；生产者根据中间人的反馈发送所述原始数据；中间人接收生产者发送的所述原始数据；消费者根据需要向所述中间人获取所述原始数据。通过上述方法，本发明能够有效减少数据发布时间，减少系统资源浪费。

技术领域

本发明涉及分布式系统领域，具体涉及一种面向分布式系统的数据发布方法、装置、系统及计算机可读存储介质。

背景技术

在分布式系统中，同一份数据通常被多套系统所应用。为保证数据的高可用，通常，我们会将数据从源系统发布至需要应用的系统。这个过程称为数据发布。这些数据副本会存储在不同的系统中。为了对用户提供正确可靠的服务，我们需要保证这些放置在不同系统上的数据副本是一致的，即数据的一致性。

目前，分布式系统的数据发布多有以下三个特点：1、发布数据量大，2、涉及系统多，3、发布环境复杂。与此同时，数据发布方法也存在如下问题：1、发布时间长，2、发布流程复杂。目前，常用的数据发布方法为二阶段提交方法。二阶段提交方法将系统角色分为两类：一类为协调者，通常只有一个；另一类为事务参与者，通常包含多个。二阶段提交将数据发布分为两个阶段，分别为请求阶段和提交阶段。在请求阶段，协调者将通知事务参与者准备提交或取消事务，然后进入表决过程。在表决过程中，参与者将告知协调者自己的决策：同意或取消。在提交阶段，协调者将基于第一个阶段的投票结果进行决策：提交或取消。当且仅当所有的参与者同意提交事务协调者才通知所有的参与者提交事务，否则协调者将通知所有的参与者取消事务。参与者在接收到协调者发来的消息后将执行响应的操作。二阶段提交方法有如下缺点：(1)消耗时间长。由于需要同步所有角色的状态，以及数据发布时大规模地传输，二阶段提交的耗时能够长达几分钟至几十分钟不等。(2)浪费系统资源。由于数据发布可能会随时进行，所以协调者与参与者需要一直保持连接状态。这会消耗浪费系统大量的资源。

发明内容

为了解决现有技术数据发布过程中的消耗时间长与浪费系统资源的问题，本发明主要力图提出一种高效的数据发布方法、装置、系统及计算机可读存储介质，能够有效地发布数据；同时，与其它数据发布方法相比，减少消耗时间，减少资源浪费。

为了达到上述目的，本发明的第一方面提供了一种面向分布式系统的数据发布方法，包括如下步骤：

生产者生成并保存原始数据；

生产者根据中间人的反馈发送所述原始数据；

中间人接收生产者发送的所述原始数据；

消费者根据需要向所述中间人获取所述原始数据。

在一些实施例中，所述原始数据为生产者的当前生产数据的最新版本的数据。

在一些实施例中，包括如下步骤：

生产者每隔一定时间T检查中间人发送的回执；若回执中的版本号与当前数据版本的版本号不一致，则向中间人发送当前数据版本的数据，并保存该版本号为已发送数据的版本号；

中间人获取数据完毕，更新数据版本，并向生产者发送回执；

消费者每隔一定时间T,向中间人查询最新的数据版本；

若最新的数据版本与消费者当前的数据版本不一致，则消费者向中间人发送获取数据请求，然后转到下一步；否则，返回上一步；

中间人向消费者发送最新数据版本的数据；

消费者获取数据完毕，更新数据版本，并向中间人发送回执。

在一些实施例中，所述中间人向生产者发送的回执包括：数据版本号、数据发送方名称、数据接收方名称和/或数据量大小。