[发明专利]一种数据分发方法及系统

权利要求书

1.一种数据分发系统，包括：数据均衡器、部署在数据生产者上的数据分发器、部署在数据消费者上的数据接收器；所述数据均衡器向数据生产者和数据消费者发送存活确认信息进行存活状态的确认，并定时向得到确认的数据生产者发送新的待分发的数据消费者信息，所述存活确认信息包括心跳定时参数、数据分片定时参数、磁盘可用空间参数、NUMS_OF_CONSUME参数；所述数据均衡器发送数据消费者信息的定时频率通过数据分片定时参数配置，所述数据均衡器向数据生产者和数据消费者的服务器节点发送存活确认信息，对得到确认的分别保留在数据生产者和数据消费者对应的当前存活列表中，对没有响应的分别放在数据生产者和数据消费者对应的当前不可达列表中；数据均衡器每隔一段时间向当前不可达的服务器节点发送存活确认信息，将后续可达的服务器节点添加到对应的当前存活列表中，所述数据生产者根据待分发的数据消费者信息进行数据分发操作，通过滚动循环分发机制实现，所述滚动循环分发机制包括：数据均衡器完成当前存活列表的确认，并且数据生产者的当前存活列表和数据消费者的当前存活列表均有值的情况下，数据均衡器会生成一个数据生产者分发对应的循环表；在每次数据分发定时时间到的时候，数据均衡器会更新循环表，然后向数据生产者发送更新后的数据消费者信息；在循环表指到数据消费者的当前存活列表的尾后，会从数据消费者的当前存活列表的头重新开始；所述数据分发器接收数据均衡器发送过来的数据消费者信息后会建立新的数据传输通道进行数据发送；所述数据接收器同数据分发器建立起新的数据传输通道进行数据的接收。

2.如权利要求1所述的数据分发系统，其特征在于，所述数据均衡器还维护着数据生产者和数据消费者的当前异常列表，所述当前异常列表中的异常信息包括指定的存储空间达到上限、文件系统只读、服务器节点目前处在非集群模式。

3.如权利要求2所述的数据分发系统，其特征在于，所述数据生产者在非集群模式下向数据消费者按照指定的一对多的数据分发模式进行数据分发，在非集群模式下，数据均衡器会将其添加到当前异常列表中，不再对其进行资源分发。

4.如权利要求2所述的数据分发系统，其特征在于，所述数据生产者信息和数据消费者信息通过produce.txt和consume.txt以文件的形式保存在数据均衡器上，所述数据均衡器实时监控produce.txt和consume.txt两个文件，一旦发现文件被修改，就会对其进行重新读入，然后结合当前存活列表、当前不可达列表、当前异常列表进行分析，对文件中已经删除的，会从上述列表中删除，对新添加的，发送存活确认信息，得到确认的保存到对应的当前存活列表中，对没有响应的添加到对应的当前不可达列表中。

5.如权利要求2所述的数据分发系统，其特征在于，所述数据分发器和数据接收器分别定时向数据均衡器发送心跳信息，所述数据均衡器通过接收心跳信息监控数据生产者和数据消费者，超过心跳定时时间没有收到心跳信息的，将服务器节点移到当前不可达列表中；心跳信息中包含了异常信息的，将服务器节点移到当前异常列表中；心跳信息中无异常的，则会保留在当前存活列表中不动；所述数据分发器和数据接收器向数据均衡器发送心跳信息的定时频率由所述存活确认信息中的心跳定时参数决定。

6.如权利要求1所述的数据分发系统，其特征在于，所述数据分发系统还包括辅助数据均衡器，所述辅助数据均衡器是在数据均衡器发生故障时提供数据均衡器相关服务的备用均衡器；在数据均衡器正常情况下，该均衡器只是定时完成数据均衡器上信息的同步操作，不参与数据均衡器的均衡功能；在诊断到数据均衡器故障后，会向数据生产者和数据消费者发送存活确认信息，进而提供数据均衡器相关服务，同时会实时诊断数据均衡器的状态。

7.一种利用权利要求1-6任一所述的数据分发系统进行数据分发的方法，包括以下步骤：

1)数据均衡器向数据生产者和数据消费者发送存活确认信息，进行数据生产者和数据消费者启动后的首次状态确认；

2)数据均衡器向得到确认的数据生产者中的数据分发器发送新的待分发的数据消费者信息；

3)数据分发器收到新的待分发的数据消费者信息后，向指定的数据消费者的数据接收器发起建立数据传输通道的请求并在新的数据传输通道建立后进行数据传输；

4)数据消费者中的数据接收器接收数据分发器发送过来的建立数据传输通道的请求后同数据分发器建立起新的数据传输通道进行数据接收。