[发明专利]一种数据分发方法及系统

说明书

技术领域

本发明涉及分布式系统的应用技术，尤其涉及大规模数据的数据分发方法及系统。

背景技术

随着互联网的普及和网络应用技术的发展，应用系统的功能越来越强，规模越来越大。在一个大规模的应用系统中，数据生产者和数据消费者往往都由上百台乃至上千台服务器组成。数据生产者需要准实时地把数据分发给数据消费者，然后再由数据消费者对数据进行处理。由于数据生产者产生的数据量受到多种因素的影响，单位时间内各数据生产者产生的数据量往往严重不均，导致分发给数据消费者的数据也严重不均衡。这给数据消费者的后续处理带来很多问题，例如服务器的处理负载会严重不均、数据存储量会严重不均、部分系统资源没有充分利用等。

如何将数据生产者产生的数据均匀地分发到数据消费者上，是此类大规模应用遇到的一个难题。特别是数据消费者再关联一系列数据存储服务器时，问题会变得更加复杂。

发明内容

本发明提供了一种实用的数据分发方法及系统，以解决大规模应用系统中需要将数据生产者生产的数据准实时均衡地分发到各数据消费者上的问题。

一种数据分发系统，包括：数据均衡器、部署在数据生产者上的数据分发器、部署在数据消费者上的数据接收器。所述数据均衡器向数据生产者和数据消费者发送存活确认信息进行存活状态的确认，并定时向得到确认的数据生产者发送新的待分发的数据消费者信息；所述数据分发器接收数据均衡器发送过来的数据消费者信息后会建立新的数据传输通道进行数据发送；所述数据接收器同数据分发器建立起新的数据传输通道进行数据的接收。

所述数据均衡器、数据分发器、数据接收器可部署在通用的PC服务器上(内存2GB以上)，PC服务器上需安装centos5.5以上linux操作系统。

具体地，数据均衡器是数据分发系统的核心，负责数据分发相关的规划和管理。有几个重要功能：

数据生产者信息和数据消费者信息通过produce.txt(主要包括数据生产者的IP地址和发送端口号)和consume.txt(主要包括数据消费者的IP地址和接收端口号)以文件的形式保存在数据均衡器上。在数据均衡器启动时，会将这两个文件中的信息加载到内存中，然后向数据生产者和数据消费者的服务器节点发送存活确认信息(同时包括心跳定时参数、数据分片定时参数、磁盘可用空间参数、NUMS_OF_CONSUME参数等)，对得到确认的数据生产者和数据消费者分别保存在数据生产者和数据消费者对应的当前存活列表中，对没有响应的数据生产者和数据消费者分别保存在数据生产者和数据消费者对应的当前不可达列表中。数据均衡器会每隔一段时间向当前不可达的服务器节点发送存活确认信息，以保障后续可达的服务器能够被及时发现并添加到对应的当前存活列表中。

此外数据均衡器还维护着数据生产者和数据消费者的当前异常列表。这些异常主要包括指定的存储空间达到上限、文件系统只读、服务器节点目前处在非集群模式等。上述两个当前异常列表不包括存活确认验证中没有得到确认的当前不可达的服务器信息，因为这部分服务器需要定时发送存活确认信息。

数据均衡器在运行过程中，会实时监控produce.txt和consume.txt两个文件，一旦发现文件被修改，就会对其进行重新读入，然后结合当前存活列表、当前不可达列表、当前异常列表这三类列表进行分析，对文件中已经删除的，会从上述列表中删除；对新添加的，发送存活确认信息，得到确认的保存到对应的当前存活列表中，对没有响应的添加到对应的当前不可达列表中。

数据分发器和数据接收器在获得存活确认信息后会定时向数据均衡器发送心跳信息，数据均衡器在运行过程中会通过接收心跳信息监控数据生产者和数据消费者。超过心跳定时时间没有收到心跳信息的，会认为服务器已经处于不可达状态，会把它移到当前不可达列表中。如果心跳信息中包含了异常信息(包括磁盘可用空间超过设定值、磁盘只读、服务器目前处在非集群模式等)，则会把它移到当前异常列表中。如果心跳信息中无其它异常的，则会保留在当前存活列表中不动。