[发明专利]一种数据分发方法及系统

摘要

本发明公开了一种数据分发方法及系统，包括数据均衡器、部署在数据生产者上的数据分发器、部署在数据消费者上的数据接收器；所述数据均衡器向数据生产者和数据消费者发送存活确认信息进行当前状态的确认，并定时向得到确认的数据生产者发送新的待分发的数据消费者信息；所述数据分发器接收数据均衡器发送的新的待分发的数据消费者信息并建立新的数据传输通道进行数据传输；所述数据接收器接收数据分发器建立数据传输通道的请求后同数据分发器建立起新的数据传输通道，进行数据的接收。通过本发明的数据分发方法及系统，解决了目前大规模应用系统中存在的数据生产者向数据消费者分发数据时经常遇到数据分发不均问题。

主权项

一种数据分发系统，包括：数据均衡器、部署在数据生产者上的数据分发器、部署在数据消费者上的数据接收器；所述数据均衡器向数据生产者和数据消费者发送存活确认信息进行存活状态的确认，并定时向得到确认的数据生产者发送新的待分发的数据消费者信息，所述存活确认信息包括心跳定时参数、数据分片定时参数、磁盘可用空间参数、NUMS_OF_CONSUME参数；所述数据均衡器发送数据消费者信息的定时频率通过数据分片定时参数配置，所述数据均衡器向数据生产者和数据消费者的服务器节点发送存活确认信息，对得到确认的分别保留在数据生产者和数据消费者对应的当前存活列表中，对没有响应的分别放在数据生产者和数据消费者对应的当前不可达列表中；数据均衡器每隔一段时间向当前不可达的服务器节点发送存活确认信息，将后续可达的服务器节点添加到对应的当前存活列表中，所述数据生产者根据待分发的数据消费者信息进行数据分发操作，通过滚动循环分发机制实现，所述滚动循环分发机制包括：数据均衡器完成当前存活列表的确认，并且数据生产者的当前存活列表和数据消费者的当前存活列表均有值的情况下，数据均衡器会生成一个数据生产者分发对应的循环表；在每次数据分发定时时间到的时候，数据均衡器会更新循环表，然后向数据生产者发送更新后的数据消费者信息；在循环表指到数据消费者的当前存活列表的尾后，会从数据消费者的当前存活列表的头重新开始；所述数据分发器接收数据均衡器发送过来的数据消费者信息后会建立新的数据传输通道进行数据发送；所述数据接收器同数据分发器建立起新的数据传输通道进行数据的接收。