[发明专利]一种高可用性的实时消息分发方法及装置

说明书

本发明公开了一种高可用性的实时消息分发方法及装置，所述方法包括：在消息实时分发过程中根据消息订阅频次计算消息热度；根据消息热度大小将各消息划分到不同的缓存队列中并进行自适应副本同步，释放热度低于预设值的消息的副本；带权重的队列选择器根据消息热度大小给各缓存队列分配权重并根据权重与消息发布频率之间的映射关系，将消息按照不同频率分发；消息发送线程读取带权重的队列选择器发送过来的消息并经消息代理发送给消息订阅者；本发明的优点在于：高速率工作的同时具有较高的实时性和可靠性。

技术领域

本发明涉及消息分发领域，更具体涉及一种高可用性的实时消息分发方法及装置。

背景技术

伴随着互联网的高速发展，大数据实时消息发布订阅框架、计算框架广泛应用于实时监控，实时推荐，实时交易等系统。为了能够实时获取、消费数据流，实时发布订阅消息系统得到了广泛应用，但随着用户数量的指数级增长，数据实时性和消息系统可靠性面临巨大挑战。目前主流的消息系统主要通过消息队列实现数据的实时分发，其可靠性主要通过数据的备份、数据的一致性来保证。当前消息队列数据不一致性的主要原因是海量数据形成的数据集群中，主、从副本数据不一致。通常主、从副本在不同物理节点中，主从副本通信的成本很高，需要经过网络，并且花费大量磁盘调度时间，网络传输和磁盘调度使得集群负载加大，会降低集群性能；另一方面消息生产速率与消息消费速率通常是不一致的，当消息的生产速率大于消息的消费速率时，最终会导致消息缓存溢出，造成数据丢失，同步式消息生产虽然能解决数据丢失问题，但会影响消息集群的吞吐能力。

中国专利授权公告号CN111866191B，公开了一种消息事件的分发方法、分发平台、系统及服务器，涉及互联网的技术领域，该方法包括：如果监测到消息发布服务发布的消息事件，获取预先存储的配置信息；根据配置信息对消息事件进行分裂，得到消息事件对应的至少一个目标消息事件；将至少一个目标消息事件分类存储至消息订阅服务对应的消息队列；启动预先配置的消息订阅服务的协程组，通过协程组从消息队列中获取消息订阅服务对应的目标消息事件，并将目标消息事件推送至消息订阅服务。该发明提供的消息事件的分发方法、分发平台、系统及服务器，有可以快速进行消息队列集群化，便于后期的维护和监控，进而提高了整个消息事件分发过程的稳定性。但是其无法解决数据实时性和消息系统可靠性的问题。

发明内容

本发明所要解决的技术问题在于现有技术消息分发方法无法解决数据实时性和消息系统可靠性的问题。

本发明通过以下技术手段实现解决上述技术问题的：一种高可用性的实时消息分发方法，所述方法包括：

在消息实时分发过程中根据消息订阅频次计算消息热度；

根据消息热度大小将各消息划分到不同的缓存队列中并进行自适应副本同步，释放热度低于预设值的消息的副本；

带权重的队列选择器根据消息热度大小给各缓存队列分配权重并根据权重与消息发布频率之间的映射关系，将消息按照不同频率分发，消息热度的大小与权重大小成正比；

消息发送线程读取带权重的队列选择器发送过来的消息并经消息代理发送给消息订阅者，消息发送线程读取消息的过程中，缓存队列里的数据有问题的情况下拉取其对应的同步副本数据。

本发明根据消息热度大小将各消息划分到不同的缓存队列中并进行自适应副本同步，释放热度低于预设值的消息的副本，最大限度的降低冗余备份，系统可靠性强，同时为不同热度的消息建立不同的缓存队列，并且实现实时消息热度分级，动态的变更消息所在的缓存队列，实时性强，带权重的队列选择器根据消息热度大小给各缓存队列分配权重并根据权重与消息发布频率之间的映射关系，将消息按照不同频率分发，将极大改善消息发布速率，整个系统高速率工作的同时具有较高的实时性和可靠性。

进一步地，所述计算消息热度包括：