[发明专利]一种消息去重方法及相关装置

说明书

本申请公开了一种消息去重方法，包括：分布式系统的消息生产节点向第一集合写消息；当所述分布式系统的消息消费节点读取完第二集合的消息时，所述消息生产节点向所述第二集合写消息，以便所述消息消费节点从所述第一集合读消息；其中，所述第一集合与所述第二集合均为无重复值数据结构的集合。通过第一集合与第二集合之间的切换操作，与集合的数据结构特性对集合中的消息进行去重，提高消息去重的准确性。本申请还公开了一种消息去重装置、服务器以及计算机可读存储介质，具有以上效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种消息去重方法、消息去重装置、服务器以及计算机可读存储介质。

背景技术

随着信息技术的不断发展，互联网中生产的消息越来越多，进而消费消息的节点或设备也越来越多。需要对传送的消息进行有效的管理。进一步的，面对大量的消息，容易出现重复的消息，不仅增加了硬件的负担，还会导致消息的冗余发送。因此，需要对消息进行去重处理。

相关技术中，一般采用布隆过滤器进行去重处理，或者引入外部的key-value(关键字-值)存储进行去重处理。但是，由于数据量不断变大存在一些高并发场景，这些去重操作在高并发情况下无法严格去重，降低了去重的准确性。

因此，如何提高消息去重的准确性是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种消息去重方法、消息去重装置、服务器以及计算机可读存储介质，以解决消息去重准确性较低的问题。

为解决上述技术问题，本申请提供一种消息去重方法，包括：

分布式系统的消息生产节点向第一集合写消息；

当所述分布式系统的消息消费节点读取完第二集合的消息时，所述消息生产节点向所述第二集合写消息，以便所述消息消费节点从所述第一集合读消息；

其中，所述第一集合与所述第二集合均为无重复值数据结构的集合。

可选的，分布式系统的消息生产节点向第一集合写消息，包括：

所述分布式系统的消息生产节点根据获取的集合控制标识确定当前写入集合为所述第一集合；

向所述第一集合写消息。

可选的，当所述分布式系统的消息消费节点读取完第二集合的消息时，所述消息生产节点向所述第二集合写消息，以便所述消息消费节点从所述第一集合读消息，包括：

当所述分布式系统的消息消费节点读取完第二集合的消息时，所述消息消费节点将集合控制标识进行切换，并从所述第一集合读消息，以便所述消息生产节点向所述第二集合写消息。

可选的，所述集合控制标识为自增数值；

相应的，所述分布式系统的消息生产节点根据获取的集合控制标识确定当前写入集合为所述第一集合，包括：

所述分布式系统的消息生产节点对所述自增数值用2求余，得到余数；

当所述余数为0时，所述当前写入集合为所述第一集合。

可选的，当所述分布式系统的消息消费节点读取完第二集合的消息时，所述消息生产节点向所述第二集合写消息，以便所述消息消费节点从所述第一集合读消息，包括：

当所述分布式系统的消息消费节点读取完第二集合的消息时，所述消息消费节点将自增数值加一，得到新的自增数值；

所述消息消费节点根据所述新的自增数值加一的数值确定当前读取集合为所述第一集合，并从所述第一集合读消息；

所述消息生产节点根据所述新的自增数值确定所述当前写入集合为所述第二集合，并向所述第二集合写消息。

可选的，还包括：