[发明专利]队列数据的处理系统、方法、存储介质及电子设备

说明书

本公开提供了一种队列数据的处理系统、方法、存储介质及电子设备，涉及计算机技术领域。该处理系统包括：用于存储数据的主队列和二级队列；所述处理系统还包括：仓库管理模块，用于实时监听所述主队列的负载情况，以确定当前负载值，其中，所述当前负载值用于表征所述主队列当前的负载情况；发布器，用于发布待存储数据，以及根据所述当前负载值，从所述主队列和所述二级队列中确定所述待存储数据的目标队列，并将所述待存储数据写入所述目标队列。该方法可以解决相关技术中数据堆积量达到队列上限时导致发送阻塞的问题。

技术领域

本公开涉及计算机技术领域，尤其涉及一种队列数据的处理系统、方法、存储介质及电子设备。

背景技术

随着信息化时代的到来，互联网的高速发展导致服务架构的不堪重负，海量数据的处理成为业内的隐痛。虽然随着异步技术的成熟使得高并发、海量数据的处理逐渐变得轻车熟路，但目前相对优秀的异步框架仍存在瑕疵，为了保障系统的安全性与稳定性，使用了有界限的容器充当任务队列，即队列中只能存放规定数量的数据，超过该规定数量则会发送阻塞。则在耗时较高的任务场景下，事件处理器未能及时对任务进行处理，在任务堆积量达到容器上限时，就会发送阻塞，从而导致系统不稳定。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种队列数据的处理系统、方法、存储介质及电子设备，以解决数据堆积量达到队列上限时导致发送阻塞的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种队列数据的处理系统，用于存储数据的主队列和二级队列；所述处理系统还包括：仓库管理模块，用于实时监听所述主队列的负载情况，以确定当前负载值，其中，所述当前负载值用于表征所述主队列当前的负载情况；发布器，用于发布待存储数据，以及根据所述当前负载值，从所述主队列和所述二级队列中确定所述待存储数据的目标队列，并将所述待存储数据写入所述目标队列。

在本公开的一个实施例中，所述仓库管理模块包括二级队列写入处理单元，用于响应于所述目标队列为二级队列，接收所述发布器发送的所述待存储数据，并将所述待存储数据发送至二级队列。

在本公开的一个实施例中，所述二级队列写入处理单元还用于，将所述待存储数据进行分片处理，得到至少一个子数据，并为所述至少一个子数据进行标记；以及根据所述标记的结果，将所述至少一个子数据写入二级队列。

在本公开的一个实施例中，所述仓库管理模块还包括主队列被动监听器和主队列写入处理单元，所述主队列被动监听器用于实时监听所述主队列的负载情况，所述主队列写入处理单元用于响应于所述主队列的负载情况低于预设阈值，将所述二级队列中存储的备存储数据发送至所述主队列。

在本公开的一个实施例中，所述仓库管理模块还用于，所述主队列写入处理单元还用于，根据目标标记在所述二级队列中查找所述备存储数据，通过多线程将所述备存储数据进行擦除头数据处理，并将所述处理结果写入所述主队列。

在本公开的一个实施例中，所述处理系统还包括监听器和执行器，监听器用于轮询扫描所述主队列；所述执行器还用于根据所述监听器轮询扫描的结果，通知所述执行器向消费者发送数据。

在本公开的一个实施例中，所述主队列为随机存取存储器，和/或，所述二级队列为硬盘。

根据本公开的另一个方面，提供一种队列数据的处理方法，包括：实时监听主队列的负载情况，以确定当前负载值，其中，所述当前负载值用于表征所述主队列当前的负载情况，所述主队列和二级队列用于存储数据；发布待存储数据，以及根据所述当前负载值，从所述主队列和所述二级队列中确定所述待存储数据的目标队列，并将所述待存储数据写入所述目标队列。