[发明专利]自适应延迟消费方法、程序产品及存储介质

说明书

本发明提供一种自适应延迟消费方法、程序产品及存储介质，该方法包括：获取待消费事件，并将所述待消费事件添加进任务池；检测数据库系统的主从延迟时间，根据所述主从延迟时间和预设最大延迟时间之间的关系调整任务分发速度，并以所述任务分发速度将所述任务池中的所述待消费事件存储入任务队列；从所述任务队列中取出所述待消费事件，并对所述待消费事件进行消费处理。本发明提供的自适应延迟消费方法、程序产品及存储介质，在完成数据同步的同时，能够自动检测数据库主从延迟的时间，并根据主从延迟程度自适应调整同步速度，提高了系统稳定性，时效性高，且节省了人力消耗。

技术领域

本发明涉及计算机技术领域，尤其涉及一种自适应延迟消费方法、程序产品及存储介质。

背景技术

在现有的数据同步系统中，一般会将数据落地到mysql等存储服务中，同时为了保证存储服务的可用性，存储服务一般会采用主从架构，因此同步过程中可能会出现同步速度过快导致数据库主从延迟过高的现象。主从架构的存储服务采用主数据库和从数据库实现。主从延迟是指主数据库和从数据库对接收的相同数据消费后存储时的时间差。为了降低主从延迟，一般是在收到数据库主从延迟报警后人为降低同步速度，以用来降低延迟程度，这种人工操作增大了解决问题的复杂性以及降低了时效性。

发明内容

针对现有技术存在的问题，本发明提供一种自适应延迟消费方法、程序产品及存储介质。

本发明提供一种自适应延迟消费方法，包括：获取待消费事件，并将所述待消费事件添加进任务池；检测数据库系统的主从延迟时间，根据所述主从延迟时间和预设最大延迟时间之间的关系调整任务分发速度，并以所述任务分发速度将所述任务池中的所述待消费事件存储入任务队列；从所述任务队列中取出所述待消费事件，并对所述待消费事件进行消费处理。

根据本发明提供的一种自适应延迟消费方法，所述检测数据库系统的主从延迟时间，具体包括：更新主数据库中的预设数据库记录，并将当前更新时间保存在预设字段；查询从数据库获取所述预设字段的字段值，计算所述当前更新时间和所述字段值的差值的绝对值，从而得到所述主从延迟时间。

根据本发明提供的一种自适应延迟消费方法，所述根据所述主从延迟时间和预设最大延迟时间之间的关系调整任务分发速度，具体包括：若所述主从延迟时间大于或等于所述预设最大延迟时间，则减小所述任务分发速度，直至所述任务分发速度达到预设最小任务分发速度；若所述主从延迟时间小于所述预设最大延迟时间，则增大所述任务分发速度，直至所述任务分发速度达到预设最大任务分发速度。

根据本发明提供的一种自适应延迟消费方法，所述任务分发速度的初始值设置为所述预设最大任务分发速度。

根据本发明提供的一种自适应延迟消费方法，所述减小所述任务分发速度，具体包括：将所述任务分发速度减小为原来的1/2。

根据本发明提供的一种自适应延迟消费方法，所述增大所述任务分发速度，具体包括：将所述任务分发速度增大为原来的2倍。

根据本发明提供的一种自适应延迟消费方法，所述获取待消费事件，具体包括：从kafka消息队列中获取所述待消费事件。

本发明还提供一种自适应延迟消费装置，包括：事件收集模块，用于：获取待消费事件，并将所述待消费事件添加进任务池；任务分发模块，用于：检测数据库系统的主从延迟时间，根据所述主从延迟时间和预设最大延迟时间之间的关系调整任务分发速度，并以所述任务分发速度将所述任务池中的所述待消费事件存储入任务队列；事件消费模块，用于：从所述任务队列中取出所述待消费事件，并对所述待消费事件进行消费处理。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述自适应延迟消费方法的步骤。