[发明专利]基于消息队列调度插件任务的方法、系统、设备及介质

说明书

本发明公开了一种基于消息队列调度插件任务的方法、系统、设备和存储介质，方法包括以下步骤：响应于接收到调度插件的请求，产生对应的插件任务，并将插件任务发送到消息队列；根据插件任务的类别将插件任务从消息队列发送到对应的调度器；判断当前总体负载是否超过第一阈值以及插件任务的并发需求是否小于第二阈值；以及响应于当前总体负载不超过第一阈值且插件任务的并发需求小于第二阈值，基于调度器对插件任务进行处理。本发明提出的基于消息队列调度插件任务的方法、系统、设备和存储介质通过调度器和总线支持大规模的任务并发执行，并能根据任务规模和负载情况对调度器进行动态调整，提高了执行任务的效率。

技术领域

本发明涉及任务调度领域，更具体地，特别是指一种基于消息队列调度插件任务的方法、系统、计算机设备及可读介质。

背景技术

安全自动化测试平台绿盟、Nessus等都是通过调用插件来扫描安全漏洞，在此过程中，平台可以调用多种插件(一般情况下是几十种，多的可达上百种，甚至上千种)同时对目标系统进行多种类型安全漏洞的扫描。比如，弱密码、XSS跨站漏洞、DDos漏洞、SQL注入等等都是通过多种插件扫描才能最终确定。因此，安全自动化平台需要通过极高的并发量和性能消耗在极短时间内确定目标系统的安全问题。

目前随着网络的普及和5G时代的来临，网络安全问题已经成为每个人、单位和国家不能忽略的问题。系统安全漏洞的及早发现，能够给用户节省大量的时间和成本，避免很严重的安全问题，比如酒店的管理系统漏洞会导致开房记录的泄露，给酒店和住户带来严重的困扰。

绿盟、Nessus等采用单进程多线程的方式调度插件，这样带来的问题是插件的调度严重依赖CPU，当线程数量达到一定数目时，CPU的调度开销已经超过插件的运行开销，系统的效率极大地被挤压，平台也就达到了瓶颈。另外，单进程的方式很容易因为某一个线程崩溃而导致平台崩溃。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于消息队列调度插件任务的方法、系统、计算机设备及计算机可读存储介质，通过调度器和总线支持大规模的任务并发执行，并能根据任务规模和负载情况对调度器进行动态调整，结果采用折半汇总的方式，能够高效率、高扩展性地执行安全扫描任务，在极短时间内完成系统安全问题扫描，快速定位高级安全漏洞，给用户节省时间和成本。

基于上述目的，本发明实施例的一方面提供了一种基于消息队列调度插件任务的方法，包括如下步骤：响应于接收到调度插件的请求，产生对应的插件任务，并将所述插件任务发送到消息队列；根据所述插件任务的类别将所述插件任务从所述消息队列发送到对应的调度器；判断当前总体负载是否超过第一阈值以及所述插件任务的并发需求是否小于第二阈值；以及响应于当前总体负载不超过第一阈值且所述插件任务的并发需求小于第二阈值，基于所述调度器对所述插件任务进行处理。

在一些实施方式中，所述判断当前总体负载是否超过第一阈值以及所述插件任务的并发需求是否小于第二阈值包括：获取多种资源信息，并对获取到的资源信息进行加权计算，将计算后的结果与所述第一阈值进行比较。

在一些实施方式中，还包括：响应于当前总体负载超过第一阈值或所述插件任务的并发需求不小于第二阈值，基于所述调度器创建多个子调度器。

在一些实施方式中，所述基于所述调度器创建多个子调度器包括：响应于创建完一个子调度器，判断当前第二总体负载是否小于第三阈值；以及响应于当前第二总体负载不小于第三阈值，继续重复上述步骤。

在一些实施方式中，所述判断当前第二总体负载是否小于第三阈值包括：分别计算所述子调度器的总体负载的平均值和所述调度器的总体负载；以及对所述平均值和所述调度器的总体负载进行加权计算，并将计算后的结果与第三阈值进行比较。

在一些实施方式中，还包括：响应于所述当前第二总体负载小于第三阈值，在子调度器中根据CPU线程数对所述插件任务分配对应的工作进程。