[发明专利]一种基于统计表的多任务数据推送方法

说明书

本发明属于网络分析应用技术领域，具体涉及一种基于统计表的多任务数据推送方法，其特征在于推送步骤包括：第一步，建立任务优先级规则；第二步，建立任务队列；第三步，建立任务对象集双缓存；第四步，建立推送任务配置解析机制；第五步，建立任务更新流程；第六步，建立任务获取、执行、归还机制；第七步，根据任务执行线程的属性进行多任务数据的推送，本发明提供的一种基于统计表的多任务数据推送方法解决了由于推送任务排队执行导致的延迟问题，解决了由于“时间桶”较大耗时较长的“推送任务”对其他“时间桶”较小耗时较短的延迟影响，提升了推送效率，提升了“数据采集系统”的推送性能的扩展性。

技术领域

本发明属于网络分析应用技术领域，具体涉及一种基于统计表的多任务数据推送方法。

背景技术

在“网络分析系统”中，针对网口采集上来的数据，生成一条一条的存储统计记录后，至少有两种使用方式：

前台系统主动发起查询，“网络分析系统”按照指定时间条件、查询条件和合并条件，查询出存储统计记录并进行合并后，发送给前台系统；

“网络分析系统”作为数据源，主动推送数据到其他系统。第三方系统一次性下发多个查询任务，任务描述包括查询周期、查询条件和合并条件。“网络分析系统”根据系统时间，每间隔指定时间周期，就依次对每个任务进行查询，并将查询结果推送给第三方系统。由此，第三方系统可以源源不断的接收到来自“网络分析系统”推送的数据。

一般情况下，查询周期较长的任务，则查询耗时也相对较长，当第三方系统下发的任务数较多，查询周期种类较多时，由于查询任务数量和各种查询周期的任务相互影响，则会导致无法在一个查询周期内完成所有任务的查询和推送。

采用单线程依次查询每个任务并进行推送的方法时，由于任务数量非常多，则依次执行情形下，很可能最后执行的任务已经超过要求的时间周期。

举例说明：如执行查询时间周期为10S，总共查询任务由50个任务，则要求执行完这50个任务的总时间不能超过10S，否则下一个查询周期将会延迟。

部分可能采用多线程执行的情况，相对于单线程，多线程可以并行执行多个任务，对于单线程的问题会有所缓解，但无法避免不同时间周期的任务相互影响的情况。

举例说明：查询时间周期为10S的任务有50个，查询时间周期为1Min的任务有10个，推送线程有5个，推送线程依次获取任务。则查询周期为10S的任务要求所有50个任务在10S钟内完成，查询周期为1Min的任务要求所有10个任务在1Min之内完成。一般情况下，查询周期为1Min的任务，查询耗时也会较长，超过10S。因此，如果所有5个线程都在执行1Min时间周期的任务，则将会使所有时间周期为10S的任务，全部延迟。且这种情况很容易出现。

发明内容

本发明针对上述现有技术的不足，提供了一种基于统计表的多任务数据推送方法。

本发明的目的是通过以下技术方案实现的：

一种基于统计表的多任务数据推送方法，其特征在于推送步骤包括：

第一步，建立任务优先级规则；

第二步，建立任务队列；

第三步，建立任务对象集双缓存；

第四步，建立推送任务配置解析机制；

第五步，建立任务更新流程；

第六步，建立任务获取、执行、归还机制；

第七步，根据任务执行线程的属性进行多任务数据的推送。

所述步骤第一步的详细步骤包括：