[发明专利]高可用集群系统中的线程池任务处理方法

说明书

技术领域

本发明涉及一种计算机任务处理方法，特别涉及一种高可用集群系统中的线程池任务处理方法。

背景技术

在现在计算机技术和互联网飞速发展的时代，大数据分析、超级计算逐渐成为各个研究团队的主流研究方向。同样，作为需要精密计算的国防科工行业，对于计算性能的要求也越来越高。为了提高计算性能以达到满足作战需求的程度，应用集群技术，将多个服务器或PC机通过网络连接来共同处理一个大型的复杂计算任务。

集群系统的优势在于能够将复杂的计算任务分散到各个PC机或者服务器中。但是具体的分配方式需要通过了解需要解决的实际问题来提出算法。负载均衡的核心思想是让系统内的各个单机都分配到适量的任务来执行。实现负载均衡的方法也有多种方式，建立模型时需要考虑到各个方式的优缺点来决定采用哪种方式。本专利所详述的就是负载均衡算法中的一种名为线程池技术的算法在集群领域的应用。

早在二十世纪七八十年代，Digital equipment公司和Tandem计算机公司就开始了集群系统的研究与开发工作。集群系统采用的操作系统主要有VMS、UNIX、WindowsNT和Linux。

九十年代末期，Linux操作系统不断走向成熟，它的健壮性不断增强，并且提供了GNU软件和标准化的PVM、MPI消息传递机制，最重要的是Linux在普通PC机上提供了对高性能网络的支持，这样就大大推动了基于Linux的集群系

统的发展。

中国在1989年开始引进模拟集群系统，1990年投入使用。随着数字通信技术的发展，集群通信系统也开始向第二代的数字技术发展，最主要的特点是采用了TDMA(时分多址)和CDMA(码分多址)通信方式。但是，中国的集群通信应用主要还停留在模拟技术水平，数字集群的应用较少。

现在，线程池技术是负载均衡技术中的一个研究方向，关于它的研究还在不断地探索之中。目前，一些著名的大公司都特别看好这项技术，并早已经在他们的产品中应用该技术。比如IBM的WebSphere，IONA的Orbix 2000在SUN的Jini中，Microsoft的MTS(Microsoft Transaction Server 2.0)，COM+等。

国内方面，目前还没有商业化的应用线程池技术的案例。但是仍有很多研究人员参与到以线程池技术为核心的相关研究中。

传统的多线程技术采用即时创建、即时销毁的策略，即每当服务器接收到请求之后，服务器会创建一个新的线程，由该线程执行这个请求的任务。当任务执行完毕之后，退出线程。线程相比于操作系统中的进程来说，无论创建或是销毁都会大幅减小系统的开销。但是在创建和销毁一个新的线程的时候，系统仍然要为线程分配堆栈，以及线程的应用上下文等资源。尽管这些消耗的系统资源很小，但是相对于实时并行处理系统来说，这样的系统开销不能忽略。如果任务的数量过多而且每个任务的规模很小执行起来很快的话，那么服务器将处于不停的创建线程，销毁线程的状态。而且线程在活动的时候也会消耗系统资源，创建过多的线程会导致系统由于消耗过多的内存或由于不停的切换线程而导致系统的效率降低。

发明内容

本发明的目的在于提供一种高可用集群系统中的线程池任务处理方法，用于解决上述现有技术的问题。

本发明一种高可用集群系统中的线程池任务处理方法，其中，包括：线程池主线程随系统运行后，首先预创建一定数目的空闲的工作线程，空闲的工作线程初始时均处于条件阻塞状态；接收用户输入的工作任务，形成工作任务队列；线程池主线程依次进入查找工作任务、检查线程池状态以及为工作任务分配工作线程的循环，包括：循环开始，从工作任务队列中头部取得待处理的工作任务，成功则进入下一步，是否，则保持取工作任务的状态；如果当前线程池忙碌线程超过总数的一定占比，则这时不处理当前工作任务，并向系统告警并报告当前处理状态；检查线程池状态，当前空闲线程数小于空闲的最低值时，创建一定数目的空闲线程，以维持线程池的平衡状态；当空闲线程数大于空闲的最高值时，则释放一定数目的空闲线程；为待执行的工作任务分配一个工作线程，并给工作线程条件信号激活工作线程开始执行工作任务；工作任务队列头部指针到下移，继续循环处理；工作任务队列中无任务后，主线程的循环停止，释放掉申请的系统资源。

根据本发明的高可用集群系统中的线程池任务处理方法的一实施例，其中，该一定占比为80％。

根据本发明的高可用集群系统中的线程池任务处理方法的一实施例，其中，创建的空闲工作线程数目取决于程序的规模以及对需要处理的任务复杂程度的预估。.