[发明专利]一种海量数据处理并发任务自适应测控方法及系统

说明书

本发明公开了一种海量数据处理并发任务自适应测控方法，包括通过参数扫描器对应用服务器群、数据库服务器群进行扫描，将步扫描到的硬件参数发送到性能指标匹配判定器内并进行工程匹配性判定，将通过累加获得的应用服务器群CPU线程总数和数据库服务器群CPU线程总数发送至群性能匹配判定器进行工程判定。通过数据分割器对待处理的数据表进行等值分割，通过并发任务控制器启动与其CPU线程数等量的并发数据处理任务，进行实时数据处理。优点是对关键服务器的最佳并发任务数与CPU核心数、线程数、内存容量等硬件性能进行自适应匹配，克服了服务器在处理海量数据时的处理任务轻载或过载问题，提高数据处理效率。

技术领域

本发明涉及并发任务处理领域，具体涉及一种海量数据处理并发任务自适应测控方法及系统。

背景技术

随着信息系统在人类社会各领域应用的不断深入，反映人类生活规律的各类数据的存储量越来越大，如：电子商务、交通出行、电子教育等。这些数据的快速、高效分析结果能够为各行各业的发展决策提供科学的依据。而如何从海量的日常数据中快速提取高价值商用信息是人类社会活动的迫切需求，现有计算机应对海量数据处理耗时长造成了高价值商用信息的应用延迟。长期以来，如何科学有效地提高应用程序并发任务数并且合理分割数据库来提高数据处理效率一直困扰着息处理行业的发展。并发任务的处理需要计算机系统各个模块之间的密切配合，否则将会造成并发任务无法及时处理，严重拖慢软件的运行，严重甚至会导致计算机系统的宕机。同时如何将加计算机系统内的硬件与并发任务之间进行匹配同样是现存的难题，通过并发任务与CPU核心数、内存等硬件之间的更好配合可有效实现并发任务的快速处理，同时降低硬件购置资金的浪费。

因此，探索信息处理网络提高信息处理效率，有效利用信息网络中关键节点设备的高性能、科学地优化各关键服务节点间的协作关系成为亟待解决的问题。

发明内容

本发明所要解决的技术问题是：提供一种海量数据处理并发任务自适应测控方法及系统，解决处理处理海量数据时并发任务数与CPU核心数、线程数的合理匹配问题，实现提高海量数据处理效率的目标。

本发明解决上述问题所采用的技术方案为：一种海量数据处理并发任务自适应测控方法，包括以下步骤：

步骤1、通过参数扫描器对网络系统中的应用服务器群、数据库服务器群进行扫描，记录每个应用服务器和数据库服务器的硬件参数，并将所述的硬件参数存储于硬件参数寄存器内，所述的硬件参数包括CPU核心数、线程数以及内存容量值；

步骤2、将步骤1中扫描到的硬件参数经性能指标提取器处理后发送到性能指标匹配判定器内并进行工程匹配性判定，若不符合参数要求，通过系统管理员对其进行硬件调整，使其符合参数要求；若符合参数要求，将符合参数要求的硬件参数值信息存储至群参数寄存器内；

步骤3、通过群性能指标统计器读取群参数寄存器内的硬件参数，并通过累加获得应用服务器群中所有应用服务器的CPU线程总数为NA_thread和数据库服务器群中所有数据库服务器的CPU线程总数为ND_thread；

步骤4、将步骤3中获得的应用服务器群CPU线程总数和数据库服务器群CPU线程总数发送至群性能匹配判定器进行工程判定，若不符合工程要求，通过系统管理员对应用服务器群相应的应用服务器的CPU核心数进行调整，使应用服务器群CPU线程总数大于等于数据库服务器群CPU线程总数，符合工程要求；若符合工程要求，将应用服务器群CPU线程总数及群中每个应用服务器的CPU线程数传递至数据库控制器；

步骤5、通过数据库控制器的数据分割器对数据库中待处理的数据表进行等值分割为NA_thread个分割表，对表名进行自动编号并记录保存在分割信息寄存器内；

步骤6、通过并发任务控制器在应用服务器群中的每个应用服务器上启动与其线程数等量的数据处理任务，并依次传递相应的表名，进行实时数据处理；