[发明专利]一种海量数据处理并发任务自适应测控方法及系统

权利要求书

1.一种海量数据处理并发任务自适应测控方法，其特征在于，包括以下步骤：

步骤1、通过参数扫描器对网络系统中的应用服务器群、数据库服务器群进行扫描，记录各个应用服务器和数据库服务器的硬件参数，并所述的硬件参数存储于硬件参数寄存器内，所述的硬件参数包括CPU核心数、线程数以及内存容量值；

步骤2、将步骤1中扫描到的硬件参数发送到性能指标匹配判定器内并进行工程匹配性判定，若不符合参数要求通过系统管理员对其进行硬件调整，使其符合参数要求；若符合参数要求，将符合参数要求的硬件参数值对应的信息存储至群参数寄存器内；

步骤3、通过群性能指标统计器读取群参数寄存器内的硬件参数，并通过累加获得应用服务器群中所有应用服务器的CPU线程总数为NA_thread和数据库服务器群中所有数据库服务器的CPU线程总数为ND_thread；

步骤4、将步骤3中获得的应用服务器群CPU线程总数和数据库服务器群CPU线程总数发送至群性能匹配判定器进行工程判定，若不符合工程要求通过系统管理员对应用服务器群对应的应用服务器的CPU核心数进行调整，使应用服务器群CPU线程总数大于等于数据库服务器群CPU线程总数，符合工程要求；若符合工程要求，将应用服务器群CPU线程总数及对应的应用服务器的CPU线程数传递至数据库控制器；

步骤5、通过数据库控制器的数据分割器对数据库中待处理的数据表进行等值分割为NA_thread个分割表，对表名进行自动编号并记录保存在分割信息寄存器内；

步骤6、通过并发任务控制器在应用服务器群的各成员服务器中启动与其CPU线程数等量的并发数据处理任务，并依次传递相应的表名，进行实时数据处理；

步骤7、通过步骤6完成数据任务的每个应用程序在任务结束后，反馈应用程序正常结束信息给并发任务控制器，当全部应用程序都正常结束后，并发任务控制器发送任务结束指令至数据库控制器，数据库控制器的数据合并器对分割表的处理结果进行合并，并存储至合并结果存储器，当应用服务器有未正常结束的应用程序时，并发任务控制器发送反馈信息至数据库控制器，数据库控制器重新发送表名给并发任务控制器单独启动应用服务器的应用程序重新处理未完成处理的数据表。

2.如权利要求1所述的一种海量数据处理并发任务自适应测控方法，其特征在于，所述的内存容量值为N_RAM，CPU核心数为N_CPU，所述步骤2中的参数要求为N_RAM/N_CPU≥4为符合参数要求，否则为不符合参数要求。

3.如权利要求1所述的一种海量数据处理并发任务自适应测控方法，其特征在于，步骤4中的工程要求关系为应用服务器群CPU线程总数为NA_thread与数据库群CPU线程总数为ND_thread相比，当NA_thread≥ND_thread时为符合工程要求，否则为不符合工程要求。

4.如权利要求1所述的一种海量数据处理并发任务自适应测控方法，其特征在于，所述的参数扫描器包括CPU硬件特征检测器和内存硬件特征检测器，所述的CPU硬件特征检测器用于检测CPU核心数、线程数，所述的内存硬件特征检测器用于检测应用服务器群、数据库服务器群中所有成员服务器的内存容量值。

5.如权利要求1所述的一种海量数据处理并发任务自适应测控方法，其特征在于，所述步骤2通过性能指标提取器对硬件参数寄存器内的硬件参数进行提取，并通过性能指标提取器处理后将硬件参数发送至性能指标匹配判定器。