[发明专利]一种数据采集和文件下传的方法及系统

权利要求书

1.一种数据采集和文件下传的方法，其特征在于，所述方法包括：

对数据采集命令参数进行解析，得到系统配置文件、采集配置文件，并根据所述系统配置文件和所述采集配置文件创建任务列表，所述任务列表中的每个任务对应数据采集任务和文件下传任务；

根据所述任务列表在第一共享内存中创建数据采集请求/回复池，并在第二共享内存中创建文件下传请求/回复池；

将所述任务列表中的每个数据采集任务存放在数据采集请求池中，从所述数据采集请求池中获取并执行待处理数据采集任务，并当所述待处理数据采集任务执行结束后在数据采集回复池中记录所述待处理数据采集任务的状态；

将每个已完成的数据采集任务对应的文件下传任务存放在文件下传请求池中，从所述文件下传请求池中获取并执行待处理文件下传任务，当所述待处理文件下传任务执行结束后在文件下传回复池中记录所述待处理文件下传任务的状态；

当检测到所述任务列表中每个任务对应的文件下传任务都已完成时，释放所述第一共享内存资源和所述第二共享内存资源；

其中，所述将所述任务列表中的每个数据采集任务存放在数据采集请求池中，从所述数据采集请求池中获取并执行待处理数据采集任务，并当所述待处理数据采集任务执行结束后在数据采集回复池中记录所述待处理数据采集任务的状态，包括：

遍历所述任务列表，获取待处理数据采集任务；

判断所述待处理数据采集任务是否为请求类型；

若是请求类型，获取数据采集请求池的地址，并判断所述数据采集请求池的任务信号量是否大于0；

若大于0，判断当前是否有生产者锁；

若有生产者锁，获取所述生产者锁，将所述待处理数据采集任务存放在所述数据采集请求池中，释放所述生产者锁，并对所述数据采集请求池的任务信号量减1；

若是回复类型，获取数据采集回复池的地址，并判断所述数据采集回复池的任务信号量是否大于0；

若大于0，判断当前是否有消费者锁；

若有消费者锁，获取所述消费者锁，从所述数据采集请求池中获取并执行所述待处理数据采集任务，当所述待处理数据采集任务执行结束后在所述数据采集回复池中记录所述待处理数据采集任务的状态，释放所述消费者锁，并对所述数据采集回复池的任务信号量减1。

2.根据权利要求1所述的方法，其特征在于，所述系统配置文件包括系统标识、数据库账户信息、数据库事务大小、数据文件下传脚本、以及数据文件存放路径；所述采集配置文件包括银行类型、待采集表的数量和类型、以及数据采集动态SQL语句。

3.根据权利要求1所述的方法，其特征在于，所述将每个已完成的数据采集任务对应的文件下传任务存放在文件下传请求池中，从所述文件下传请求池中获取并执行待处理文件下传任务，当所述待处理文件下传任务执行结束后在文件下传回复池中记录所述待处理文件下传任务的状态，包括：

当检测到所述数据采集回复池中记录有已完成数据采集任务时，获取与已执行数据采集任务相对应的待处理文件下传任务；

判断所述待处理文件下传任务是否为请求类型；

若是请求类型，获取文件下传请求池的地址，并判断所述文件下传请求池的任务信号量是否大于0；

若大于0，判断当前是否有生产者锁；

若有生产者锁，获取所述生产者锁，将所述待处理文件下传任务存放在所述文件下传请求池中，释放所述生产者锁，并对所述文件下传请求池的任务信号量减1；

若是回复类型，获取文件下传回复池的地址，并判断所述文件下传回复池的任务信号量是否大于0；

若大于0，判断当前是否有消费者锁；

若有消费者锁，获取所述消费者锁，从所述文件下传请求池中获取并执行所述待处理文件下传任务，当所述待处理文件下传任务执行结束后在所述文件下传回复池中记录所述待处理文件下传任务的状态，释放所述消费者锁，并对所述文件下传回复池的任务信号量减1。