[发明专利]一种数据采集和文件下传的方法及系统

摘要

本申请公开了一种数据采集和文件下传的方法及系统，可以灵活配置采集配置文件中的数据采集动态SQL语句。分别在两个共享内存中创建数据采集请求/回复池和文件下传请求/回复池；将数据采集任务列表中的每个数据采集任务存放在数据采集请求池中，从数据采集请求池中获取并执行待处理数据采集任务；将每个已完成的数据采集任务对应的文件下传任务存放在文件下传请求池中，从文件下传请求池中获取并执行待处理文件下传任务，当待处理文件下传任务执行结束后在文件下传回复池中记录所述待处理文件下传任务的状态；数据采集任务与文件下传任务并发执行，提高了系统吞吐量和任务处理效率。

主权项

一种数据采集和文件下传的方法，其特征在于，所述方法包括：对数据采集命令参数进行解析，得到系统配置文件、采集配置文件，并根据所述系统配置文件和所述采集配置文件创建任务列表，所述任务列表中的每个任务对应数据采集任务和文件下传任务；根据所述任务列表在第一共享内存中创建数据采集请求/回复池，并在第二共享内存中创建文件下传请求/回复池；将所述数据采集任务列表中的每个数据采集任务存放在数据采集请求池中，从所述数据采集请求池中获取并执行所述待处理数据采集任务，并当所述待处理数据采集任务执行结束后在数据采集回复池中记录所述待处理数据采集任务的状态；将每个已完成的数据采集任务对应的文件下传任务存放在文件下传请求池中，从所述文件下传请求池中获取并执行待处理文件下传任务，当所述待处理文件下传任务执行结束后在文件下传回复池中记录所述待处理文件下传任务的状态；当检测到所述任务列表中每个任务对应的文件下传任务都已完成时，释放所述第一共享内存资源和所述第二共享内存资源。