[发明专利]一种数据采集和文件下传的方法及系统

说明书

本申请公开了一种数据采集和文件下传的方法及系统，可以灵活配置采集配置文件中的数据采集动态SQL语句。分别在两个共享内存中创建数据采集请求/回复池和文件下传请求/回复池；将数据采集任务列表中的每个数据采集任务存放在数据采集请求池中，从数据采集请求池中获取并执行待处理数据采集任务；将每个已完成的数据采集任务对应的文件下传任务存放在文件下传请求池中，从文件下传请求池中获取并执行待处理文件下传任务，当待处理文件下传任务执行结束后在文件下传回复池中记录所述待处理文件下传任务的状态；数据采集任务与文件下传任务并发执行，提高了系统吞吐量和任务处理效率。

技术领域

本发明涉及一种数据处理技术领域，更具体的，涉及一种数据采集和文件下传的方法及系统。

背景技术

当前，全球化进程日益加深，金融机构的业务逐渐遍及海内外，这就要求金融机构的信息化系统要适应公司不断扩大的业务需求，从而导致外围系统日益繁多，系统间批处理交互日益频繁。

金融机构业务系统普遍面临大量数据采集与相对有限的服务器资源间的矛盾，如果没有高效方便的数据采集手段，短时间内的大量数据采集任务会造成服务器的批处理拥堵，甚至严重消耗计算资源和内存资源，导致其他批处理无法正常执行。

现有技术中，数据采集任务中，查询数据库的SQL语句是静态的，即数据库查询语句事先写好在程序里，如果变更查询语句，比如增加字段名称，就要修改程序，重新编译，灵活性不够。且单进程处理数据采集任务和文件生成任务，即先采集完某个表数据，生成文件下传给下游系统后再继续采集下一个表，这种数据采集和文件下传在同一进程内执行的强耦合方案，吞吐量小，效率极低。

发明内容

有鉴于此，本发明提供了一种数据采集和文件下传的方法及系统，数据采集和文件下传独立运行，并在各自的共享内存中构建共享内存任务循环池，使数据采集和文件下传并发处理，提高了数据采集任务和文件下传任务的处理效率。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种数据采集和文件下传的方法，所述方法包括：

对数据采集命令参数进行解析，得到系统配置文件、采集配置文件，并根据所述系统配置文件和所述采集配置文件创建任务列表，所述任务列表中的每个任务对应数据采集任务和文件下传任务；

根据所述任务列表在第一共享内存中创建数据采集请求/回复池，并在第二共享内存中创建文件下传请求/回复池；

将所述数据采集任务列表中的每个数据采集任务存放在数据采集请求池中，从所述数据采集请求池中获取并执行所述待处理数据采集任务，并当所述待处理数据采集任务执行结束后在数据采集回复池中记录所述待处理数据采集任务的状态；

将每个已完成的数据采集任务对应的文件下传任务存放在文件下传请求池中，从所述文件下传请求池中获取并执行待处理文件下传任务，当所述待处理文件下传任务执行结束后在文件下传回复池中记录所述待处理文件下传任务的状态；

当检测到所述任务列表中每个任务对应的文件下传任务都已完成时，释放所述第一共享内存资源和所述第二共享内存资源。

优选的，所述系统配置文件包括系统标识、数据库账户信息、数据库事务大小、数据文件下传脚本、以及数据文件存放路径；所述采集配置文件包括银行类型、待采集表的数量和类型、以及数据采集动态SQL语句。

优选的，所述将所述数据采集任务列表中的每个数据采集任务存放在数据采集请求池中，从所述数据采集请求池中获取并执行所述待处理数据采集任务，并当所述待处理数据采集任务执行结束后在数据采集回复池中记录所述待处理数据采集任务的状态，包括：

遍历所述任务列表，获取待处理数据采集任务；

判断所述待处理数据采集任务是否为请求类型；