[发明专利]数据处理耗时优化方法及系统

说明书

本发明提供一种数据处理耗时优化方法及系统，方法包括：对历史目标数据的耗时函数中的原参数组合进行优化，以获取目标参数组合；根据目标耗时函数和待处理目标数据，完成对待处理目标数据的数据处理过程中的耗时优化。所述系统执行所述方法。本发明通过对历史目标数据的耗时函数中的参数组合进行优化，得到优化后的目标参数组合，并利用目标参数组合对耗时函数进行优化，能够实现对待处理目标数据处理过程耗时优化的目的。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理耗时优化方法及系统。

背景技术

为了保证银行业务的正常进行，文件处理任务(文件批量处理系统从上游系统接收一个数据文件，对该文件进行接收、备份、转换、校验、归档，然后下发该数据文件给一个或多个下游系统)的耗时通常是有限制的。且随着银行业务扩张，上下游系统的数量不断增加，且数据文件(包含业务数据的文件)中包含的数据量不断增加，面对特殊的监管要求，文件处理任务有转换、加密等特殊要求。

面对日益增长的数据处理压力，尤其是文件处理压力，银行文件批量处理系统(该系统接收文件，然后对文件进行接收、备份、转换、校验、归档、分发)为了提高文件批量处理的效率，采取分布式架构，多实例(即文件批量处理系统在操作系统中的一个进程，如果文件批量处理系统是由java实现，一个实例即一个JVM进程。)并行处理文件。在多实例的条件下，如何平衡文件处理任务的分配与总体文件处理任务的耗时是目前亟需解决的技术问题。

发明内容

本发明提供的数据处理耗时优化方法及系统，用于现有技术中存在的上述问题，通过对历史目标数据的耗时函数中的参数组合进行优化，得到优化后的目标参数组合，并利用目标参数组合对耗时函数进行优化，能够实现对待处理目标数据处理过程耗时优化的目的。

本发明提供的一种数据处理耗时优化方法，包括：

对历史目标数据的耗时函数中的原参数组合进行优化，以获取目标参数组合；

根据目标耗时函数和待处理目标数据，完成对所述待处理目标数据的数据处理过程中的耗时优化；

其中，所述原参数组合至少包括所述数据处理过程中涉及到的各处理流程的历史目标数据的大小的第一系数、历史目标数据的转换类型的第二系数、历史目标数据的下发数量的第三系数以及预设常系数；

所述目标耗时函数是根据所述目标参数组合对所述耗时函数进行优化后确定的。

根据本发明提供的一种数据处理耗时优化方法，所述对历史目标数据的耗时函数中的原参数组合进行优化，以获取目标参数组合，包括：

根据遗传算法或粒子群算法对所述原参数组合进行优化，直至所述历史目标数据的处理耗时性能指标满足预设收敛条件；

根据优化后的原参数组合，确定所述目标参数组合。

根据本发明提供的一种数据处理耗时优化方法，所述处理耗时性能指标是通过如下方式确定的：

根据所述各处理流程的时间点，确定所述历史目标数据的实际耗时；

根据所述耗时函数和所述历史目标数据，确定所述历史目标数据的预测耗时；

根据所述实际耗时和所述预测耗时，确定所述处理耗时性能指标；

其中，所述各处理流程至少包括数据接收、数据备份、数据转换、数据校验、数据归档以及数据分发。

根据本发明提供的一种数据处理耗时优化方法，所述根据所述实际耗时和所述预测耗时，确定所述处理耗时性能指标，包括：

根据所述实际耗时和所述预测耗时的均方根误差，确定所述处理耗时性能指标。

根据本发明提供的一种数据处理耗时优化方法，所述预设收敛条件，包括：