[发明专利]数据预处理性能的提升方法、装置、存储介质和设备

说明书

本申请公开了一种数据预处理性能的提升方法、装置、存储介质和设备，该方法为：基于预先获取得到的源数据文件，获得与各个源数据对象对应的作业；对各个作业进行分组，得到多个作业组；将各个作业组，分配给进程队列的各个元素；启动与每个元素对应的进程，对每个元素所拥有的作业组进行数据预处理，得到各个作业的目标数据对象，以及每个作业组执行数据预处理的处理时间；基于各个目标数据对象，获得多个目标数据文件；将各个目标数据文件，以及每个作业组执行数据预处理的处理时间，保存到预设的预处理数据库中。该方法可实现对各个作业的精细分组，确保每个进程的负载均衡，还可避免计算资源的浪费，从而有效提升业务系统的数据预处理性能。

技术领域

本申请涉及数据处理领域，尤其涉及一种数据预处理性能的提升方法、装置、存储介质和设备。

背景技术

国际运价计算系统计算逻辑复杂，数据量庞大，而且要支持历史计算和退改签业务，需要存储历史数据，数据记录数量以百亿计。如此庞大的数据量，如果这些原始数据不做任何处理，直接参与计算的话，系统的性能很难得到保证。为了支持海量数据环境下的计算性能，需要对源数据进行预处理，将来自一个或多个源数据文件的源数据，按照业务的相关性及使用的便利性组织成预处理数据库(DataBase，DB)，供计算引擎使用。同时，由于每小时都会有运价原始数据的推送，预处理DB需要快速构建及更新，以保证运价数据的时效性和计算的准确性，这就对数据预处理的性能提出了较高的要求。

对于现有的数据预处理过程而言，数据预处理的执行时间过长、处理效率低下，且较为浪费计算资源，明显可见的，现有的数据预处理过程的数据预处理性能较为低下。

发明内容

本申请提供了一种数据预处理性能的提升方法、装置、存储介质和设备，目的在于提升数据预处理性能。

为了实现上述目的，本申请提供了以下技术方案：

一种数据预处理性能的提升方法，包括：

基于预先获取得到的源数据文件，获得与各个源数据对象对应的作业；

对各个所述作业进行分组，得到多个作业组；

将各个所述作业组，分配给进程队列的各个元素；所述进程队列以预先配置的进程数量作为队列长度预先构建得到，且所述进程队列中各个所述元素，按照所述元素的作业量由少到多的顺序进行排序；所述元素的作业量代表所述元素所包含的作业数量；

启动与每个所述元素对应的进程，对每个所述元素所拥有的作业组进行数据预处理，得到各个所述作业的目标数据对象，以及每个所述作业组执行数据预处理的处理时间；

基于各个所述目标数据对象，获得多个目标数据文件；

将各个所述目标数据文件，以及每个所述作业组执行数据预处理的处理时间，保存到预设的预处理数据库中。

可选的，所述基于预先获取得到的源数据文件，获得与各个源数据对象对应的作业，包括：

预先从业务系统中获取源数据文件，并对所述源数据文件进行读取，得到源数据；

将所述源数据的各个纪录进行内存对象映射，得到各个源数据对象；

创建与每个所述源数据对象对应的作业。

可选的，所述对各个所述作业进行分组，得到多个作业组，包括：

对各个所述源数据对象进行关键字提取，得到每个所述源数据对象的关键字集合；所述关键字集合包括一个或多个关键字；

按照预设分组规则，对各个所述源数据对象进行分组，得到多个对象组；所述预设分组规则为：将包含有同一分组关键字的多个源数据对象，分配到同一对象组；