[发明专利]批量数据的处理方法、装置、设备及存储介质

说明书

本发明公开了一种基于大数据处理的批量数据的处理方法、装置、设备及存储介质，所述方法包括：在将待处理业务数据写入数据库时，获取所述待处理业务数据，其中，所述待处理业务数据为电子表格Excel格式的合规数据；调用预设区域中的预设转换工具，通过所述预设转换工具将所述Excel格式的合规数据进行转换，生成轻量级的预设格式的入库数据；在预设关系映射表中查找与所述预设格式对应的解析方式，通过所述解析方式对所述入库数据进行解析，得到解析后的入库数据；将解析后的入库数据分批写入所述数据库。本发明将传统的Excel文件格式的文件转换为轻量级格式的文件进行分批写入数据库，缓解大数据批量写入数据库时造成的处理压力。

技术领域

本发明涉及数据处理领域，尤其涉及一种批量数据的处理方法、装置、设备及存储介质。

背景技术

目前，合规系统业务上经常有大量数据需要通过外部入库。按传统的Excel形式,由于格式复杂导致解析缓慢,使得服务器不堪重负,严重影响日常的业务使用，从而降低服务器的处理效率。

发明内容

本发明的主要目的在于提出一种批量数据的处理方法、装置、设备及存储介质，旨在提高服务器的处理效率。

为实现上述目的，本发明提供一种批量数据的处理方法，所述批量数据的处理方法包括以下步骤：

在将待处理业务数据写入数据库时，获取所述待处理业务数据，其中，所述待处理业务数据为电子表格Excel格式的合规数据；

调用预设区域中的预设转换工具，通过所述预设转换工具将所述Excel格式的合规数据进行转换，生成轻量级的预设格式的入库数据；

在预设关系映射表中查找与所述预设格式对应的解析方式，通过所述解析方式对所述入库数据进行解析，得到解析后的入库数据；

将解析后的入库数据进行分批次写入所述数据库。

优选地，所述在将待处理业务数据写入数据库时，获取所述待处理业务数据之前，所述方法还包括：

获取原始写入数据，根据预设规则对所述原始写入数据进行过滤，将过滤后的原始写入数据作为所述待处理业务数据。

优选地，所述获取原始写入数据，根据预设规则对所述原始写入数据进行过滤，将过滤后的原始写入数据作为所述待处理业务数据，包括：

获取原始写入数据，判断所述原始写入数据是否含有预设关键字；

在所述原始写入数据含有预设关键字时，提取所述原始写入数据中含有预设关键字的敏感数据，并将所述敏感数据进行删除；

将删除后的原始写入数据作为所述待处理业务数据。

优选地，所述调用预设区域中的预设转换工具，通过所述预设转换工具将所述Excel格式的合规数据进行转换，生成轻量级的预设格式的入库数据之前，所述方法还包括：

获取工具写入指令，提取所述工具写入指令中的转换工具以及存储地址信息；

根据所述存储地址信息将所述转换工具写入预设区域。

优选地，所述预设格式为逗号分隔值CSV格式；

所述调用预设区域中的预设转换工具，通过所述预设转换工具将所述Excel格式的合规数据进行转换，生成轻量级的预设格式的入库数据，包括：

调用预设区域中的预设转换工具，通过所述预设转换工具引入java归档数据包；

将Excel格式的合规数据的文件后缀转成CSV格式的后缀，并载入Excel格式的合规数据；

获取工作簿函数，根据所述工作簿函数提取所述合规数据中的工作簿数据；