[发明专利]一种文件导入方法、系统及设备

说明书

本发明涉及数据处理技术领域，公开了一种文件导入方法、系统及设备，所述方法包括：获取待导入文件和对应的导入规则标识，而后根据导入规则标识，在规则配置数据库中获取对应的规则配置信息，其中规则配置信息包括数据导入规则和数据配置规则。再基于待导入文件的文件类型和数据导入规则，读取待导入文件中的数据，然后根据数据配置规则，对数据进行处理得到目标数据，最后将目标数据写入数据库表。通过应用本发明的技术方案，能够在文件导入数据库的过程中，通过生成规则配置信息，在导入不同格式或不同参数的文件时，不需要重新编写代码，减少将文件导入数据库的重复工作，使数据能够及时进行存储，以便于文件数据的存储和后续的调用。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种文件导入方法、系统及设备。

背景技术

在进行项目设计的过程中，会存在大量对文件数据进行操作和存储的需求，而为了保证文件数据的安全性和可操作性，通常会采用将文件导入至数据库中的方式，对文件数据进行存储。

在导入数据至数据库进行存储时，需要进行定义导入文件模板、定义特定模板、文件内容读取、解析、校验以及批量插入特定业务数据库表的代码等工作，而由于不同文件中数据的数量和条目可能存在区别，对每个文件都需要生成或编写相应的代码才能够导入至数据库中。

但针对每个文件进行单独的代码编写的工作重复度高、效率较低，并且由于每个文件都需要进行代码编写，会导致存储不及时，影响后续的对文件中数据的调用等操作。

发明内容

本申请提供了一种文件导入方法、系统及设备，以解决在数据导入过程中每个文件都需要编写代码进行导入而导致存储不及时的问题。

根据本发明实施例的第一方面，提供了一种文件导入方法，包括：获取待导入文件和所述待导入文件对应的导入规则标识；根据所述导入规则标识，在规则配置数据库中获取所述导入规则标识对应的规则配置信息；所述规则配置信息包括数据导入规则和数据配置规则。

基于所述待导入文件的文件类型和所述数据导入规则，读取所述待导入文件中的数据；根据所述数据配置规则，对读取的所述待导入文件中的数据进行处理，得到目标数据；将所述目标数据写入数据库表。

在一种可选的方式中，在所述获取待导入文件和所述待导入文件对应的导入规则标识之前，所述方法还包括：获取用户输入的规则创建请求，所述规则创建请求用于请求创建所述规则配置信息；若确定所述规则创建请求满足预设条件，根据所述规则创建请求，在所述规则配置数据库中创建所述规则配置信息。

在一种可选的方式中，所述数据导入规则包括标题行索引、数据行索引和结束行索引，所述基于所述待导入文件的文件类型和所述数据导入规则，读取所述待导入文件中的数据，包括：根据所述标题行索引和所述数据行索引，确定所述待导入文件的数据读取位置；根据所述待导入文件的文件类型和所述数据读取位置，开始读取所述待导入文件中的数据；根据所述结束行索引，结束读取所述待导入文件中的数据。

在一种可选的方式中，所述数据配置规则包括所述待导入文件的标题列与数据库表列的映射关系，以及数据生成策略，所述根据所述数据配置规则，对所述待导入文件中的数据进行处理，得到目标数据，包括：根据所述待导入文件的标题列与数据库表列的映射关系，对所述待导入文件中的数据进行转换；根据所述数据生成策略和转换后的所述待导入文件中的数据，得到所述目标数据。

在一种可选的方式中，所述数据生成策略为导入策略、数据字典或默认字典，所述根据所述数据生成策略和转换后的所述待导入文件中的数据，得到所述目标数据，包括：根据所述导入策略，将所述转换后的所述待导入文件中的数据确定为所述目标数据；或者，根据所述数据字典，确定所述转换后的所述待导入文件中的数据在所述数据字典中对应的第一映射数据；将所述第一映射数据确定为所述目标数据；或者，根据所述默认字典，确定所述转换后的所述待导入文件中的数据在所述默认字典中对应的第二映射数据；将所述第二映射数据确定为所述目标数据。