[发明专利]数据处理方法、装置、处理器及电子设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取待加载文件，以及配置文件，其中，所述配置文件包括所述待加载文件的文件名，以及数据库表的表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；

根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段；

根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理；

将处理后的文件字段存储到对应的数据库中。

2.根据权利要求1所述的方法，其特征在于，根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段之前，所述方法还包括：

获取所述待加载文件的文件清单，其中，所述文件清单包括多个待加载文件的文件名；

对所述配置文件进行解析，确定所述待加载文件的文件名，以及数据库表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；

对所述文件清单进行遍历，对多个所述待加载文件进行检查。

3.根据权利要求2所述的方法，其特征在于，对所述文件清单进行遍历，对多个所述待加载文件进行检查包括：

对所述文件清单进行遍历，读取待加载文件的文件行的长度；

根据所述配置文件，确定所述数据库表的表字段对应的文件行的长度；

在读取的文件行的长度与所述数据库表对应的文件行的长度一致的情况下，执行根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段的步骤；

在读取的文件行的长度与所述数据库表对应的文件行的长度不一致的情况下，跳过所述待加载文件的文件行，对后续文件行进行检查，并将跳过的文件行进行日志登记。

4.根据权利要求2所述的方法，其特征在于，所述待加载文件的文件名，以及数据库表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应包括：

根据所述表字段对应的文件位置，对所述待加载文件中处于所述文件位置的内容数据进行裁剪；

在剪裁的内容数据不为空的情况下，将裁剪的内容数据作为所述文件字段，与所述表字段建立对应关系，并进行存储；

在剪裁的内容数据为空的情况下，将预设的默认内容数据作为所述文件字段，与所述表字段建立对应关系，并进行存储。

5.根据权利要求4所述的方法，其特征在于，根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理包括：

根据所述对应关系，确定对应关系中的表字段对应的处理函数，其中，所述表字段对应的处理函数，为预先在所述配置文件中设置的；

通过所述处理函数对所述对应关系对应的所述文件字段进行处理。

6.根据权利要求5所述的方法，其特征在于，将处理后的文件字段存储到对应的数据库中包括：

在所述处理函数为内置函数的情况下，在本地通过所述内置函数对所述文件字段进行处理；

在所述处理函数为非内置函数的情况下，将所述文件字段发送给所述数据库，其中，所述数据库在将所述文件字段载入之前，通过所述非内置函数对所述文件字段进行处理。

7.根据权利要求1中所述的方法，其特征在于，将处理后的文件字段存储到对应的数据库中包括：

根据所述处理后的文件字段，确定所述数据库对应的加载脚本；

通过运行所述加载脚本，将所述文件字段存储到所述数据库。

8.根据权利要求7中所述的方法，其特征在于，所述数据库为多个，根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理之前，所述方法还包括：

根据所述待加载文件中的标识字段，其中，所述标识字段用于标识所述待加载文件中的文件字段对应存储的数据库；

根据所述标识字段，以及标识字段标识的所述文件字段，确定所述文件字段存储的数据库标识。