[发明专利]数据处理方法、装置、处理器及电子设备

说明书

本申请公开了一种数据处理方法、装置、处理器及电子设备。涉及云计算领域，方法包括：获取待加载文件，以及配置文件，其中，配置文件包括待加载文件的文件名，以及数据库表的表名，数据库表中的多个表字段分别与待加载文件的文件位置相对应；根据配置文件对待加载文件进行裁剪，确定与多个表字段对应的多个文件字段；根据表字段对应的处理函数，对表字段对应的文件字段进行处理；将处理后的文件字段存储到对应的数据库中。通过本申请，解决了相关技术中的分布式系统在大批量数据加载时，存在平稳性差，效率低的问题。

技术领域

本申请涉及云计算领域，具体而言，涉及一种数据处理方法、装置、处理器及电子设备。

背景技术

当下互联网行业发展迅猛，企业间、产品间、应用间的数据共享，传递需求也日益增长。在信息量暴涨的时代，加载大批量的数据文件时，还需保证数据库的平稳，确保对外的联机服务不因数据加载而影响性能，造成对外服务体验下滑。同时在开放平台系统上，数据库系统百家争鸣，数据库间存在一定的异构性，导致数据文件加载方案，无法兼容各种数据库系统，而且数据库系统更换或对接，会带来过大的系统迁移工作量。

针对相关技术中的分布式系统在大批量数据加载时，存在平稳性差，效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据处理方法、装置、处理器及电子设备，以解决相关技术中的分布式系统在大批量数据加载时，存在平稳性差，效率低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据处理方法，包括：获取待加载文件，以及配置文件，其中，所述配置文件包括所述待加载文件的文件名，以及数据库表的表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段；根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理；将处理后的文件字段存储到对应的数据库中。

可选的，根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段之前，所述方法还包括：获取所述待加载文件的文件清单，其中，所述文件清单包括多个待加载文件的文件名；对所述配置文件进行解析，确定所述待加载文件的文件名，以及数据库表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应；对所述文件清单进行遍历，对多个所述待加载文件进行检查。

可选的，对所述文件清单进行遍历，对多个所述待加载文件进行检查包括：对所述文件清单进行遍历，读取待加载文件的文件行的长度；根据所述配置文件，确定所述数据库表的表字段对应的文件行的长度；在读取的文件行的长度与所述数据库表对应的文件行的长度一致的情况下，执行根据所述配置文件对所述待加载文件进行裁剪，确定与所述多个表字段对应的多个文件字段的步骤；在读取的文件行的长度与所述数据库表对应的文件行的长度不一致的情况下，跳过所述待加载文件的文件行，对后续文件行进行检查，并将跳过的文件行进行日志登记。

可选的，所述待加载文件的文件名，以及数据库表名，所述数据库表中的多个表字段分别与所述待加载文件的文件位置相对应包括：根据所述表字段对应的文件位置，对所述待加载文件中处于所述文件位置的内容数据进行裁剪；在剪裁的内容数据不为空的情况下，将裁剪的内容数据作为所述文件字段，与所述表字段建立对应关系，并进行存储；在剪裁的内容数据为空的情况下，将预设的默认内容数据作为所述文件字段，与所述表字段建立对应关系，并进行存储。

可选的，根据所述表字段对应的处理函数，对所述表字段对应的文件字段进行处理包括：根据所述对应关系，确定对应关系中的表字段对应的处理函数，其中，所述表字段对应的处理函数，为预先在所述配置文件中设置的；通过所述处理函数对所述对应关系对应的所述文件字段进行处理。