[发明专利]数据处理方法、装置和计算机可读存储介质

说明书

本发明提供了一种数据处理方法和数据处理装置。所诉数据处理方法可以包括：利用预先配置的映射文件，对数据执行解析；校验经解析的数据的有效性；以及响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表。

技术领域

本发明涉及计算机领域，更具体地，涉及一种数据处理方法、装置和计算机可读存储介质，所述数据处理方法和装置能够将不同类型的数据统一转换成与之对应的中间表的数据格式，从而实现在大数据处理场景中数据分析处理的配置化，并降低程序编码的复杂性及维护成本。

背景技术

在电子商务领域，往往需要将业务系统产生的数据按照一定的规则，按时、准确、完整地导出至中间表。

为了将业务数据导出至中间表，目前往往针对每种业务类型的数据编写单独的程序以便将其导出。例如，针对诸如采购数据和退货数据的业务数据编写单独的程序，以便将其导出为诸如采购中间表、退货中间表的中间表形式。具体操作包括：首先，执行业务系统数据源准备，包括sqlserVer、mysql、oracle等关系型数据库。其次，使用MapReduce将业务数据解析成中间表需要的数据格式。不同的业务数据所用的解析程序是不同的，因此每种业务数据都需要编写自己的程序解析。最后，将抽取的数据写入中间表，从而生成中间表。

由于中间表数据量较大且每个表存储不同业务类型的数据，因此，现有的实现方案不仅开发工作量大，工作效率低，也给后期的修改及维护带来很多不便。现有的解决方案往往无法实现对数据导出格式的配置化，且需要针对每种类型的业务数据编写单独开发程序，导致各种不便。

综上，需要一种数据处理方法和数据处理装置，能够将不同类型的数据统一转换成与之对应的中间表的数据格式，使得能够大大降低业务数据与中间表的耦合性，使数据识别变得智能化，并减少许多不必要的开发工作量，从而提高工作效率。

发明内容

本公开的方面在于解决至少上述问题和/或缺点并提供至少下述优点。

根据本发明的第一方面，提供了一种数据处理方法，可以包括：利用预先配置的映射文件，对数据执行解析；校验经解析的数据的有效性；以及响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表。

优选地，所述映射文件针对来自不同源的不同业务数据，且所述映射文件可以包括定义中间表字段信息的第一文件以及定义了中间表字段与数据字段之间的映射关系的第二文件，其中所述对数据执行解析可以包括：加载所述映射文件，利用所述中间表字段信息和所述映射关系，将数据转换成符合中间表格式的数据。

优选地，所述对数据执行解析还可以包括：检查映射文件中是否定义了映射关系类属性，如果确定映射文件定义了映射关系类属性，则通过使用映射程序，来对数据执行进一步解析。

优选地，所述对数据执行解析还可以包括：检查映射文件中是否定义了扩展属性，如果确定映射文件定义了扩展属性，则根据继承的映射文件路径，加载针对扩展属性的公用映射文件并通过使用所述公用映射文件来对数据执行进一步解析。

优选地，所述数据处理方法还可以包括：在对数据执行解析之前，剔除并记录垃圾数据和错误数据。

优选地，所述校验经解析的数据的有效性可以包括：根据中间表字段的数据类型、字段是否为空以及字段最大长度中的一个或更多个，来校验经解析的数据的有效性。

根据本发明的第二方面，提供了一种数据处理装置，可以包括：存储器，用于存储可执行指令和预先配置的映射文件；以及处理器，与存储器相连，并用于执行存储器中存储的可执行指令，以执行如下操作：利用存储器中存储的映射文件，对数据执行解析；校验经解析的数据的有效性；以及响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表。