[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取需要进行数据读取的数据源；

确定所述数据源的数据类型；

根据所述数据类型，确定适配的读取方式；

根据所述适配的读取方式对所述数据源进行读取，得到读取数据；

将所述读取数据转换为用于保存的待存储数据；

将所述待存储数据写入数据库中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据类型，确定适配的读取方式，包括：

在所述数据类型为文件类型时，根据所述数据源中的分隔符，按照预设策略获取与所述分隔符对应的读取方式；

在所述数据类型为数据库文件时，确定用于对所述数据库文件进行分页读取的读取方式。

3.根据权利要求2所述的方法，其特征在于，在所述数据类型为文件类型时，所述根据所述适配的读取方式对所述数据源进行读取，得到读取数据，包括：

获取所述数据源的数据量；

在所述数据源的数据量在预设区间内，对所述数据源全部进行读取，得到所述读取数据；

在所述数据源的数据量不在所述预设区间内时，按照预设顺序对所述数据源进行多次的分块读取，直至对所述数据源全部进行读取后，得到与个数与所述分块读取次数一致的所述读取数据；其中，每次分块读取得到的所述读取数据的数据量大小在所述预设区间内，且所有所述读取数据的总和与所述数据源一致。

4.根据权利要求1所述的方法，其特征在于，所述将所述读取数据转换为用于保存的待存储数据，包括：

匹配得到与所述数据源的数据类型对应的预设的数据转换方法；

根据所述数据转换方法对所述读取数据进行转换，得到所述待存储数据。

5.根据权利要求4所述的方法，其特征在于，所述根据所述数据转换方法对所述读取数据进行转换，得到所述待存储数据，包括：

匹配得到与所述数据源的数据类型对应的预设的过滤策略；

按照所述过滤策略对所述数据源进行过滤，在排除无效数据后得到过滤后数据；

根据所述数据转换方法对所述过滤后数据进行转换，得到所述待存储数据。

6.根据权利要求1所述的方法，其特征在于，所述将所述待存储数据写入数据库中，包括：

将所述待存储数据按照预设的单次写入数据量，分批写入所述数据库中。

7.根据权利要求1所述的方法，其特征在于，在获取需要进行数据读取的数据源之前，还包括：

获取用于进行存储的原始数据；

对所述原始数据进行分区，得到多个所述数据源；

根据所述数据源的个数，生成对应个数的作业任务，其中所述作业任务并行通过如权利要求1-6任一项中所述的方法将所述数据源写入数据库。

8.根据权利要求7所述的方法，其特征在于，在将所述待存储数据写入数据库中之后，还包括：

生成与所述作业任务对应的执行结果；

获取各个所述作业任务的执行结果，得到对所述原始数据的处理结果。

9.一种数据处理装置，其特征在于，包括：

获取模块，用于获取需要进行数据读取的数据源；

类型确定模块，用于确定所述数据源的数据类型；

确定模块，用于根据所述数据类型，确定适配的读取方式；

读取模块，用于根据所述适配的读取方式对所述数据源进行读取，得到读取数据；

处理模块，用于将所述读取数据转换为用于保存的待存储数据；

写入模块，用于将所述待存储数据写入数据库中。

10.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述计算机程序时，实现权利要求1-8任一项所述的处理方法。

11.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1-8任一项所述的处理方法。