[发明专利]一种数据预处理方法及装置

权利要求书

1.一种数据预处理方法，其特征在于，包括：

对源数据文件进行解压，得到待处理数据文件，并统计所述待处理数据文件中的数据量大小以及数据行的行数和数据列的列数；

根据所述数据行的行数和所述数据列的列数从数据预处理库中匹配对应的线程数量，所述数据预处理库中存储有数据行的行数、数据列的列数与线程数量的对应关系；

按列将所述待处理数据文件划分为所述线程数量对应的份数，并使用Pandas包里的工具将每列数据创建为series对象进行存储；

根据所述数据行或所述数据列的数据元素业务含义从预处理规则集合中确定对应的预处理规则，所述预处理规则集合中存储有数据元素业务含义与预处理规则的对应关系；

使用对应的所述预处理规则，按列对所述待处理数据文件中的每列数据进行预处理。

2.根据权利要求1所述的方法，其特征在于，所述对源数据文件进行解压，得到待处理数据文件，并统计所述待处理数据文件中的数据量大小以及数据行的行数和数据列的列数，具体为：

对gz压缩包格式的所述源数据文件进行解压，得到待处理数据文件；

使用Pandas将所述待处理数据文件读取到数据缓存中；

根据所述待处理数据文件的读取情况统计所述待处理数据文件中的所述数据量大小以及所述数据行的行数和所述数据列的列数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据行的行数和所述数据列的列数从数据预处理库中匹配对应的线程数量，所述数据预处理库中存储有数据行的行数、数据列的列数与线程数量的对应关系，具体为：

获取所述待处理数据文件的所述数据量大小、所述数据行的行数和所述数据列的列数；

将所述数据行的行数和所述数据列的列数与对应的预设值进行对比，从所述数据预处理库中匹配对应的所述线程数量，所述数据预处理库中存储有数据行的行数、数据列的列数与线程数量的对应关系。

4.根据权利要求1所述的方法，其特征在于，针对每一列数据的预处理，具体为：

提取所述待处理数据文件中当前列数据；

根据所述数据行或所述数据列的数据元素业务含义判断所述预处理规则集合中是否存在所述待处理数据文件对应的数据元素业务含义；

若是，则使用所述数据元素业务含义确定对应的预处理规则，并按照所述预处理规则对所述待处理数据文件中当前列数据进行预处理；

若否，则为所述待处理数据文件中当前列数据配置对应的预处理规则和数据元素业务含义，得到新的预处理规则，使用所述新的预处理规则对所述待处理数据文件中当前列数据进行预处理，并将所述新的预处理规则以及对应的数据元素业务含义存储在所述预处理规则集合中。

5.根据权利要求4所述的方法，其特征在于，在对所述待处理数据文件中每一列数据进行预处理的过程中，还包括：

判断所述待处理数据文件中所有列数据是否处理完成；

若否，则提取所述待处理数据文件中当前列数据的下一列数据，使用所述预处理规则对所述待处理数据文件中下一列数据进行预处理。

6.一种数据预处理装置，其特征在于，包括：

第一处理单元，用于对源数据文件进行解压，得到待处理数据文件，并统计所述待处理数据文件中的数据量大小以及数据行的行数和数据列的列数；

第二处理单元，用于根据所述数据行的行数和所述数据列的列数从数据预处理库中匹配对应的线程数量，所述数据预处理库中存储有数据行的行数、数据列的列数与线程数量的对应关系；

第三处理单元，用于按列将所述待处理数据文件划分为所述线程数量对应的份数，并使用Pandas包里的工具将每列数据创建为series对象进行存储；

第四处理单元，用于根据所述数据行或所述数据列的数据元素业务含义从预处理规则集合中确定对应的预处理规则，所述预处理规则集合中存储有数据元素业务含义与预处理规则的对应关系；

第五处理单元，用于使用对应的所述预处理规则，按列对所述待处理数据文件中的每列数据进行预处理。