[发明专利]异常数据修正方法及装置

说明书

本发明公开了一种异常数据修正方法及装置，该方法包括：获取待处理文件的配置参数；根据配置参数获取待处理文件中预设行数据的列个数；将预设行数据的列个数与待处理文件的列个数进行对比，根据对比结果对待处理文件中的预设行数据进行换行异常修正。本发明可以保证该预设行数据能够顺利加载至目的端，同时保证了加载至目的端的数据的正确性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种异常数据修正方法及装置。

背景技术

对于结构化数据文本，即行数据文本，可以用二维表结构来表达实现的数据文本。现有技术在对结构化数据文本进行ETL(ETL，是Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程)的过程中，经常会出现获取的某一行数据是不完整的情况，从而导致该行数据没办法加载至目的端，或者加载至目的端的数据是不正确的。因此，提供一种对该异常数据进行修正的方法是十分必要的。

发明内容

本发明实施例提供一种异常数据修正方法，用以保证该预设行数据能够顺利加载至目的端，同时保证了加载至目的端的数据的正确性，该方法包括：

获取待处理文件的配置参数；

根据所述配置参数获取待处理文件中预设行数据的列个数；

将预设行数据的列个数与待处理文件的列个数进行对比，根据对比结果对所述待处理文件中的预设行数据进行换行异常修正。

可选的，所述配置参数包括：文件名称、文件列分隔符、文件列个数。

可选的，将预设行数据的列个数与待处理文件的列个数进行对比，根据对比结果对待处理文件中异常行数据进行修正，包括：

将预设行数据的列个数与待处理文件的列个数进行对比，根据对比结果确定所述预设行数据是否存在换行异常；

若所述预设行数据存在换行异常，则对所述预设行数据和所述预设行数据的上一行数据进行拼接处理，完成对所述待处理文件中的预设行数据的换行异常修正。

可选的，根据对比结果确定所述预设行数据是否存在换行异常，包括：

若所述预设行数据不存在换行异常，则对所述预设行数据进行拆分，获取所述预设行数据的列个数；

判断所述预设行数据的列个数是否小于待处理文件中的列个数，若是，则对所述预设行数据进行拼接标识，否则，将所述预设行数据写入目标数据文件。

本发明实施例还提供一种异常数据修正装置，用以保证该预设行数据能够顺利加载至目的端，同时保证了加载至目的端的数据的正确性，该装置包括：

参数获取模块，用于获取待处理文件的配置参数；

列个数获取模块，用于根据所述配置参数获取待处理文件中预设行数据的列个数；

数据修正模块，用于将预设行数据的列个数与待处理文件的列个数进行对比，根据对比结果对所述待处理文件中的预设行数据进行换行异常修正。

可选的，所述配置参数包括：文件名称、文件列分隔符、文件列个数。

可选的，所述数据修正模块进一步用于：

将预设行数据的列个数与待处理文件的列个数进行对比，根据对比结果确定所述预设行数据是否存在换行异常；

若所述预设行数据存在换行异常，则对所述预设行数据和所述预设行数据的上一行数据进行拼接处理，完成对所述待处理文件中的预设行数据的换行异常修正。

可选的，所述数据修正模块进一步用于：