[发明专利]一种大数据清洗方法及装置

权利要求书

1.一种大数据清洗方法，其特征在于，包括：

通过高性能消息服务器获取待清洗数据；

对所述待清洗数据进行模板匹配，获取所述待清洗数据所对应的清洗模板；

根据所述清洗模板对所述待清洗数据进行过滤处理，得到过滤数据；

根据所述清洗模板对所述过滤数据进行提取处理，得到提取数据；

根据所述清洗模板对所述提取数据进行数据转换处理，得到转换数据，输出结果。

2.如权利要求1所述的大数据清洗方法，其特征在于，还包括：根据所述清洗数据，在数据库中查询得到所述清洗数据所对应的信息数据。

3.如权利要求1所述的大数据清洗方法，其特征在于，所述清洗模板包括过滤子模板、提取子模板和转换子模板；

根据所述过滤子模板对所述待清洗数据进行过滤处理，得到过滤数据；

根据所述提取子模板对所述过滤数据进行提取处理，得到提取数据；

根据所述转换子模板对所述提取数据进行数据转换处理，得到转换数据。

4.如权利要求1所述的大数据清洗方法，其特征在于，所述过滤处理、提取处理和数据转换处理的过程均使用多线程技术进行数据清洗。

5.一种大数据清洗装置，其特征在于，包括：

数据获取模块，用于通过高性能消息服务器获取待清洗数据；

模板匹配模块，用于对所述待清洗数据进行模板匹配，获取所述待清洗数据所对应的清洗模板；

数据过滤模块，用于根据所述清洗模板对所述待清洗数据进行过滤处理，得到过滤数据；

数据提取模块，用于根据所述清洗模板对所述过滤数据进行提取处理，得到提取数据；

数据转换模块，用于根据所述清洗模板对所述提取数据进行数据转换处理，得到转换数据，输出结果。

6.如权利要求5所述的大数据清洗装置，其特征在于，还包括：数据查询模块，用于根据所述清洗数据，在数据库中查询得到所述清洗数据所对应的信息数据。

7.如权利要求5所述的大数据清洗装置，其特征在于，所述清洗模板包括过滤子模板、提取子模板和转换子模板；

所述数据过滤模块用于根据所述过滤子模板对所述待清洗数据进行过滤处理，得到过滤数据；

所述数据提取模块用于根据所述提取子模板对所述过滤数据进行提取处理，得到提取数据；

所述数据转换模块用于根据所述转换子模板对所述提取数据进行数据转换处理，得到转换数据。

8.如权利要求5所述的大数据清洗装置，其特征在于，所述过滤处理、提取处理和数据转换处理的过程均使用多线程技术进行数据清洗。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～4任一项所述的大数据清洗方法。

10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～4任一项所述的大数据清洗方法。