[发明专利]一种大数据智能清洗系统及云机器人智能清洗服务平台

说明书

技术领域

本发明涉及大数据服务技术领域，尤其涉及一种大数据智能清洗系统及云机器人智能清洗服务平台。

背景技术

随着大数据时代的到来，数据的规模变得庞大，数据的增长速度变快，数据的类型和结构也更加繁多。在增长的过程中，数据量的叠加造成了大量数据的重复，存在许多垃圾数据或者说无用的数据。另外，数据中存在的不完整的、错误的、近似的数据信息需要补全、修正、转换。因此，需要从现有的大数据量中清洗出对应的数据，通过数据清洗能够实现对大数据进行降噪，主要是将重复的数据、不完整的数据和错误的数据进行排除，从而得到一致性较高的数据。

现有的数据清洗工作多采用人工方式，清洗效率较低。

发明内容

针对现有技术中存在的问题，本发明提供了一种大数据智能清洗系统。

本发明采用如下技术方案：

一种大数据智能清洗系统，包括：

输入模块，所述输入模块用于提供给用户输入至少一种预清洗数据，每种所述预清洗数据分别对应一唯一的业务类型；

数据处理模块，所述数据处理模块连接所述输入模块，用于从所述预清洗数据中自动扫描提取目标字段，并处理得到可分析模型；

存储模块，所述存储模块连接所述数据处理模块，包括至少一个数据库，每个所述数据库分别用于存储一种所述预清洗数据及相应的所述多个可分析模型，以及分别用于存储保护对应每种所述预清洗数据的多个标准数据模型；

清洗模块，所述清洗模块连接所述存储模块，用于对所述预清洗数据进行清洗处理以得到标准化数据并输出匹配信息，所述清洗处理包括模型匹配处理和语音核对处理。

优选的，所述多种预清洗数据的数据类型包括所述多种预清洗数据的数据类型包括文本数据、图像数据及语音数据。

优选的，所述数据处理模块利用数据仓库技术从所述预清洗数据中自动扫描提取所述目标字段，并根据预设的分类算法对所述目标字段处理得到所述可分析模型。

优选的，所述清洗模块包括:

模型匹配单元，用于根据所述多个标准数据模型对所述多个可分析模型进行所述模型匹配处理，以使每个所述可分析模型分别与一所述标准数据模型匹配并得到相应的所述标准化数据，以及用于输出第一匹配结果；

语音核对单元，所述语音核对单元连接所述模型匹配单元，用于接收所述第一匹配结果并在所述第一匹配结果为失败时，利用语音合成技术和语义识别技术根据所述有效信息对关联于所述有效信息的所述用户进行语音核对处理，以使每个所述可分析模型分别与一所述标准数据模型匹配并得到相应的所述标准化数据并在匹配失败时删除所述可分析模型及相应的所述预清洗数据，以及用于输出第二匹配结果；

所述匹配信息包括所述第一匹配结果和所述第二匹配结果。

优选的，所述大数据智能清洗系统还包括：

更新模块，所述更新模块连接所述存储模块和所述清洗模块，用于利用深度学习技术根据所述第一匹配结果和所述第二匹配结果分别对所述清洗处理的处理规则进行更新；

所述存储模块还用于存储更新后的所述清洗处理的处理规则。

优选的，所述大数据智能清洗系统还包括：

分析模块，所述分析模块连接清洗模块，用于根据所述第一匹配结果和所述第二匹配结果对所述预清洗数据进行分析处理以得到数据分析报告。

优选的，所述大数据智能清洗系统还包括：

云端加速模块，所述云端加速模块连接所述清洗模块，所述云端加速模块用于根据预设的业务需求调整所述清洗模块的进行所述清洗处理的速度。

优选的，一种云机器人智能清洗服务平台，采用上述的大数据智能清洗系统。

本发明的有益效果：大幅度提升数据清洗效率的同时也大大减少人力消耗，相应减少企业的办公场地、办公用品等费用，从而极大地减低了企业大数据清洗的成本，为用户提供高效、便捷、准确的标准化数据。

附图说明

图1为本发明的一种优选实施例中，大数据智能清洗系统的功能模块示意图；

图2为本发明的一种优选实施例中，清洗模块的功能模块示意图。

具体实施方式

需要说明的是，在不冲突的情况下，下述技术方案，技术特征之间可以相互组合。

下面结合附图对本发明的具体实施方式作进一步的说明：

如图1所示，一种大数据智能清洗系统，包括：

输入模块1，上述输入模块1用于提供给用户输入至少一种预清洗数据，每种上述预清洗数据分别对应一唯一的业务类型；