[发明专利]一种用于大数据清洗的快速数据聚合方法

说明书

本发明公开了一种用于大数据清洗的快速数据聚合方法，包括以下步骤：数据读取：原有的数据是在Excel中存储的，利用文件流的形式读取出Excel中的数据信息，根据数据的格式，将读取出来的数据信息存储在记录列表中，最后返回一个记录列表；对大数据文本进行切分；进行文本相似度比较；聚合结果的显示和修改：将要显示的表单打印出来并且提供给用户修改和删除，修改完成后，进行表单的下载。

技术领域

本发明涉及大数据清洗技术领域，特别是一种用于大数据清洗的快速数据聚合方法。

背景技术

大数据时代，数据是企业最具价值的资产之一，企业的数据质量与业务绩效之间存在着直接联系，企业的每一个商业决策、客户管理和商业投资都是建立在数据分析的基础之上。进行数据清洗，可大幅提升企业数据质量，帮助企业进行更合理的决策，进一步降低成本和提高收入和竞争力。数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。然而，以大数据开展的数据挖掘面临着数据可用性等诸多问题，大数据清洗技术研究是保证大数据质量和可用性的关键技术，是提高企业数据商业价值的基础。快速的数据聚合方法是实现大数据清洗的核心技术。而现有数据聚合方法在处理大数据时，在算法时间复杂度和准确率上无法在有效时间内得到结果，不能满足大数据清洗的需求。

总结为两个问题：：一是如何能够提高聚合的准确度，如果按照传统的索引标识进行划分，虽然可以很方便规整，但是这样会使得文本内的聚合效果并不理想，没有关联性。二是如何在大数据量的时候提高算法的计算性能。

发明内容

本发明的目的在于，根据现有技术的不足，提供一种用于大数据清洗的快速数据聚合方法。

为实现以上目的，提供以下技术方案：

一种用于大数据清洗的快速数据聚合方法，包括以下步骤：

S1：数据读取：原有的数据是在Excel中存储的，利用文件流的形式读取出 Excel中的数据信息，根据数据的格式，将读取出来的数据信息存储在记录列表中，最后返回一个记录列表，所述记录列表为自定义类，主要包含字符型的物料编号，字符型的物料名称，字符型的分类词；

S2：对大数据文本进行切分：对字符型的物料名称进行切分并统计词频，统计文本频率，并通过公式A*Math.log(total/B)/Math.log(2.0)计算出词语的tfidf 值，选择tfidf值最大的词语作为该记录的分类词；将全部带有分类词标识的记录存储在一个表单当中；

S3：进行文本相似度比较：根据分类词标识将其分组进行并行计算，在计算单元内，将同组的记录两两进行字符串的文本相似度比较，如果文本相似度在设定的阈值之上，则将其存储在要显示的表单当中；

S4：聚合结果的显示和修改：将要显示的表单打印出来并且提供给用户修改和删除，修改完成后，进行表单的下载。

优选地，所述步骤S2中对字符型的物料名称进行切分并统计词频包括：

S21：创建词频键值对数组和切分词语键值对数组；

S22：遍历记录列表：对于正在遍历的记录列表，首先用正则表达式将记录列表中字符型的物料名称的中英文符号去掉，将其中的非汉字部分用空格代替；

S23：对去掉符号后的字符型的物料名称按照空格进行切分，并存储在数组中；

S24：遍历数组：判断切分后的字符型的词语是否在记录中重复出现，如果是重复出现，则将该词语的频率加1；如果第一次出现，则将该词语的词语频率设置为1；遍历完成后，将切分后的字符型的词语的词语频率存储在词频键值对数组中；

S25：将切分后全部字符型的词语存储在切分词语键值对数组中。

优选地，所述步骤S2中统计文本频率包括：