[发明专利]一种用于大数据清洗的快速数据聚合方法

摘要

本发明公开了一种用于大数据清洗的快速数据聚合方法，包括以下步骤：数据读取：原有的数据是在Excel中存储的，利用文件流的形式读取出Excel中的数据信息，根据数据的格式，将读取出来的数据信息存储在记录列表中，最后返回一个记录列表；对大数据文本进行切分；进行文本相似度比较；聚合结果的显示和修改：将要显示的表单打印出来并且提供给用户修改和删除，修改完成后，进行表单的下载。

主权项

1.一种用于大数据清洗的快速数据聚合方法，其特征在于，包括以下步骤：S1：数据读取：原有的数据是在Excel中存储的，利用文件流的形式读取出Excel中的数据信息，根据数据的格式，将读取出来的数据信息存储在记录列表中，最后返回一个记录列表，所述记录列表为自定义类，主要包含字符型的物料编号，字符型的物料名称，字符型的分类词；S2：对大数据文本进行切分：对字符型的物料名称进行切分并统计词频，统计文本频率，并通过公式A*Math.log(total/B)/Math.log(2.0)计算出词语的tfidf值，选择tf‑idf值最大的词语作为该记录的分类词；将全部带有分类词标识的记录存储在一个表单当中；S3：进行文本相似度比较：根据分类词标识将其分组进行并行计算，在计算单元内，将同组的记录两两进行字符串的文本相似度比较，如果文本相似度在设定的阈值之上，则将其存储在要显示的表单当中；S4：聚合结果的显示和修改：将要显示的表单打印出来并且提供给用户修改和删除，修改完成后，进行表单的下载。