[发明专利]一种基于大数据和云计算的数据处理方法及云计算平台

权利要求书

1.一种基于大数据和云计算的数据处理方法，其特征在于，包括步骤：

S1，获取待处理的原始数据；

S2，对所述原始数据进行缺失值清洗，得到缺失值清洗后数据；

S3，对所述缺失值清洗后数据进行错误值清洗，得到错误值清洗后数据；所述错误值包括格式错误、拼写错误和属性域错误；

S4，对所述错误值清洗后数据进行相似度重复记录清洗，得到重复清洗后数据。

2.根据权利要求1所述的一种基于大数据和云计算的数据处理方法，其特征在于，所述数据处理方法基于Spark-ETL框架。

3.根据权利要求2所述的一种基于大数据和云计算的数据处理方法，其特征在于，所述Spark-ETL框架包括：

配置单元，用于对清洗流程进行配置，构建大数据清洗流水线；所述大数据清洗流水线包括多个细分的大数据清洗操作单元；

解析单元，用于对所述大数据清洗流水线进行解析，得到清洗任务；

Spark集群，用于根据所述清洗任务对所述原始数据进行清洗。

4.根据权利要求3所述的一种基于大数据和云计算的数据处理方法，其特征在于，所述步骤S4具体包括以下步骤：

S41，根据所述错误值清洗后数据特点设定N个属性字段，根据所述属性字段创建一个索引；

S42，将所述错误值清洗后数据按照所述索引进行排序；

S43，在已经排序好的所述错误值清洗后数据上划定一个大小为M的滑动窗口；

S44，将所述窗口内的第一条记录与剩下的M-1条记录进行比较，删除所述剩下的M-1条记录中与所述第一条记录相似度值大于预设相似度阈值的记录；

S45，循环步骤S44，直至所述窗口内的第一条记录与剩下的M-1条记录的相似度值均小于等于预设相似度阈值；

S46，将所述窗口向下滑动一条记录；

S47，重复所述步骤S44、S45和S46，得到重复清洗后数据。

5.根据权利要求4所述的一种基于大数据和云计算的数据处理方法，其特征在于，所述相似度值的计算方法包括：

分别计算所要比较的两条记录中各个属性字段值的相似度；

计算各个属性字段值的相似度的加权运算值，得到两条记录的相似度值。

6.根据权利要求5所述的一种基于大数据和云计算的数据处理方法，其特征在于，所述错误值的检测方法包括基于规则的错误检测方法和基于统计的错误检测方法。

7.根据权利要求6所述的一种基于大数据和云计算的数据处理方法，其特征在于，所述缺失值的检测方法包括关联规则方法、聚类方法和基于统计的缺失检测方法。

8.根据权利要求7所述的一种基于大数据和云计算的数据处理方法，其特征在于，所述数据处理方法还包括：

S5，对所述重复清洗后数据进行存储和备份。

9.一种云计算平台，其特征在于，包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-8中任一项所述的一种基于大数据和云计算的数据处理方法。