[发明专利]一种基于Spark平台的集团新闻数据预处理方法

权利要求书

1.一种基于Spark平台的集团新闻数据预处理方法，其特征在于，其具体实现过程为，

采集算子，即采集集团新闻数据；

去噪算子，即将采集回来的集团新闻数据进行去噪处理，去噪算子基于Spark平台完成；

去重算子，对去噪处理后的数据进行去重处理；

最后设定海明距离阈值，在去重处理中将海明距离小于设定的阈值的文本判定为近似文本。

2.根据权利要求1所述的一种基于Spark平台的集团新闻数据预处理方法，其特征在于，在采集算子步骤中，采集的数据存储在HDFS，即分布式文件系统中。

3.根据权利要求1所述的一种基于Spark平台的集团新闻数据预处理方法，其特征在于，基于Spark平台对采集的数据进行去噪处理的步骤为：

在Spark平台中启动Spark驱动，并按默认分区数生成弹性分布式数据集RDD，对HDFS文件进行读取；

对数据进行去噪处理，完成数据过滤；

将去噪处理后的数据以RDD的形式缓存在分布式内存中。

4.根据权利要求3所述的一种基于Spark平台的集团新闻数据预处理方法，其特征在于，对数据进行去噪处理的步骤中，通过以下三种方式完成数据过滤：长度过滤、语义过滤及关键词过滤，其中：

长度过滤是指将低于一定字符数的集团新闻数据认为无效数据；

语义过滤是指对集团新闻数据这种短文本类型的数据进行语义过滤；

关键词过滤是指集团新闻数据中有关键词出现时，将其认为是无效数据。

5.根据权利要求3所述的一种基于Spark平台的集团新闻数据预处理方法，其特征在于，所述去重算子的实现步骤为：

获取去噪算子生成的RDD；

采用分词器对存储在RDD中的数据进行分词处理，并进行停用词过滤；

计算进行停用词过滤后的每个分词的hash值，并生成Simhash指纹。

6.根据权利要求5所述的一种基于Spark平台的集团新闻数据预处理方法，其特征在于，在去重算子步骤中，计算停用词过滤后的每个分词的hash值后再进行叠加,生成Simhash指纹，然后封装对象并生成新的RDD,该封装的对象内容包括文本内容、Simhash值属性。

7.根据权利要求5或6所述的一种基于Spark平台的集团新闻数据预处理方法，其特征在于，所述计算分词的值并生成Simhash指纹的具体步骤为:首先计算每个分词的64位加权hash值,然后按位叠加,每位如果大于1则记1,否则记0。

8.根据权利要求7所述的一种基于Spark平台的集团新闻数据预处理方法，其特征在于，判定为近似文本的过程为：将去重算子步骤中生成的Simhash指纹与数据库里已经记录的集团新闻数据的Simhash指纹比较其海明距离，将海明距离小于设定的阈值的文本认定为近似文本。