[发明专利]一种互联网重复信息筛选方法及系统

权利要求书

1.一种互联网重复信息筛选方法，其特征在于，所述系方法包括：

根据预设关键字，获取互联网的相关文本信息；

从所述文本信息中选取信息源样本和对比样本；

分别对所述信息源样本和所述对比样本进行分解；

根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

根据所述文本相似度，对相应的文本进行分类处理和存储。

2.根据权利要求1所述的互联网重复信息筛选方法，其特征在于，所述根据预设关键字，获取互联网的相关文本信息，具体包括：通过网络爬虫从互联网上获取含有所述关键字的文本信息；其中，所述文本信息至少包括：信息来源，信息获取时间，标题，作者，正文内容。

3.根据权利要求1所述的互联网重复信息筛选方法，其特征在于，所述从所述文本信息中选取信息源样本和对比样本，具体包括：

从所述文本信息中取出任意一条信息，作为信息源样本；

从剩余的所述文本信息中取任意一条信息，作为对比样本。

4.根据权利要求1所述的互联网重复信息筛选方法，其特征在于，所述分别对所述信息源样本和所述对比样本进行分解，具体包括：

对所述信息源样本的正文内容进行分解；

对所述对比样本的正文内容进行分解。

5.根据权利要求4所述的互联网重复信息筛选方法，其特征在于，所述对所述信息源样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述信息源样本的正文内容分解为多个句子。

6.根据权利要求4所述的互联网重复信息筛选方法，其特征在于，所述对所述对比样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述对比样本的正文内容分解为多个句子。

7.根据权利要求1所述的互联网重复信息筛选方法，其特征在于，根据分解后的所述信息源样本和所述对比样本，计算文本相似度，具体包括：

将分解后的所述信息源样本的正文内容，与分解后的所述对比样本的正文内容进行遍历比对，得出相同句子数量和不同句子数量；

根据所述相同句子数量与所述不同句子数量的比值，得出文本相似度。

8.根据权利要求7所述的互联网重复信息筛选方法，其特征在于，所述根据所述文本相似度，对相应的文本进行分类处理和存储，具体包括：

根据所述文本相似度的计算结果，按照相同文本、关联文本、相似文本三种类别，对相应的文本进行分类处理和分类存储。

9.一种互联网重复信息筛选系统，其特征在于，所述系统包括：信息获取模块，样本选取模块，样本分解模块，相似度计算模块，分类处理模块；

所述信息获取模块，用于根据预设关键字，获取互联网的相关文本信息；

所述样本选取模块，用于从所述文本信息中选取信息源样本和对比样本；

所述样本分解模块，用于分别对所述信息源样本和所述对比样本进行分解；

所述相似度计算模块，用于根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

所述分类处理模块，用于根据所述文本相似度，对相应的文本进行分类处理和存储。

10.根据权利要求9所述的互联网重复信息筛选系统，其特征在于，所述信息获取模块为网络爬虫模块。