[发明专利]一种互联网重复信息筛选方法及系统

说明书

技术领域

本发明涉及计算机搜索领域，尤其涉及一种互联网重复信息筛选方法及系统。

背景技术

在海量的互联网文本、文章和新闻中，信息总是在很多个网站和服务器上重复存在，计算机搜索系统在获取到信息时，通常用全文获取的方式对信息进行保存。在进行全网搜索时，这种信息保存方法将产生大量的重复信息和混淆信息，并大量占用计算资源开销。

发明内容

针对现有技术中的缺陷，本发明提供一种互联网重复信息筛选方法及系统，在计算机自动获取互联网信息时，对大量重复信息进行筛选和分类，使计算机执行搜索任务时提高搜索效率、优化信息存储方式和节省硬件资源开销。

第一方面，本发明提供了一种互联网重复信息筛选方法，所述系方法包括：

根据预设关键字，获取互联网的相关文本信息；

从所述文本信息中选取信息源样本和对比样本；

分别对所述信息源样本和所述对比样本进行分解；

根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

根据所述文本相似度，对相应的文本进行分类处理和存储。

进一步地，所述根据预设关键字，获取互联网的相关文本信息，具体包括：通过网络爬虫从互联网上获取含有所述关键字的文本信息；其中，所述文本信息至少包括：信息来源，信息获取时间，标题，作者，正文内容。

进一步地，所述从所述文本信息中选取信息源样本和对比样本，具体包括：

从所述文本信息中取出任意一条信息，作为信息源样本；

从剩余的所述文本信息中取任意一条信息，作为对比样本。

进一步地，所述分别对所述信息源样本和所述对比样本进行分解，具体包括：

对所述信息源样本的正文内容进行分解；

对所述对比样本的正文内容进行分解。

进一步地，所述对所述信息源样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述信息源样本的正文内容分解为多个句子。

进一步地，所述对所述对比样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述对比样本的正文内容分解为多个句子。

进一步地，根据分解后的所述信息源样本和所述对比样本，计算文本相似度，具体包括：

将分解后的所述信息源样本的正文内容，与分解后的所述对比样本的正文内容进行遍历比对，得出相同句子数量和不同句子数量；

根据所述相同句子数量与所述不同句子数量的比值，得出文本相似度。

进一步地，所述根据所述文本相似度，对相应的文本进行分类处理和存储，具体包括：

根据所述文本相似度的计算结果，按照相同文本、关联文本、相似文本三种类别，对相应的文本进行分类处理和分类存储。

第二方面，本发明还提供了一种互联网重复信息筛选系统，所述系统包括：信息获取模块，样本选取模块，样本分解模块，相似度计算模块，分类处理模块；

所述信息获取模块，用于根据预设关键字，获取互联网的相关文本信息；

所述样本选取模块，用于从所述文本信息中选取信息源样本和对比样本；

所述样本分解模块，用于分别对所述信息源样本和所述对比样本进行分解；

所述相似度计算模块，用于根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

所述分类处理模块，用于根据所述文本相似度，对相应的文本进行分类处理和存储。

进一步地，所述信息获取模块为网络爬虫模块。

由上述技术方案可知，本发明提供一种互联网重复信息筛选方法及系统，在计算机自动获取互联网信息时，对大量重复信息进行筛选和分类，使计算机执行搜索任务时提高搜索效率、优化信息存储方式和节省硬件资源开销。

附图说明

图1示出了本发明提供的互联网重复信息筛选方法的流程示意图。

图2示出了本发明提供的互联网重复信息筛选系统的结构示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例一

图1示出了本发明实施例一提供的互联网重复信息筛选方法的流程示意图。所述方法包括：

步骤S1，根据预设关键字，获取互联网的相关文本信息；

步骤S2，从所述文本信息中选取信息源样本和对比样本；

步骤S3，分别对所述信息源样本和所述对比样本进行分解；