[发明专利]一种文章查重方法及系统

权利要求书

1.一种文章查重方法，其特征在于，所述方法包括：

根据上传的文章的关键字，获取相关文本信息；

从所述文本信息中选取对比样本；

分别对该文章和对比样本进行分解；

根据分解后的所述文章和所述对比样本，计算文本相似度；具体方式如下：

将分解后的所述文章的句子，与分解后的所述对比样本的句子进行遍历比对，得出每个句子中相同词语数量和不同词语数量；

根据所述相同词语数量和不同词语数量的比值，得出文章中句子与对比样本中的每个句子的相似度，将这些相似度的最大值作为对比样本的正文内容的总相似度；

将文章中的余下的句子进行一一比对后得出每个句子与对比样本正文内容的总相似度，将总相似度加权平均得到文章的正文内容与对比样本的正文内容的文本相似度；

对所述文章的整体相似度进行校验，校验方法包括：通过指定所述文章中的核心句子，与对比样本中每个句子进行遍历比对，得到句子相似度；当所述句子相似度与所述文本相似度之差超过预设值时，以所述句子相似度替代所述文本相似度呈现结果；

其中，通过记录用户对所述文章相似度的评价结果，与计算得到所述文本相似度进行对比，加权综合超过一定阈值数量的记录用户相似度的评价结果，然后与所述文本相似度平均后得到结果并呈现出来。

2.根据权利要求1所述的文章查重方法，其特征在于：所述根据上传的文章的关键字，获取文本信息，具体包括：通过网络爬虫在相关网站上获取含有所述关键字的文本信息。

3.根据权利要求1所述的文章查重方法，其特征在于，从所述文本信息中选取对比样本，具体包括：

从所述文本信息中任取一条信息，作为对比样本。

4.根据权利要求1所述的文章查重方法，其特征在于，所述分别对该文章和对比样本进行分解，具体包括，

对所述文章的正文内容进行分解；

对所述对比样本的正文内容进行分解。

5.根据权利要求4所述的文章查重方法，其特征在于，所述对所述文章的正文内容进行分解，具体包括：以标点符号为分隔符，将所述文章的正文内容分解为多个句子，使用分词器将每个句子分解为符合逻辑的多个词语。

6.根据权利要求4所述的文章查重方法，其特征在于，所述对所述对比样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述对比样本的正文内容分解为多个句子，使用分词器将每个句子分解为符合逻辑的多个词语。

7.根据权利要求1所述的文章查重方法，其特征在于，将相似度对比结果高于30％的文章标记为不合格，并在文章文本中标记句子相似度高于50％的句子。

8.根据权利要求7所述的文章查重方法，其特征在于，所述百分比可自主进行设置。

9.一种文章查重系统，其特征在于，所述系统包括：信息获取模块，样本选取模块，分解模块，相似度计算模块，结果标记模块；

所述信息获取模块，用于上传文章及根据文章中的关键字，获取相关网站上的文本信息；

所述样本选取模块，用于从所述文本信息中选取对比样本；

所述分解模块，用于分别对所述文章和所述对比样本进行分解；

所述相似度计算模块，用于根据分解后的所述文章和所述对比样本，计算文本相似度；

所述结果标记模块，用于根据所述文本相似度，对相应的结果和文本进行标记。

10.根据权利要求9所述的文章查重系统，其特征在于，所述信息获取模块为网络爬虫模块。