[发明专利]相似新闻信息的识别方法和装置

摘要

本发明提出一种相似新闻信息的识别方法和装置，其中，该相似新闻信息的识别方法，包括以下步骤：获取待识别的任两个新闻信息，所述新闻信息包括新闻标题；判断两个新闻标题的相似度是否满足第一预设条件；在所述两个新闻标题的相似度满足所述第一预设条件时，确定所述两个新闻信息为相似新闻信息。本发明的实施例，能够准确、快速地从众多信息中识别出相似信息，从而能够为信息去重及比对提供依据。

主权项

1.一种相似新闻信息的识别方法，其特征在于，包括以下步骤：获取待识别的任两个新闻信息，所述新闻信息包括新闻标题；判断两个新闻标题的相似度是否满足第一预设条件；在所述两个新闻标题的相似度满足所述第一预设条件时，确定所述两个新闻信息为相似新闻信息；所述判断两个新闻标题的相似度是否满足第一预设条件，包括：判断所述两个新闻标题是否相同；对应地，在所述两个新闻标题的相似度满足所述第一预设条件时，确定所述两个新闻信息为相似新闻信息，包括：在所述两个新闻标题相同时，确定所述两个新闻信息为相似新闻信息；还包括：在所述两个新闻标题不相同时，获取对每个新闻标题进行分词处理后的词汇集合，所述词汇集合包括对新闻标题进行分词后的若干词语；判断一个词汇集合是否包含另一个词汇集合中的所有词语；对应地，在所述两个新闻标题的相似度满足所述第一预设条件时，确定所述两个新闻信息为相似新闻信息，包括：在所述一个词汇集合包含另一个词汇集合中的所有词语时，确定所述两个新闻信息为相似新闻信息；还包括：在所述一个词汇集合不包含另一个词汇集合中的所有词语时，判断所述一个词汇集合中的词语与另一个词汇集合中的词语的第一匹配度是否大于第一阈值；且根据依存文法关系判断所述一个词汇集合中的词语与另一个词汇集合中的词语的第二匹配度是否大于第二阈值；对应地，在所述两个新闻标题的相似度满足所述第一预设条件时，确定所述两个新闻信息为相似新闻信息，包括：在所述第一匹配度大于第一阈值且所述第二匹配度大于第二阈值时，确定所述两个新闻信息为相似新闻信息；其中，所述第一匹配度是两个词汇集合中相同词语数量与两个词汇集合中任一词汇集合中的词语数量的比值；所述第二匹配度，为较短的新闻标题中依存所述文法关系与另一新闻标题中重合的依存所述文法关系占较短的新闻标题中依存文法关系总数的比例。