[发明专利]新闻相似去重的方法及装置

权利要求书

1.一种新闻相似去重的方法，其特征在于，包括：

获取目标新闻信息与样本新闻信息之间的第一距离信息，其中，所述第一距离信息包括：余弦距离和/或汉明距离；

根据所述目标新闻信息与所述样本新闻信息之间的第一距离信息，确定所述目标新闻信息与所述样本新闻信息为第一疑似相似新闻；

根据所述目标新闻信息与所述样本新闻信息之间的第二距离信息，在确定所述目标新闻信息与所述样本新闻信息为相关新闻信息的情况下，将目标新闻信息标记存入相似新闻集合，其中，所述第二距离信息为编辑距离。

2.根据权利要求1所述的方法，其特征在于，还包括：

在确定所述目标新闻信息与所述样本新闻信息为无关新闻信息的情况下，确定所述目标新闻信息与所述样本新闻信息为非相似新闻。

3.根据权利要求1所述的方法，其特征在于，获取目标新闻信息与样本新闻信息之间的第一距离信息，包括：

对所述样本新闻信息进行分词处理，对所述目标新闻信息进行分词处理；

根据所述样本新闻信息与所述目标新闻信息的分词结果，获取所述样本新闻信息与所述目标新闻信息之间的余弦距离和/或汉明距离。

4.根据权利要求3所述的方法，其特征在于，在对所述样本新闻信息进行分词处理，对所述目标新闻信息进行分词处理之后，还包括：

根据所述目标新闻信息的第一信息与所述样本新闻信息的第一信息，确定所述目标新闻信息与所述样本新闻信息为第二疑似相似新闻，其中，所述第一信息包括新闻关联主体、新闻语言、新闻发布时间和新闻关键词中的至少一个。

5.根据权利要求3所述的方法，其特征在于，在对所述样本新闻信息进行分词处理，对所述目标新闻信息进行分词处理之前，还包括：

对所述目标新闻信息中的无关数据进行清除，其中，所述无关数据包括：所述目标新闻信息中的引用媒体、超文本标记语言字符、多余的空格、特殊字符、日期和模板类的描述词。

6.一种新闻相似去重的装置，其特征在于，包括：

获取模块，用于获取目标新闻信息与样本新闻信息之间的第一距离信息，其中，所述第一距离信息包括：余弦距离和/或汉明距离；

第一确定模块，用于根据所述目标新闻信息与所述样本新闻信息之间的第一距离信息，确定所述目标新闻信息与所述样本新闻信息为第一疑似相似新闻；

第二确定模块，用于根据所述目标新闻信息与所述样本新闻信息之间的第二距离信息，在确定所述目标新闻信息与所述样本新闻信息为相关新闻信息的情况下，将目标新闻信息标记存入相似新闻集合，其中，所述第二距离信息为编辑距离。

7.根据权利要求6所述的装置，其特征在于，所述第二确定模块，还用于：

在确定所述目标新闻信息与所述样本新闻信息为无关新闻信息的情况下，确定所述目标新闻信息与所述样本新闻信息为非相似新闻。

8.根据权利要求6所述的装置，其特征在于，所述获取模块获取目标新闻信息与样本新闻信息之间的第一距离信息，包括：

对所述样本新闻信息进行分词处理，对所述目标新闻信息进行分词处理；

根据所述样本新闻信息与所述目标新闻信息的分词结果，获取所述样本新闻信息与所述目标新闻信息之间的余弦距离和/或汉明距离。

9.根据权利要求8所述的装置，其特征在于，所述获取模块在对所述样本新闻信息进行分词处理，对所述目标新闻信息进行分词处理之后，还包括：

根据所述目标新闻信息的第一信息与所述样本新闻信息的第一信息，确定所述目标新闻信息与所述样本新闻信息为第二疑似相似新闻，其中，所述第一信息包括新闻关联主体、新闻语言、新闻发布时间和新闻关键词中的至少一个。

10.根据权利要求8所述的装置，其特征在于，所述获取模块在对所述样本新闻信息进行分词处理，对所述目标新闻信息进行分词处理之前，还包括：

对所述目标新闻信息中的无关数据进行清除，其中，所述无关数据包括：所述目标新闻信息中的引用媒体、超文本标记语言字符、多余的空格、特殊字符、日期和模板类的描述词。