[发明专利]新闻相似去重的方法及装置

说明书

本申请公开了一种新闻相似去重的方法及装置，所述方法包括：获取目标新闻信息与样本新闻信息之间的第一距离信息，其中，所述第一距离信息包括：余弦距离和/或汉明距离；根据所述目标新闻信息与所述样本新闻信息之间的第一距离信息，确定所述目标新闻信息与所述样本新闻信息为第一疑似相似新闻；根据所述目标新闻信息与所述样本新闻信息之间的第二距离信息，在确定所述目标新闻信息与所述样本新闻信息为相关新闻信息的情况下，将目标新闻信息标记存入相似新闻集合，其中，所述第二距离信息为编辑距离。

技术领域

本申请涉及新闻相似去重领域，尤其涉及一种新闻相似去重的方法及装置。

背景技术

在当今的互联网时代，信息呈现爆炸式增长，同一条新闻往往可能会被各大新闻媒体、公众号、自媒体等媒体分别进行转载和修改，因此，用户会因为阅读到相似内容的新闻而花费大量时间。

在相关技术中，新闻相似去重方案大概包括基于分词结果的指纹数据实现距离度量和基于文本特征向量的相似度比对两种，但是这两种方案均可能会出现两篇完全没有关联的新闻被判断为相似的情况。

发明内容

本申请公开一种新闻相似去重的方法及装置，解决了两篇完全没有关联的新闻可能会被判断为相似的问题。

为了解决上述问题，本申请采用下述技术方案：

第一方面，本申请实施例公开一种新闻相似去重的方法，包括：获取目标新闻信息与样本新闻信息之间的第一距离信息，其中，所述第一距离信息包括：余弦距离和/或汉明距离；根据所述目标新闻信息与所述样本新闻信息之间的第一距离信息，确定所述目标新闻信息与所述样本新闻信息为第一疑似相似新闻；根据所述目标新闻信息与所述样本新闻信息之间的第二距离信息，在确定所述目标新闻信息与所述样本新闻信息为相关新闻信息的情况下，将目标新闻信息标记存入相似新闻集合，其中，所述第二距离信息为编辑距离。

第二方面，本申请实施例公开一种新闻相似去重的装置，包括：获取模块，用于获取目标新闻信息与样本新闻信息之间的第一距离信息，其中，所述第一距离信息包括：余弦距离和/或汉明距离；第一确定模块，用于根据所述目标新闻信息与所述样本新闻信息之间的第一距离信息，确定所述目标新闻信息与所述样本新闻信息为第一疑似相似新闻；第二确定模块，用于根据所述目标新闻信息与所述样本新闻信息之间的第二距离信息，在确定所述目标新闻信息与所述样本新闻信息为相关新闻信息的情况下，将目标新闻信息标记存入相似新闻集合，其中，所述第二距离信息为编辑距离。

第三方面，本申请实施例公开一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上述第一方面所述的新闻相似去重的方法的步骤。

第四方面，本申请实施例公开一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上述第一方面所述的新闻相似去重的方法的步骤。

第五方面，本申请实施例公开一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行终端程序或指令，实现如上述第一方面所述的新闻相似去重的方法。

本申请采用的技术方案能够达到以下有益效果：

本申请实施例提供一种新闻相似去重的方法，包括：获取目标新闻信息与样本新闻信息之间的第一距离信息，其中，所述第一距离信息包括：余弦距离和/或汉明距离；根据所述目标新闻信息与所述样本新闻信息之间的第一距离信息，确定所述目标新闻信息与所述样本新闻信息为第一疑似相似新闻；根据所述目标新闻信息与所述样本新闻信息之间的第二距离信息，在确定所述目标新闻信息与所述样本新闻信息为相关新闻信息的情况下，将目标新闻信息标记存入相似新闻集合，其中，所述第二距离信息为编辑距离。本申请通过引入编辑距离，进一步对目标新闻信息与样本新闻信息进行判断，进而解决了两篇完全没有关联的新闻可能会被判断为相似的问题。

附图说明