[发明专利]从海量短新闻中识别相似新闻的方法及相关设备

说明书

本发明属于大数据分析技术领域，具体涉及一种识别相似新闻的方法及相关设备。从海量短新闻中识别相似新闻的方法及相关设备，其中方法包括：获取预设的格式化主体词汇并建立索引；获取多篇新闻，对每篇新闻进行向量化；计算每篇目标新闻与其他新闻是否相似，将与目标新闻相似的其他新闻作为相似新闻；提取目标新闻和相似新闻之间差异的多个字符，在格式化主体词汇建立的索引中查找每个字符，判定目标新闻与相似新闻是否相似；输出新闻相似结果。本发明能很准确地计算出短新闻之间是否相似，能够识别出除了格式化主体不同之外基本一致的格式化新闻是不相似的，避免了格式化新闻都被判为相似的错误。

技术领域

本发明属于大数据分析技术领域，具体涉及一种识别相似新闻的方法及相关设备。

背景技术

海量文本相似度算法是文本处理中的重要基础性算法，很多文本处理程序如新闻分析中的新闻去重、搜索引擎的网页去重等都需要能够处理海量文本的相似度算法。

目前主流的海量文本相似度算法是simhash算法。simhash算法是一种局部敏感哈希算法，原理是将文本分解为词，计算每个词的hash值，并加权求和，求和后大于0的位置为1，等于0的位置保持为0，由此得到文本的hash串。过比较文本hash串的海明距离来判断文本是否相似，海明距离大于阈值的为不相似，反之为相似。为了减少比较次数，通常会把hash串分割成n段并以各段为key建立索引，n的值为海明距离阈值加1，因此通常simhash算法使用一个固定阈值。

除了基本的simhash算法之外，还有一些基于simhash的改进算法。如申请号为CN201910225442.9的专利《改进的Simhash算法在文本去重中的方法及系统》提出了一种改进词权重的方式，基于TF-IDF算法与信息熵进行加权得到权重。申请号为CN201810535318.8的专利《一种基于改进的simhash文本对比方法》提出了一种基于改进的simhash文本对比方法，通过对文章标题出现次数较高的词的权重进行设置，进而提高查重的准确率。

simhash算法及其改进算法，对于较长的文本计算相似度效果较好，但对于较短如600字以下的文本效果欠佳。原因是较长的文本会在加权求和的过程中把不同文字带来的影响进行稀释，从而减少两篇文本最终hash值的海明距离；而对于短文本，不同文字带来的影响相对较大，少量文字的不同也会导致两篇文本最终hash值的海明距离较大，从而使文本被判为不相似。而且在实践中simhash算法往往使用固定阈值，无法自动适应文本长度的变化。

Simhash算法的另一个缺陷是无法正确处理格式化新闻。在新闻特别是财经新闻中，很多新闻是一种模板式的结构，除了新闻描述的主体如股票名称、大宗商品(以下称为“格式化主体”)等之外几乎完全一致。Simhash算法往往会把这种新闻判为相似，但是主体不同的两篇新闻不应该被判为相似新闻。通过设置词权重优化simhash的方法一定程度上可以缓解对格式化新闻的误判，但对格式化主体词汇权重进行加强的同时也会影响到非格式化新闻，导致算法对非格式化新闻的效果变差。

发明内容

本发明针对现有的simhash算法及其改进算法针对于较短文本和格式化主体的新闻，相似度识别效果较差的技术问题，目的在于提供一种从海量短新闻中识别相似新闻的方法及相关设备。

从海量短新闻中识别相似新闻的方法，包括：

获取预设的格式化主体词汇并建立索引；

获取多篇新闻，对每篇所述新闻进行向量化；

计算每篇目标新闻与其他新闻是否相似，将与所述目标新闻相似的其他新闻作为相似新闻；

提取所述目标新闻和所述相似新闻之间差异的多个字符，在所述格式化主体词汇建立的索引中查找每个所述字符，如果多个所述字符能构成多于预设目标阈值的格式化主体词汇，则判定所述目标新闻与所述相似新闻不相似，否则判定所述目标新闻与所述相似新闻相似；

输出新闻相似结果。