[发明专利]一种新闻文档去重的方法、装置及存储介质

说明书

本申请公开了一种新闻文档去重的方法、装置及存储介质，该方法包括：对文档进行分词；计算词项在文档中的权重；根据词项得到文档向量；根据文档向量计算文档之间的相似度；将相似度大于预设值的文档聚类成一个簇，并根据簇中的文档之间的相似度确定簇心；根据簇心标记出重复文档。本申请能够取得的有益效果在于，不需要人工标注训练样本，解决了人工标注训练样本费时费力问题；根据词项在文档中的权重计算相似度；提升命名实体和事件行为词项的权重，解决了受低频噪音词的影响较大问题；将相似度大于预设值的文档聚类成一个簇，每篇文档仅出现于单一簇中，使重复的文档具有唯一性；被标记的重复文档用于去重，避免多次处理重复的文档。

技术领域

本申请涉及自然语言处理技术领域，尤其是涉及一种新闻文档去重的方法、装置及存储介质。

背景技术

随着互联网的发展，网络新闻信息量急剧增长。大量的重复新闻信息被处理多次，降低了信息处理效率。因此，如何对新闻信息去重成为亟待解决的问题。

现有技术采用监督学习和非监督学习提取新闻信息特征。监督学习从文本表述的事件中提取关键词，将其作为事件的表示，之后对这些关键词进行量化，计算不同文档之间的相似度作为聚类依据。以道路领域相关新闻为例，新闻中出现的具体地名是当前新闻区别于其他新闻的一项重要特征。命名实体识别用于解决道路名、地名实体的提取问题，较早主要通过条件随机场(Conditional Random Field，CRF)等模型实现。随着深度学习在自然语言处理(Natural Language Processing，NLP)领域的不断深入，循环神经网络(Recurrent Neural Network，RNN)系列的模型也被用于解决这一类问题，并与早期的CRF等模型进行结合。将文档是否重复转化为分类问题，判断给定文档对是否重复。这种方法需要大量标注样本用于训练模型，尤其是在事件标注和命名实体识别任务中，涉及到的词项和序列标注难以获取，人工标注费时费力。无监督学习往往通过词频-逆向文件频率(termfrequency–inverse document frequency，TFIDF)等一系列类似的改进算法提取事件中的关键词。通过计算词项在文档中的权重，设定相应阈值提取出权重在前K项的词作为事件关键词。从传统的向量空间模型(Vector Space Model，VSM)到基于语义的主题模型(LSA，PLSA，LDA及其变种等等)、基于词向量的表示方法可以用于直接获取文档的表示，之后可通过一系列相似度计算方法(欧式距离、余弦相似、KL距离等等)计算文档之间的相似度。这种方法中TFIDF权重算法倾向于为低频词赋予较高权重，受低频噪音词的影响较大；基于主题的模型适用于较宽泛的文档领域(或类别，比如政治、经济、教育等等)判断。对于文档去重任务来说，其涉及的特征粒度较细，使用主题模型的识别效果不好。监督学习中存在人工标注训练样本费时费力问题，无监督学习中存在受低频噪音词的影响较大问题。

发明内容

本申请实施例提供一种新闻文档去重的方法、装置及存储介质。解决了监督学习中人工标注训练样本费时费力问题，以及无监督学习中受低频噪音词的影响较大问题。

本申请提供了一种新闻文档去重的方法，该方法包括：

对新闻文档集中的每个道路新闻文档进行分词，得到每个道路新闻文档的词项；

计算所述每个道路新闻文档的词项在该道路新闻文档中的权重；

根据具有权重的所述每个道路新闻文档的词项得到每个道路新闻文档向量；

根据所述每个道路新闻文档向量计算所述每个道路新闻文档之间的第一相似度；

将所述第一相似度大于预设相似度阈值的道路新闻文档聚类成一个簇，并根据所述簇中的道路新闻文档之间的第一相似度确定簇心；

根据所述簇的簇心标记出重复道路新闻文档，所述被标记的重复道路新闻文档用于去重。