[发明专利]一种新闻文档去重的方法、装置及存储介质

摘要

本申请公开了一种新闻文档去重的方法、装置及存储介质，该方法包括：对文档进行分词；计算词项在文档中的权重；根据词项得到文档向量；根据文档向量计算文档之间的相似度；将相似度大于预设值的文档聚类成一个簇，并根据簇中的文档之间的相似度确定簇心；根据簇心标记出重复文档。本申请能够取得的有益效果在于，不需要人工标注训练样本，解决了人工标注训练样本费时费力问题；根据词项在文档中的权重计算相似度；提升命名实体和事件行为词项的权重，解决了受低频噪音词的影响较大问题；将相似度大于预设值的文档聚类成一个簇，每篇文档仅出现于单一簇中，使重复的文档具有唯一性；被标记的重复文档用于去重，避免多次处理重复的文档。

主权项

1.一种新闻文档去重的方法，其特征在于，该方法包括：/n对新闻文档集中的每个道路新闻文档进行分词，得到每个道路新闻文档的词项；/n计算所述每个道路新闻文档的词项在该道路新闻文档中的权重；/n根据具有权重的所述每个道路新闻文档的词项得到每个道路新闻文档向量；/n根据所述每个道路新闻文档向量计算所述每个道路新闻文档之间的第一相似度；/n将所述第一相似度大于预设相似度阈值的道路新闻文档聚类成一个簇，并根据所述簇中的道路新闻文档之间的第一相似度确定簇心；/n根据所述簇的簇心标记出重复道路新闻文档，所述被标记的重复道路新闻文档用于去重。/n