[发明专利]计算文本语义距离的方法、去重方法、聚类方法以及装置

说明书

本发明公开了一种计算文本语义距离的方法、去重方法、聚类方法及装置，计算文本语义距离的方法包括：获取第一及第二文本；判断第一及第二文本之间是否需要进行语义距离计算；若是，对第一及第二文本进行预处理以得到第一及二句子集合；将第一及第二句子集合中公开的主体替换为对应的唯一编码，获取第一及第二句子集合中的唯一编码以形成第一及第二编码集合，获取第一及第二句子集合中的关键词以形成第一及第二关键词集合及每一关键词的权重；转换第一及第二关键词集合中的每一关键词，以得到第一及第二文本特征向量；根据第一编码集合、第一文本特征向量、第一文本发布时间及第二编码集合、第二文本特征向量、第二文本发布时间计算两文本语义距离。

技术领域

本发明涉及一种计算文本语义距离的方法、去重方法、聚类方法以及装置。

背景技术

在新媒体爆炸的时代，媒体个数迅猛增加，非结构化舆情信息的原创、转载数量同步攀升，互联网每日都会产生数量庞大的舆情数据，其中有一定的重复量，特别是关于热门、爆炸性话题的舆情。为了针对某一企业主体能够及时、高效地获得最有价值的信息，就需要对非结构化舆情文本进行一定程度的去重或聚类，其核心思想是比较任意两篇文本的差异性。目前使用比较广泛的方法是基于Simhash比较两篇文本的字符距离，但是在遇到变形文本时却效果甚微，即基于字符去重，无法区分描述不同，表达内容相近的文本。且在对比两篇文本的时候，没有体现对某一企业主体地针对性。为了进一步筛选、保留高价值的舆情，提高阅读者的效率与体验，就需要针对某一企业主体基于语义理解对非结构化文本进行语义距离的计算，从而进行下一步的去重或聚类方法。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：提供一种文本语义距离的计算方法、能够去掉语义重复文本的基于文本语义距离的文本去重的方法、能够聚类文本的基于文本语义距离的聚类方法以及计算文本语义距离的装置。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算文本语义距离的方法，包括以下步骤：

获取第一文本及第二文本；

以第一文本及第二文本中是否公开了相同主体为依据，判断所述第一文本及第二文本之间是否需要进行语义距离计算；

若第一文本及第二文本之间需要进行语义距离计算，将所述相同主体视为目标主体，分别对第一文本及第二文本进行预处理，以得到第一文本中含有所述目标主体的第一句子集合、第二文本中含有所述目标主体的第二句子集合；

将所述第一句子集合及第二句子集合中公开的主体替换为对应的唯一编码，并分别获取所述第一句子集合及第二句子集合中的唯一编码以分别形成第一编码集合及第二编码集合，分别获取第一句子集合及第二句子集合中的关键词以分别形成第一关键词集合、第二关键词集合以及每一关键词集合中每一关键词的权重；

分别转换第一关键词集合及第二关键词集合中的每一关键词并加权叠加，以分别得到与第一文本特征向量及第二文本特征向量；

根据所述第一编码集合、第一文本特征向量、第一文本发布时间以及第二编码集合、第二文本特征向量、第二文本发布时间计算两文本之间的语义距离。

进一步的，在以第一文本及第二文本中是否公开了相同主体为依据，判断所述第一文本及第二文本之间是否需要进行语义距离计算的步骤中，具体包括：

以第一文本及第二文本中公开的相同主体为依据，根据第一文本及第二文本与所述相同主体之间的关联度判断所述第一文本及第二文本之间是否需要语义距离计算，当所述第一文本与所述相同主体的关联度及第二文本与所述相同主体的关联度均大于第一预设阈值时，则所述第一文本及第二文本之间需要进行语义距离计算；

若第一文本及第二文本之间需要进行语义距离计算，将所述相同主体视为目标主体，分别对第一文本及第二文本进行预处理，以得到第一文本中含有所述目标主体的第一句子集合、第二文本中含有所述目标主体的第二句子集合的步骤中，具体包括：