[发明专利]计算文本语义距离的方法、去重方法、聚类方法以及装置

权利要求书

1.一种计算文本语义距离的方法，包括以下步骤：

获取第一文本及第二文本；

以第一文本及第二文本中是否公开了相同主体为依据，判断所述第一文本及第二文本之间是否需要进行语义距离计算；

若第一文本及第二文本之间需要进行语义距离计算，将所述相同主体视为目标主体，分别对第一文本及第二文本进行预处理，以得到第一文本中含有所述目标主体的第一句子集合、第二文本中含有所述目标主体的第二句子集合；

将所述第一句子集合及第二句子集合中公开的主体替换为对应的唯一编码，并分别获取所述第一句子集合及第二句子集合中的唯一编码以分别形成第一编码集合及第二编码集合，分别获取第一句子集合及第二句子集合中的关键词以分别形成第一关键词集合、第二关键词集合以及每一关键词集合中每一关键词的权重；

分别转换第一关键词集合及第二关键词集合中的每一关键词并加权叠加，以分别得到与第一文本特征向量及第二文本特征向量；

根据所述第一编码集合、第一文本特征向量、第一文本发布时间以及第二编码集合、第二文本特征向量、第二文本发布时间计算两文本之间的语义距离。

2.如权利要求1所述的计算文本语义距离的方法，其特征在于，在以第一文本及第二文本中是否公开了相同主体为依据，判断所述第一文本及第二文本之间是否需要进行语义距离计算的步骤中，具体包括：

以第一文本及第二文本中公开的相同主体为依据，根据第一文本及第二文本与所述相同主体之间的关联度判断所述第一文本及第二文本之间是否需要语义距离计算，当所述第一文本与所述相同主体的关联度及第二文本与所述相同主体的关联度均大于第一预设阈值时，则所述第一文本及第二文本之间需要进行语义距离计算；

若第一文本及第二文本之间需要进行语义距离计算，将所述相同主体视为目标主体，分别对第一文本及第二文本进行预处理，以得到第一文本中含有所述目标主体的第一句子集合、第二文本中含有所述目标主体的第二句子集合的步骤中，具体包括：

若第一文本及第二文本之间需要进行语义距离计算，将关联度均大于所述第一预设阈值的相同主体视为目标主体，分别对第一文本及第二文本进行预处理，以得到第一文本中含有所述目标主体的第一句子集合、第二文本中含有所述目标主体的第二句子集合。

3.如权利要求2所述的计算文本语义距离的方法，其特征在于，在以第一文本及第二文本中公开的相同主体为依据，根据第一文本及第二文本与所述相同主体之间的关联度判断所述第一文本及第二文本之间是否需要语义距离计算的步骤中，具体包括：

分别从第一文本及第二文本获取其公开的主体；

将第一文本与从该第一文本中获取到的主体相关联，将第二文本与从其第二文本中获取到的主体相关联，以分别得到第一文本与其主体的关联度以及第二文本与其主体的关联度；

判断第一文本及第二文本是否具有相同主体且关联度是否均大于第一预设阈值，若第一文本及第二文本具有相同的主体，且相同的主体与对应的文本之间的关联度均大于第一预设阈值，则所述第一文本及第二文本之间需要进行语义距离计算，所述相同主体则视为目标主体。