[发明专利]一种确定文本新颖度的方法及相关装置

说明书

本申请实施例提供了一种确定文本新颖度的方法及相关装置，该方法包括：确定目标文本；提取所述目标文本中的多个目标实体，得到目标实体集合；获取候选文本集合中的每篇候选文本的候选实体集合；确定所述目标实体集合与所述候选实体集合的第一实体交集，所述第一实体交集为所述目标实体集合和所述候选实体集合中相匹配的实体；根据所述第一实体交集与所述目标实体集合的差异参数确定所述目标文本与所述候选文本的新颖度。本申请实施例中，提高了新颖度计算的准确率。

技术领域

本发明涉及数据处理领域，具体涉及一种确定文本新颖度的方法及相关装置。

背景技术

随着技术爆炸时代的来临，信息重要性不断增强，数据量不断增长，信息检索就尤为重要。

用户常常需要根据目标文本检索数据库，在数据库中查询与该目标文本相似的候选文本，但当前的检索方法大都是基于文本检索、文本检索着眼于文本字符的匹配。例如，用户确定目标文本中的关键词，输入关键词，然后检索系统根据关键词与数据库中的候选文本进行关键词匹配，关键词数量匹配的越高的候选文本与目标文本的新颖度越低。

在当前的方式中，需要用户确定关键词，关键词的选取对检索结果影响很大，而且关键词的选取具有主观性，并不一定是目标文本实际内容的理解，因此，目标文本与候选文本的新颖度的准确率较低。

发明内容

有鉴于此，本发明实施例提供了一种的确定文本新颖度的方法及相关装置，确定目标文本中所有的目标实体，及每篇候选文本中所有的候选实体，根据第一实体交集与所述目标实体集合的差异参数确定所述目标文本与所述候选文本的新颖度，相对于现有技术，仅通过用户主观确定的关键词，通过关键词匹配确定新颖度，新颖度的确定方法需要受到用户主观理解的影响，本申请实施例提供的方法更客观，是目标文本与候选文本真实内容的表达，因此，新颖度计算更准确。

第一方面，本申请实施例提供了一种确定文本新颖度的方法，包括：

确定目标文本；

提取所述目标文本中的多个目标实体，得到目标实体集合；

获取候选文本集合中的每篇候选文本的候选实体集合；

确定所述目标实体集合与所述候选实体集合的第一实体交集，所述第一实体交集为所述目标实体集合和所述候选实体集合中相匹配的实体；

根据所述第一实体交集与所述目标实体集合的差异参数确定所述目标文本与所述候选文本的新颖度。

在一种可能的实现方式中，所述方法还包括：

提取所述目标文本中的多个二元关系，得到目标二元关系集合，所述二元关系包括两个实体及其之间的关系；

获取所述候选文本中包括多个二元关系的候选二元关系集合；

确定所述目标二元关系集合与所述候选二元关系集合的第一二元关系交集，所述第一二元关系交集包括所述目标二元关系集合和所述候选二元关系集合中相匹配的二元关系；

所述根据所述第一实体集合与所述目标实体集合的差异参数确定所述目标文本与所述候选文本的新颖度，包括：

所述根据所述第一实体集合与所述目标实体集合的差异参数确定第一实体新颖度；

根据所述第一二元关系交集与所述目标二元关系集合的差异参数确定第一二元关系新颖度；

根据所述第一实体新颖度和所述第一二元关系新颖度确定所述目标文本与所述候选文本的新颖度。

在一种可能的实现方式中，所述方法还包括：

提取所述目标文本中的目标三元关系集合，所述目标三元关系集合包括多个三元关系，所述三元关系包括两个二元关系，所述两个二元关系中具有相同的实体；