[发明专利]文本相似度计算方法、装置、计算机设备及存储介质

说明书

本发明涉及语义解析技术领域，公开了一种文本相似度计算方法、装置、计算机设备及存储介质，其方法通过获取第一文本和第二文本并进行分词处理，获得多个第一分词和多个第二分词；获取各个第一分词的第一词位置参数和第一词归一化权重；获取各个第二分词的第二词位置参数和第二词归一化权重；根据第一词归一化权重和第二词归一化权重确定特征权重；根据第一词位置参数和第二词位置参数确定相对位置权重；根据第一词归一化权重、相同词在第一文本的第一位置差以及在第二文本的第二位置差，确定上下文权重；根据特征权重、相对位置权重和上下文权重确定第一文本相对于第二文本的相似度。本发明提高了文本相似度计算的准确度。

技术领域

本发明涉及语义解析技术领域，尤其涉及一种文本相似度计算方法、装置、计算机设备及存储介质。

背景技术

在自然语言处理任务中，经常需要判断两篇文本或语句是否相似，并计算两篇文本或语句的相似度。例如在问答系统中，系统会准备一些经典问题和对应的答案，当用户询问问题的时候，通过检索得到与用户问题相似度最高的经典问题，然后将对应的答案返回给用户。

现有的文本相似度计算方法包括Jaccard相似度计算方法、基于编辑距离的相似度计算方法和基于语义模型的相似度计算方法。Jaccard相似度计算方法通过计算两个句子集合中共有的字(或者词)的个数，两个集合共有的元素越多则相似度越高。基于编辑距离的相似度计算方法通过对两个字符串进行替换、插入、删除操作进行编辑，将一个变成另一个所需的最少的编辑次数越少则相似度越高。基于语义模型的相似度计算方法通过模型计算出两个句子的向量表示(如：[1,0,0,1,1,1,0,1])，然后计算两个向量的余弦相似度来评估两个句子的相似度。

Jaccard相似度计算方法和基于编辑距离的相似度计算方法都忽略了句子中字词的权重以及字词的先后顺序影响，而且对句子的长度十分敏感，计算结果不够准确。基于语义模型的相似度计算方法过度依赖模型计算向量的准确度，很容易将完全不相关的句子理解成相似的句子。因此，有必要提出一种更准确的文本相似度计算方法。

发明内容

基于此，有必要针对上述技术问题，提供一种文本相似度计算方法、装置、计算机设备及存储介质，以解决文本相似度计算时未考虑文本中词的权重和先后顺序，同时依赖模型向量计算导致准确性差的问题。

一种文本相似度计算方法，包括：

获取第一文本和第二文本，对所述第一文本进行分词处理，获得多个第一分词；对所述第二文本进行分词处理，获得多个第二分词；

获取各个所述第一分词的第一词位置参数和第一词归一化权重；获取各个所述第二分词的第二词位置参数和第二词归一化权重；

根据各个所述第一分词的第一词归一化权重和各个所述第二分词的第二词归一化权重确定各个所述第一分词的特征权重；

根据各个所述第一分词的第一词位置参数和各个所述第二分词的第二词位置参数确定各个所述第一分词的相对位置权重；

根据各个所述第一分词的第一词归一化权重、相同词在所述第一文本的第一位置差以及在所述第二文本的第二位置差，确定各个所述第一分词的上下文权重；

根据所述特征权重、所述相对位置权重和所述上下文权重确定所述第一文本相对于所述第二文本的相似度。

一种文本相似度计算装置，包括：

分词模块，用于获取第一文本和第二文本，对所述第一文本进行分词处理，获得多个第一分词；对所述第二文本进行分词处理，获得多个第二分词；

权重归一化模块，用于获取各个所述第一分词的第一词位置参数和第一词归一化权重；获取各个所述第二分词的第二词位置参数和第二词归一化权重；