[发明专利]文本相似度计算方法及装置

说明书

技术领域

本发明实施例涉及文本处理以及人机会话技术领域，并且更具体地，涉及一种文本相似度计算方法及装置。

背景技术

目前，业务问题自动问答系统已经广泛应用于银行的客服系统、网络购物的客服系统以及通信行业的客服系统等诸多方面，其能够自动为客户提出的业务问题提供答案，提高了服务效率，同时能够避免人工回答客户提出的业务问题，有效节省了人力资源以及人工成本。

业务问题自动问答系统会将客户提出的业务问题划分到相应的类别中，之后根据业务问题的类别自动给出一个统一的标准答案，因此，如何将业务问题准确划分到对应的类别中至关重要，关系到业务问题自动问答系统回答业务问题的准确度。

现有的技术方案中，利用业务问题与问答库中预先存储的预定问题的相似度来进行的类别划分，具体地，计算业务问题与每个预定问题的相似度，选取相似度最高的预定问题的类别作为业务问题的类别。由于不管是业务问题，还是预定问题都有以文本的形式存在，因此在对业务问题进行类别划分时，是利用计算文本之间的相似度的方法来实现的。

计算两个文本之间的相似度时，首先实现计算一个文本中每个词汇与另一个文本的相似度，之后计算所有词汇与另一文本的相似度的和，即得到了两个文本的相似度。其中，一个文本中某一词汇与另一文本的相似度，根据该词汇在其所属文本中出现的次数以及该词汇在另一文本中出现的次数计算得到。可见现有技术方案在计算本文相似度时，只能处理两个文本中存在相同词汇的情况。不同的个体有不同的表达方式，同一个意思也可以用不同的词汇表达出来，那么对于同一个意义的文本就可能出现多种多样的表达方式，只利用相同的词汇来确定两个文本的相似度会严重降低文本相似度计算的准确性，在利用文本相似度的计算方法对客户提出的业务问题进行分类时，会严重影响分类的准确性。

综上，如何精确计算文本之间的相似度是目前亟待解决的问题。

发明内容

本发明实施例提供一种文本相似度计算方法及装置，其能够利用词向量的最大余弦相似度计算相关的两个文本的相似度，由于词向量包含对应词汇的上下文信息，因此词向量的余弦相似度能够反映对应的词汇的意义相似程度，那么利用余弦相似度计算得到的两个文本的相似度就能够准确反映两个文本的意义相似程度，即利用余弦相似度能够提高文本相似度计算的准确性。

第一方面，提供了一种文本相似度计算方法，所述方法包括如下步骤：

利用第一词向量训练模型，对第一文本及第二文本中的所有词汇处理得到所有词汇的词向量,其中所述词向量中包含对应词汇的上下文关系；

根据词汇对应的词向量，计算所述第一文本中各词汇与所述第二文本中各词汇的余弦相似度，根据所述第一文本中各词汇对应的最大余弦相似度，计算该词汇与所述第二文本的相似度；根据所述第一文本中各词汇与所述第二文本的相似度，计算得到所述第一文本与所述第二文本的相似度。

结合第一方面，在第一种可能的实现方式中，所述第一文本中一词汇与所述第二文本的相似度利用如下公式计算：

其中，

上面公式中，q_i表示所述第一文本中的一个词汇，d表示所述第二文本，R(q_i,d)表示所述第一文本中的词汇q_i与第二文本d的相似度；s_i表示所述词汇q_i对应的最大余弦相似度；k₁、k₂、b表示调节因子，dl表示所述第一文本的长度，avgdl表示所述第一文本的平均长度；qf表示所述词汇q_i在所述第一文本中出现的次数。

结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一文本为当前提出的业务问题，第二文本为问答系统的问答库中存储的标准问题。

结合第一方面，在第三种可能的实现方式中，所述第一词向量训练模型利用如下步骤得到：

获取若干个第三文本以及若干个第四文本；其中，所述第三文本是与所述第一文本或第二文本业务相关的文本，第四文本为所述第一文本出现的特定的应用场景下，实际产生的文本；

计算每个所述第三文本与每个所述第四文本的相似度；确定每个所述第三文本对应的最大相似度，并选取所述最大相似度超过预定阀值的所述第三文本；

利用选取得到的所述第三文件训练得到所述第一词向量训练模型。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述第三文本与所述第四文本的相似度利用如下步骤计算：