[发明专利]文本相似度的处理方法、装置、设备和计算机存储介质

说明书

本发明提供一种文本相似度的处理方法、装置、设备和计算机存储介质，其中所述文本相似度的处理方法包括：获取由多种相似度确定方法得到的文本对的相似度确定结果；将所述文本对的相似度确定结果进行拼接，得到拼接特征；将所述拼接特征作为相似度确定模型的输入，根据所述相似度确定模型的输出得到所述文本对的文本相似度；其中，所述相似度确定模型是预先训练得到的。通过本发明所提供的技术方案，能够实现对多种相似度确定方法所得到的相似度确定结果进行集成处理，并提高确定文本对的文本相似度的准确性，使得集成处理后的相似度计算准确性高于任何一种单一的相似度计算方式。

【技术领域】

本发明涉及自然语言处理技术，尤其涉及一种文本相似度的处理方法、装置、设备和计算机存储介质。

【背景技术】

多种互联网应用(例如搜索引擎、问答平台等)都需要依赖准确的文本相似度的计算方法，从而向用户提供与所输入的查询或者与所提出的问题相匹配的内容，因此文本相似度计算一直以来都是亟待解决和提高的研发课题。现有技术中存在多种文本相似度的计算方法，仍然停留在传统自然语言学的词法、词性分析、句法模板提取的层面进行文本相似度的计算，需要使用例如切词工具、词性鉴别、文本匹配模板等方式对文本进行处理。然而，各种单一的相似度计算方法因其算法的限制往往在计算准确性上具有一定局限。

【发明内容】

有鉴于此，本发明提供了一种文本相似度的处理方法、装置、设备和计算机存储介质，用于实现对文本对的多种相似度确定结果进行集成处理，并提高文本对相似度的计算准确性。

本发明为解决技术问题所采用的技术方案是提供一种文本相似度的处理方法，所述方法包括：获取由多种相似度确定方法得到的文本对的相似度确定结果；将所述文本对的相似度确定结果进行拼接，得到拼接特征；将所述拼接特征作为相似度确定模型的输入，根据所述相似度确定模型的输出得到所述文本对的文本相似度；其中，所述相似度确定模型是预先训练得到的。

根据本发明一优选实施例，所述相似度确定模型是采用如下方式预先训练得到的：获取由多种相似度确定方法得到的已标注相似度的文本对的相似度确定结果；将所述各文本对的相似度确定结果进行拼接，得到各文本对的拼接特征；将所述各文本对的拼接特征与所述各文本对的标注相似度作为训练样本，训练分类模型，以得到相似度确定模型。

根据本发明一优选实施例，所述分类模型的训练目标为最小化所述分类模型的损失值；在所述训练分类模型的过程中，利用所述损失值对所述分类模型进行参数调整。

根据本发明一优选实施例，所述损失值为所述分类模型输出的文本对的文本相似度与所述文本对的标注相似度之间的误差。

根据本发明一优选实施例，所述由多种相似度确定方式得到的文本对的相似度确定结果包括：文本对的相似度特征向量与相似度得分。

根据本发明一优选实施例，所述将所述文本对的相似度确定结果进行拼接之前，还包括：对所述相似度特征向量进行随机采样，得到采样特征向量；将所述采样特征向量与所述相似度得分进行拼接，得到所述拼接特征。

根据本发明一优选实施例，所述对所述相似度特征向量进行随机采样，得到采样特征向量包括：按照预设概率对所述相似度特征向量中的特征值进行随机采样，并将所述相似度特征向量中未被采样的特征值设置为0，得到采样特征向量。

根据本发明一优选实施例，所述相似度确定模型为基于神经网络的分类模型。

本发明为解决技术问题所采用的技术方案是提供一种文本相似度的处理装置，所述装置包括：获取单元，用于获取由多种相似度确定方法得到的文本对的相似度确定结果；拼接单元，用于将所述文本对的相似度确定结果进行拼接，得到拼接特征；处理单元，用于将所述拼接特征作为相似度确定模型的输入，根据所述相似度确定模型的输出得到所述文本对的文本相似度；其中，所述相似度确定模型是预先训练得到的。