[发明专利]一种文本处理方法、装置、计算机设备及存储介质

说明书

本公开提供了一种文本处理方法、装置、计算机设备及存储介质，其中，该方法包括：基于获取的第一文本确定第一文本中各个第一字符分别对应的第一重要性程度信息、以及基于获取的第二文本确定第二文本中各个第二字符分别对应的第二重要性程度信息；基于第一重要性程度信息、及多个第一字符分别对应的第一字向量，确定表征第一文本语义信息的第一目标向量；以及，基于第二重要性程度信息、及多个第二字符分别对应的多个第二字向量，确定表征第二文本语义信息的第二目标向量；基于第一目标向量、及第二目标向量，确定第一文本与第二文本之间的相似度信息。这种方法降低了对文本的语义贡献度较小的字符对文本特征的影响，提升了相似度结果的准确性。

技术领域

本公开涉及自然语言处理技术领域，具体而言，涉及一种文本处理方法、装置、计算机设备及存储介质。

背景技术

目前，语句之间的相似度计算用于衡量不同语句之间的相似度，在信息检索、客服回复等领域应用广泛。例如在客服自动回复时，通过对用户发送的用户提问信息与预先构建的标准问答库中包含的多个预设提问信息分别进行相似度计算，可以在标准问答库中确定相似度最高预设问句，并向用户推送与预设问句相对应的答句作为自动回复信息。

当前确定不同语句之间的相似度的方式存在准确度较低的问题。

发明内容

本公开实施例至少提供一种文本处理方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种文本处理方法，包括：

基于获取的第一文本确定所述第一文本中各个第一字符分别对应的第一重要性程度信息、以及基于获取的第二文本确定所述第二文本中各个第二字符分别对应的第二重要性程度信息；

基于所述第一重要性程度信息、及所述多个第一字符分别对应的第一字向量，确定表征第一文本语义信息的第一目标向量；以及，基于所述第二重要性程度信息、及所述多个第二字符分别对应的多个第二字向量，确定表征第二文本语义信息的第二目标向量；

基于所述第一目标向量、及所述第二目标向量，确定所述第一文本与所述第二文本之间的相似度信息。

在一种可选的实施方式中，所述基于所述第一重要性程度信息、及所述多个第一字符分别对应的第一字向量，确定表征第一文本语义信息的第一目标向量，包括：

利用所述第一重要性程度信息，对所述多个第一字符分别对应的第一字向量进行加权求和，得到所述第一目标向量。

在一种可选的实施方式中，所述基于所述第一目标向量、及所述第二目标向量，确定所述第一文本与所述第二文本之间的相似度信息，包括：

确定所述第一目标向量、及所述第二目标向量之间的向量距离；

基于所述向量距离，得到所述第一文本与所述第二文本之间的相似度信息。

在一种可选的实施方式中，所述第一目标向量、及所述第二目标向量之间的向量距离包括下述至少一种：

欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、马氏距离、夹角余弦、以及汉明距离。

在一种可选的实施方式中，所述基于获取的第一文本确定所述第一文本中各个第一字符分别对应的第一重要性程度信息，包括：

获取所述第一文本的第一特征句向量、及所述第一文本中多个第一字符分别对应的第一特征字向量；

通过注意力机制对所述第一特征句向量、以及所述多个第一字符分别对应的第一特征字向量进行处理，得到所述多个第一字符分别与所述第一特征句向量之间的第一相关度信息；

基于所述多个第一字符分别与所述第一特征句向量之间的第一相关度信息，得到所述多个第一字符分别对应的第一重要性程度信息。