[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

说明书

本公开实施例公开了一种数据处理方法、装置、电子设备及计算机可读存储介质，所述数据处理方法包括通过处理器根据第一文本数据，利用第一模型获取第一文本语义向量，根据第二文本数据，利用所述第一模型获取第二文本语义向量；将所述第一文本语义向量输入第二模型，将所述第二文本语义向量输入第三模型，将所述第二模型生成的第一组第一类型向量输入所述第三模型，将所述第三模型生成的第二组第一类型向量输入所述第二模型，获取所述第二模型输出的第三文本语义向量和所述第三模型输出的第四文本语义向量；基于所述第三文本语义向量和所述第四文本语义向量，确定所述第一文本数据和所述第二文本数据的相似度，提高了对用户搜索需求的识别能力。

技术领域

本公开涉及计算机应用技术领域，具体涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

搜索引擎根据用户的查询请求返回相应的查询结果。用户输入查询请求时，可能由于输入法或其他原因导致输入的查询文本不准确，此时可以根据用户输入的查询文本自动识别其真实查询意图，对查询文本进行改写，并基于查询文本以及改写后的查询文本返回查询结果。互联网平台的搜索引擎的查询改写过程一般包括召回阶段和排序阶段，其中，召回阶段是根据用户输入的查询文本，获取与查询文本相关联的多个关联文本，排序阶段通过传统机器学习模型计算查询文本与多个关联文本的相似度，将相似度较高的一定数量的关联文本确定为用户输入的查询文本的查询改写文本，并将查询文本以及查询改写文本一并作为输入，从而获取更加丰富和准确的查询结果。

发明内容

为了解决相关技术中的问题，本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种数据处理方法。

具体地，所述数据处理方法，包括：

通过处理器根据第一文本数据，利用第一模型获取第一文本语义向量，根据第二文本数据，利用所述第一模型获取第二文本语义向量，其中，所述第一模型是训练好的模型；

将所述第一文本语义向量输入第二模型，将所述第二文本语义向量输入第三模型，将所述第二模型生成的第一组第一类型向量输入所述第三模型，将所述第三模型生成的第二组第一类型向量输入所述第二模型，获取所述第二模型输出的第三文本语义向量和所述第三模型输出的第四文本语义向量，其中，所述第二模型和所述第三模型是训练好的模型，所述第一类型向量包括查询向量或键向量；

基于所述第三文本语义向量和所述第四文本语义向量，确定所述第一文本数据和所述第二文本数据的相似度。

结合第一方面，本公开在第一方面的第一种实现方式中，所述第二模型包括沿所述第二模型的输入到输出方向依次连接的第1到第N个第一子模型，所述第一子模型包括沿所述第一子模型的输入到输出方向依次连接的第一线性层、第一多头注意力层、第一残差归一化层、第一前馈神经网络层和第二残差归一化层；

所述第三模型包括沿所述第三模型的输入到输出方向依次连接的第1到第N个第二子模型，所述第二子模型包括沿所述第二子模型的输入到输出方向依次连接的第二线性层、第二多头注意力层、第三残差归一化层、第二前馈神经网络层和第四残差归一化层，其中，N≥1。

结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述第一组第一类型向量包括M个第一类型向量VA_1i，所述第二组第一类型向量包括M个第一类型向量VA_2i，其中，1≤M≤N，i取不小于1且不大于N的任意一个或多个值；