[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

通过处理器根据第一文本数据，利用第一模型获取第一文本语义向量，根据第二文本数据，利用所述第一模型获取第二文本语义向量，其中，所述第一模型是训练好的模型；

将所述第一文本语义向量输入第二模型，将所述第二文本语义向量输入第三模型，将所述第二模型生成的第一组第一类型向量输入所述第三模型，将所述第三模型生成的第二组第一类型向量输入所述第二模型，获取所述第二模型输出的第三文本语义向量和所述第三模型输出的第四文本语义向量，其中，所述第二模型和所述第三模型是训练好的模型，所述第一类型向量包括查询向量或键向量；

基于所述第三文本语义向量和所述第四文本语义向量，确定所述第一文本数据和所述第二文本数据的相似度。

2.根据权利要求1所述的方法，其特征在于：所述第二模型包括沿所述第二模型的输入到输出方向依次连接的第1到第N个第一子模型，所述第一子模型包括沿所述第一子模型的输入到输出方向依次连接的第一线性层、第一多头注意力层、第一残差归一化层、第一前馈神经网络层和第二残差归一化层；

所述第三模型包括沿所述第三模型的输入到输出方向依次连接的第1到第N个第二子模型，所述第二子模型包括沿所述第二子模型的输入到输出方向依次连接的第二线性层、第二多头注意力层、第三残差归一化层、第二前馈神经网络层和第四残差归一化层，其中，N≥1。

3.根据权利要求2所述的方法，其特征在于：

所述第一组第一类型向量包括M个第一类型向量VA_1i，所述第二组第一类型向量包括M个第一类型向量VA_2i，其中，1≤M≤N，i取不小于1且不大于N的任意一个或多个值；

通过第i个所述第一子模型的所述第一线性层生成所述第一类型向量VA_1i，通过第i个所述第二子模型的所述第二线性层生成所述第一类型向量VA_2i；所述将所述第二模型生成的第一组第一类型向量输入所述第三模型，将所述第三模型生成的第二组第一类型向量输入所述第二模型，包括：将第一类型向量VA_1i输入第i个所述第二子模型的所述第二多头注意力层，将第一类型向量VA_2i输入第i个所述第一子模型的所述第一多头注意力层。

4.根据权利要求3所述的方法，其特征在于，还包括：

通过第j个所述第一子模型的所述第一线性层，生成第二类型向量VB_1j和第三类型向量VC_1j，通过第j个所述第二子模型的所述第二线性层，生成第二类型向量VB_2j和第三类型向量VC_2j，j＝1～N；

通过第k个所述第一子模型的所述第一线性层生成第一类型向量VA_1k，通过第k个所述第二子模型的所述第二线性层生成所述第一类型向量VA_2k，k取不小于1且不大于N的数值中不等于i的值；

将第二类型向量VB_1j和第三类型向量VC_1j输入所述第j个所述第一子模型的所述第一多头注意力层，将第二类型向量VB_2j和第三类型向量VC_2j输入第j个所述第二子模型的所述第二多头注意力层；

将第一类型向量VA_1k输入第k个所述第一子模型的所述第一多头注意力层，将第一类型向量VA_2k输入第k个所述第二子模型的所述第二多头注意力层，

其中：当第一类型向量是查询向量时，第二类型向量是值向量，第三类型向量是键向量，当第一类型向量是键向量时，第二类型向量是值向量，第三类型向量是查询向量。

5.根据权利要求3所述的方法，其特征在于，i的取值至少包括1。