[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取用户的输入文本数据和N个历史行为文本数据，其中，所述历史行为文本数据对应于所述用户的历史行为，N为大于等于1的整数；

通过处理器利用第一模型获取与所述输入文本数据相对应的第一文本语义向量和分别与所述N个历史行为文本数据相对应的N个第二文本语义向量；

通过处理器根据所述N个第二文本语义向量，利用一个第二模型或串联的多个第二模型获取N个第三文本语义向量C_i，i＝1～N；所述第三文本语义向量C_i基于与所述第三文本语义向量C_i对应的第二文本语义向量B_i和其它N-1个第二语义文本向量之间的关联关系获取；

通过处理器根据所述第一文本语义向量和所述N个第三文本语义向量C_i，获取所述用户的兴趣向量。

2.根据权利要求1所述的方法，其特征在于，所述获取用户的输入文本数据和N个历史行为文本数据，包括：

获取所述用户的所述输入文本数据；

基于所述输入文本数据，确定所述N个历史行为文本数据。

3.根据权利要求2所述的方法，其特征在于，所述基于所述输入文本数据，确定所述N个历史行为文本数据，包括：

获取所述用户在预设历史时间段内的M个候选历史行为文本数据，M为大于等于N的整数；

根据所述输入文本数据与所述M个候选历史行为文本数据的相关度，将所述M个候选历史行为文本数据中的N个候选历史行为文本数据确定为所述N个历史行为文本数据。

4.根据权利要求1所述的方法，其特征在于，所述第一模型包括以下模型中任意一个模型：Word2vector模型、Item2vector模型、BERT模型。

5.根据权利要求1所述的方法，其特征在于，所述第二模型包括沿所述第二模型的输入到输出方向依次连接的第一线性层、第一多头注意力层、第一残差归一化层、第一前馈神经网络层和第二残差归一化层，其中，所述第一多头注意力层包括沿所述第一多头注意力层的输入到输出方向依次连接的第一子线性层、点积注意力层、第一拼接层和第二子线性层。

6.根据权利要求5所述的方法，其特征在于，所述点积注意力层包括沿所述点积注意力层的输入到输出方向依次连接的第一点积层、缩放层、第一掩码层、第一Softmax函数激活层和第二点积层，其中，所述第一点积层用于对所述第一子线性层输出的第一键向量和第一查询向量执行点积运算，所述第二点积层用于对所述第一Softmax函数激活层的输出结果和所述第一子线性层输出的第一值向量执行点积运算。

7.根据权利要求1所述的方法，其特征在于，所述第二模型包括沿所述第二模型的输入到输出方向依次连接的第二线性层、第二多头注意力层、第三残差归一化层、第二前馈神经网络层和第四残差归一化层，其中，所述第二多头注意力层包括沿所述第二多头注意力层的输入到输出方向依次连接的第三子线性层、余弦运算注意力层、第二拼接层和第四子线性层。

8.根据权利要求7所述的方法，其特征在于，所述余弦运算注意力层包括沿所述余弦运算注意力层的输入到输出方向依次连接的余弦运算层、第二掩码层、第二Softmax函数激活层和第三点积层，其中，所述余弦运算层用于对所述第三子线性层输出的第二键向量和第二查询向量执行余弦运算，所述第三点积层用于对所述第二Softmax函数激活层的输出结果和所述第三子线性层输出的第二值向量执行点积运算。