[发明专利]基于注意力的模型训练方法、装置及电子设备

权利要求书

1.一种基于注意力的模型训练方法，包括：

获取神经网络模型中注意力模块的注意力输出矩阵，所述注意力输出矩阵包括头维度、样本维度和数据块维度；

基于所述神经网络模型的池化层对所述注意力输出矩阵的样本维度和数据块维度进行降维计算，确定池化后的第一输出矩阵；

基于所述神经网络模型的卷积层对所述第一输出矩阵进行卷积操作，确定卷积后的第二输出矩阵，并获取所述第二输出矩阵中各个头的输出值；

对所述第二输出矩阵中各个头的输出值进行归一化处理和加权处理，获得更新后的第二输出矩阵；

基于所述更新后的第二输出矩阵获取更新后的注意力输出矩阵，并基于所述更新后的注意力输出矩阵训练所述神经网络模型。

2.根据权利要求1所述的方法，其中，所述池化后的第一输出矩阵中的样本维度和数据块维度均为1。

3.根据权利要求1所述的方法，其中，所述基于所述神经网络模型的卷积层对所述第一输出矩阵进行卷积操作，确定卷积后的第二输出矩阵，并获取所述第二输出矩阵中各个头的输出值，包括：

基于所述神经网络模型的卷积层对所述第一输出矩阵中各个头的输出值进行交互学习以实现卷积操作，确定卷积后的第二输出矩阵，并获取所述第二输出矩阵中各个头的输出值；

其中，所述第二输出矩阵中目标头的输出值为所述第一输出矩阵中对应的所述目标头的输出值经交互学习后得到的输出值，所述目标头为所述第二输出矩阵中任一个头。

4.根据权利要求1所述的方法，其中，所述对所述第二输出矩阵中各个头的输出值进行归一化处理和加权处理，获得更新后的第二输出矩阵，包括：

对所述第二输出矩阵中各个头的输出值进行归一化处理，获得所述第二输出矩阵中各个头的权重值；

基于所述第二输出矩阵中目标头的权重值对所述目标头的输出值进行加权处理，所述目标头为所述第二输出矩阵中任一个头；

基于所述加权处理，获得更新后的第二输出矩阵。

5.根据权利要求1所述的方法，其中，所述基于所述更新后的第二输出矩阵获取更新后的注意力输出矩阵，并基于所述更新后的注意力输出矩阵训练所述神经网络模型，包括：

对所述注意力输出矩阵及所述更新后的第二输出矩阵进行矩阵乘计算，获取更新后的注意力输出矩阵；

基于所述更新后的注意力输出矩阵训练所述神经网络模型。

6.一种基于注意力的模型训练装置，包括：

获取模块，用于获取神经网络模型中注意力模块的注意力输出矩阵，所述注意力输出矩阵包括头维度、样本维度和数据块维度；

池化模块，用于基于所述神经网络模型的池化层对所述注意力输出矩阵的样本维度和数据块维度进行降维计算，确定池化后的第一输出矩阵；

卷积模块，用于基于所述神经网络模型的卷积层对所述第一输出矩阵进行卷积操作，确定卷积后的第二输出矩阵，并获取所述第二输出矩阵中各个头的输出值；

更新模块，用于对所述第二输出矩阵中各个头的输出值进行归一化处理和加权处理，获得更新后的第二输出矩阵；

训练模块，用于基于所述更新后的第二输出矩阵获取更新后的注意力输出矩阵，并基于所述更新后的注意力输出矩阵训练所述神经网络模型。

7.根据权利要求6所述的装置，其中，所述池化后的第一输出矩阵中的样本维度和数据块维度均为1。

8.根据权利要求6所述的装置，其中，所述卷积模块还用于：

基于所述神经网络模型的卷积层对所述第一输出矩阵中各个头的输出值进行交互学习以实现卷积操作，确定卷积后的第二输出矩阵，并获取所述第二输出矩阵中各个头的输出值；

其中，所述第二输出矩阵中目标头的输出值为所述第一输出矩阵中对应的所述目标头的输出值经交互学习后得到的输出值，所述目标头为所述第二输出矩阵中任一个头。