[发明专利]一种数据处理方法及相关设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取transformer模型，所述transformer模型包括目标网络层以及目标模块；

获取待处理数据，通过所述transformer模型对所述待处理数据进行处理，以得到数据处理结果；其中，所述目标模块用于对所述目标网络层的特征图输出进行目标运算，以得到运算结果，并将所述运算结果与所述特征图输出进行融合，以得到更新后的所述特征图输出；所述目标运算为基于卷积的非线性运算。

2.根据权利要求1所述的方法，其特征在于，所述卷积所采用的卷积核包括的权重参数为通过正则化处理得到的。

3.根据权利要求2所述的方法，其特征在于，所述卷积所采用的卷积核满足如下条件的至少一种：

所述卷积核包括的权重参数的加和与1的差值在预设范围内；

所述卷积核包括的权重参数为正数。

4.根据权利要求1至3任一所述的方法，其特征在于，所述特征图输出与所述更新后的所述特征图输出的长宽尺寸一致。

5.根据权利要求2至4任一所述的方法，其特征在于，所述非线性运算用于对所述卷积得到的结果进行非线性处理。

6.根据权利要求1至5任一所述的方法，其特征在于，所述目标网络层包括注意力层。

7.根据权利要求6所述的方法，其特征在于，所述注意力层包括M个注意力头，所述目标网络层的特征图输出包括所述M个注意力头的M个特征图输出；

所述对所述目标网络层的特征图输出进行目标运算，以得到运算结果，并将所述运算结果与所述特征图输出进行融合，包括：

对所述M个特征图输出进行N次目标运算，以得到N个第一特征图，并将所述N个第一特征图与所述M个注意力头的M个特征图输出进行融合。

8.根据权利要求7所述的方法，其特征在于，所述将所述N个第一特征图与所述M个注意力头的M个特征图输出进行融合，包括：

将所述N个第一特征图与所述M个注意力头的M个特征图输出进行加和运算。

9.根据权利要求6所述的方法，其特征在于，所述注意力层包括M个注意力头，所述M个注意力头中的每个注意力头包括第一分支和第二分支，所述第一分支的输出为根据K向量和Q向量的点乘运算得到的，所述第二分支的输出为根据V向量得到的，所述目标网络层的特征图输出包括所述M个注意力头的M个第一分支的输出；

所述对所述目标网络层的特征图输出进行目标运算，以得到运算结果，并将所述运算结果与所述特征图输出进行融合，包括：

对所述M个第一分支的输出进行N次目标运算，以得到N个第二特征图，并将所述N个第二特征图与所述M个第一分支的输出进行融合。

10.根据权利要求9所述的方法，其特征在于，所述将所述N个第二特征图与所述M个第一分支的输出进行融合，包括：

将所述N个第二特征图与所述M个第一分支的输出进行拼接操作(concat)。

11.根据权利要求6所述的方法，其特征在于，所述注意力层包括M个注意力头，所述M个注意力头中的每个注意力头包括第三分支，所述第三分支的输出为根据K向量、Q向量以及V向量的点乘运算得到的，所述目标网络层的特征图输出包括所述M个注意力头的M个第三分支的输出；

所述对所述目标网络层的特征图输出进行目标运算，以得到运算结果，并将所述运算结果与所述特征图输出进行融合，包括：

对所述M个第三分支的输出进行N次目标运算，以得到N个第三特征图，并将所述N个第三特征图与所述M个第三分支的输出进行融合。

12.根据权利要求11所述的方法，其特征在于，所述将所述N个第三特征图与所述M个第三分支的输出进行融合，包括：

将所述N个第三特征图与所述M个第三分支的输出进行拼接操作。