[发明专利]一种数据处理方法及装置

说明书

本申请提供一种数据处理方法及装置，其中，所述数据处理方法用于解码器，所述解码器包括至少一个解码层，对于每个解码层，所述方法包括：根据输入的参考待解码向量进行计算，得到第一子层向量，根据输入的编码器的编码向量和所述参考待解码向量进行基本注意力计算，得到第二子层向量；将第一子层向量和第二子层向量进行融合，得到融合向量；将融合向量进行线性变换，得到输出的解码向量，从而将解码层中两个子层的串行运算修改为并行运算，实现不同子层向量的有效利用，促进翻译效果的有效提升。

技术领域

本申请涉及计算机技术领域，特别涉及一种数据处理方法及装置、计算设备、计算机可读存储介质和芯片。

背景技术

Transformer翻译模型是一种编码器-解码器的网络结构，其中编码器对输入信息进行编码处理获得编码向量，然后解码器接收输入的参考待解码向量和编码器的编码向量进行解码，并将解码向量依次输入线性层和归一化层，最终获取相应的翻译结果。

现有技术中，Transformer翻译模型的编码器由6个编码层堆叠而成，解码器由6个解码层堆叠而成。对于解码器的每个解码层，包括2个子层：自注意力层与基本注意力层。自注意力层与基本注意力层之间信息的融合是一种串行的方式，即将自注意力层的输出向量作为基本注意力层的输入向量，这种信息传递方式忽略了自注意力层与基本注意力层对每个解码层输出的解码向量的贡献度不同。

发明内容

有鉴于此，本申请实施例提供了一种数据处理方法及装置、计算设备、计算机可读存储介质和芯片，以解决现有技术中存在的技术缺陷。

本申请实施例提供了一种数据处理方法，用于解码器，所述解码器包括至少一个解码层，对于每个解码层，所述方法包括：

根据输入的参考待解码向量进行计算，得到第一子层向量，根据输入的编码器的编码向量和所述参考待解码向量进行基本注意力计算，得到第二子层向量；

将第一子层向量和第二子层向量进行融合，得到融合向量；

将融合向量进行线性变换，得到输出的解码向量。

可选地，对于第一个解码层，根据输入的参考待解码向量进行计算，得到第一子层向量，根据输入的编码器的编码向量和所述参考待解码向量进行基本注意力计算，得到第二子层向量，包括：

根据输入的初始待解码向量作为参考待解码向量进行计算，得到第一子层向量，根据输入的初始待解码向量与所述编码向量进行基本注意力计算，得到第二子层向量；或

根据输入的解码器的前一个最终解码向量作为参考待解码向量进行计算，得到第一子层向量，根据输入的解码器的前一个最终解码向量与所述编码向量进行基本注意力计算，得到第二子层向量。

可选地，对于除去第一个解码层的其他解码层，根据输入的参考待解码向量进行计算，得到第一子层向量，根据输入的编码器的编码向量和所述参考待解码向量进行基本注意力计算，得到第二子层向量，包括：

根据输入的上一个解码层的解码向量进行计算，得到第一子层向量；

根据输入的编码器的编码向量和上一个解码层的解码向量进行基本注意力计算，得到第二子层向量。

可选地，所述解码器包括n个低阶的解码层和m个高阶的解码层，其中，n和m均为正整数；

对于低阶的解码层，根据输入的参考待解码向量进行计算，得到第一子层向量，包括：根据输入的参考待解码向量进行深度可分离卷积计算，得到所述第一子层向量；

对于高阶的解码层，根据输入的参考待解码向量进行计算，得到第一子层向量，包括：根据输入的参考待解码向量进行自注意力计算，得到所述第一子层向量。

可选地，将第一子层向量和第二子层向量进行融合，得到融合向量，包括：