[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，用于翻译模型，所述翻译模型包括编码器和解码器，所述解码器包括至少一个解码层；

对于每个解码层，所述方法包括：

根据输入的参考待解码向量进行自注意力计算，得到第一子层向量；

将第一子层向量以及输入的编码向量进行多头注意力计算，得到第二子层向量，其中，所述编码向量为所述编码器对原始语句进行编码后生成的向量；

将所述参考待解码向量和所述第二子层向量进行融合，得到融合向量；

将融合向量进行线性变换，得到输出的解码向量；

将所述解码器的最终解码向量依次输入线性层和归一化层，获得翻译结果。

2.如权利要求1所述的数据处理方法，其特征在于，对于第一个解码层，

根据输入的参考待解码向量进行自注意力计算，得到第一子层向量，包括：根据输入的初始待解码向量作为参考待解码向量进行自注意力计算，得到第一子层向量。

3.如权利要求1所述的数据处理方法，其特征在于，对于除去第一个解码层的其他解码层；

根据输入的参考待解码向量进行自注意力计算，得到第一子层向量，包括：根据输入的上一个解码层的解码向量作为参考待解码向量进行自注意力计算，得到第一子层向量。

4.如权利要求1所述的数据处理方法，其特征在于，在得到第一子层向量后，所述方法还包括：

将第一子层向量进行线性门控处理，得到第一子层线性向量；

将第一子层线性向量以及所述编码向量进行多头注意力计算，得到第二子层向量。

5.如权利要求1或4所述的数据处理方法，其特征在于，将所述参考待解码向量和所述第二子层向量进行融合，得到融合向量，包括：

将第二子层向量进行预处理，得到第二子层预处理向量，将所述参考待解码向量进行预处理，得到参考解码预处理向量；

将第二子层预处理向量和参考解码预处理向量拼接，然后通过激活函数进行计算，得到激活向量；

根据所述激活向量、所述第二子层向量和所述参考待解码向量进行计算，得到所述融合向量。

6.如权利要求1所述的数据处理方法，其特征在于，还包括：

将最后一个解码层作为解码器的最终解码向量；或

根据所有解码层的解码向量进行融合计算，得到解码器的最终解码向量。

7.一种数据处理装置，其特征在于，用于翻译模型，所述翻译模型包括编码器和解码器，所述解码器包括至少一个解码层；

对于每个解码层，所述装置包括：

第一计算模块，被配置为根据输入的参考待解码向量进行自注意力计算，得到第一子层向量；

第二计算模块，被配置为将第一子层向量以及输入的编码向量进行多头注意力计算，得到第二子层向量，其中，所述编码向量为所述编码器对原始语句进行编码后生成的向量；

融合模块，被配置为将所述参考待解码向量和所述第二子层向量进行融合，得到融合向量；

线性变换模块，被配置为将融合向量进行线性变换，得到输出的解码向量；

获得模块，被配置为将所述解码器的最终解码向量依次输入线性层和归一化层，获得翻译结果。

8.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-6任意一项所述方法的步骤。

9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6任意一项所述方法的步骤。

10.一种芯片，其存储有计算机指令，其特征在于，该指令被芯片执行时实现权利要求1-6任意一项所述方法的步骤。