[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，用于翻译模型，所述翻译模型包括编码器和解码器，所述解码器包括至少一个解码层；

对于每个解码层，所述方法包括：

根据输入的参考待解码向量进行计算，得到第一子层向量，根据输入的所述编码器的编码向量和所述参考待解码向量进行基本注意力计算，得到第二子层向量，其中，所述编码向量为所述编码器对原始语句进行编码后生成的向量；

将所述第一子层向量和所述第二子层向量进行融合，得到融合向量；

将所述融合向量进行线性变换，得到输出的解码向量；

将所述解码层的最终解码向量依次输入线性层和归一化层，获得翻译结果。

2.如权利要求1所述的数据处理方法，其特征在于，对于第一个解码层；

根据输入的参考待解码向量进行计算，得到第一子层向量，根据输入的所述编码器的编码向量和所述参考待解码向量进行基本注意力计算，得到第二子层向量，包括：

根据输入的初始待解码向量作为参考待解码向量进行计算，得到第一子层向量，根据输入的初始待解码向量与所述编码向量进行基本注意力计算，得到第二子层向量；

或

根据输入的解码器的前一个最终解码向量作为参考待解码向量进行计算，得到第一子层向量，根据输入的解码器的前一个最终解码向量与所述编码向量进行基本注意力计算，得到第二子层向量。

3.如权利要求1所述的数据处理方法，其特征在于，对于除去第一个解码层的其他解码层，

根据输入的参考待解码向量进行计算，得到第一子层向量，根据输入的所述编码器的编码向量和所述参考待解码向量进行基本注意力计算，得到第二子层向量，包括：

根据输入的上一个解码层的解码向量进行计算，得到所述第一子层向量；

根据输入的所述编码器的编码向量和上一个解码层的解码向量进行基本注意力计算，得到所述第二子层向量。

4.如权利要求1所述的数据处理方法，其特征在于，所述解码器包括n个低阶的解码层和m个高阶的解码层，其中，n和m均为正整数；

对于低阶的解码层，根据输入的参考待解码向量进行计算，得到第一子层向量，包括：根据输入的参考待解码向量进行深度可分离卷积计算，得到所述第一子层向量；

对于高阶的解码层，根据输入的参考待解码向量进行计算，得到第一子层向量，包括：根据输入的参考待解码向量进行自注意力计算，得到所述第一子层向量。

5.如权利要求1所述的数据处理方法，其特征在于，将所述第一子层向量和所述第二子层向量进行融合，得到融合向量，包括：

将所述第一子层向量和所述第二子层向量进行拼接；

将拼接后的所述第一子层向量和所述第二子层向量赋权重值，然后通过激活函数进行计算，得到第一激活向量和第二激活向量；

根据所述第一子层向量和所述第一激活向量以及所述第二子层向量和所述第二激活向量进行计算，得到所述融合向量。

6.如权利要求1所述的数据处理方法，其特征在于，还包括：

将最后一个解码层作为解码器的最终解码向量；或

根据所有解码层的解码向量进行计算，得到解码器的最终解码向量。

7.一种数据处理装置，其特征在于，用于翻译模型，所述翻译模型包括编码器和解码器，所述解码器包括至少一个解码层；

对于每个解码层，所述装置包括：

计算模块，被配置为根据输入的参考待解码向量进行计算，得到第一子层向量，根据输入的所述编码器的编码向量和所述参考待解码向量进行基本注意力计算，得到第二子层向量，其中，所述编码向量为所述编码器对原始语句进行编码后生成的向量；

融合模块，被配置为将所述第一子层向量和所述第二子层向量进行融合，得到融合向量；

线性变换模块，被配置为将所述融合向量进行线性变换，得到输出的解码向量，将所述解码层的最终解码向量依次输入线性层和归一化层，获得翻译结果。