[发明专利]一种数据处理方法、装置、设备以及存储介质

权利要求书

1.一种数据处理方法，包括：

采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到所述至少两个第一编码层输出的第一特征；

基于所述第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从所述至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及所述至少两个第一待传输特征在所述解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层；其中，所述连接关系包括直接连接关系和跳跃连接关系；

采用所述解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。

2.根据权利要求1所述的方法，其中，基于所述第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从所述至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及所述至少两个第一待传输特征在所述解码网络中关联的解码层，包括：

基于所述第一编码网络的第一编码层和解码网络的解码层之间的直接连接关系，将所述第一编码网络尾部的第一编码层输出的第一特征作为一种第一待传输特征，以及将所述解码网络首部的解码层作为该种第一待传输特征在所述解码网络中关联的解码层；

基于所述第一编码网络的第一编码层和解码网络的解码层之间的跳跃连接关系，将具有跳跃连接关系的第一编码层输出的第一特征作为另一种第一待传输特征，以及将与所述第一编码层跳跃连接的解码层作为该种第一待传输特征在所述解码网络中关联的解码层。

3.根据权利要求1所述的方法，其中，将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层，包括：

针对每个第一待传输特征，将所述第一待传输特征和第二特征调整为相同特征维度后进行拼接处理，得到一组拼接特征，并将所述拼接特征传输至所述第一待传输特征关联的解码层。

4.根据权利要求1所述的方法，还包括：

采用第二编码网络对第二数据进行编码，得到第二特征。

5.根据权利要求4所述的方法，其中，若所述第二编码网络包括至少两个第二编码层，则将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层，包括：

基于所述第二编码网络的第二编码层和第一编码网络的第一编码层之间的关联关系，从所述第二编码网络的至少两个第二编码层输出的第二特征中确定第二待传输特征，以及所述第二待传输特征对应的第一待传输特征；

将所述第二待传输特征和所述第二待传输特征对应的第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层。

6.根据权利要求4所述的方法，若所述第二编码网络为时序网络结构，则所述第二特征为至少两个时刻的第二特征。

7.根据权利要求1-6中任一项所述的方法，其中，所述第一编码网络尾部的第一编码层和所述解码网络首部的解码层之间具有直接连接关系；

所述第一编码网络和所述解码网络中，满足第一编码层输出与解码层输入维度相同的第一编码层和解码层具有跳跃连接关系。

8.根据权利要求1-6中任一项所述的方法，其中，所述第一数据为人物图像；所述第一特征为所述人物图像的人物特征；所述第二特征为对语音片段编码得到的语音动作关联特征；所述最终解码结果为所述语音片段驱动所述人物图像得到的人物视频。