[发明专利]图像处理方法及电子设备

权利要求书

1.一种图像处理方法，包括：

将图像序列中的目标图像和与目标图像关联的第一类关联图像和第二类关联图像，输入预定模型；其中，所述预定模型包括：编码器和解码器，其中，所述编码器和解码器均包括N层；N为不小于2的正整数；

所述编码器的第n编码层，输出与所述目标图像和所述第一类关联图像对应的第一数量的第n层第一类特征，与所述目标图像和所述第二类关联图像对应的第二数量的第n层第二类特征，及，与所述目标图像对应的第n层第三类特征，其中，n为小于或等于N的正整数；

将所述第n层第一类特征和/或所述第n层第二类特征进行特征融合，得到融合特征；

将所述第n层第三类特征和所述融合特征输入到第n解码层进行解码，得到第n解码层输出的解码信息；

其中，所述编码器的相邻层的前一编码层输出，还作为后一编码层的输入；所述解码器的相邻层的前一解码层的输出还作为后一解码层的输入。

2.根据权利要求1所述的方法，其中，所述将所述第n层第一类特征和/或所述第n层第二类特征进行特征融合，得到融合特征，包括：

将第一数量的所述第n层第一类特征进行融合，得到第n层第四类特征；

将第二数量的所述第n层第二类特征进行融合，得到第n层第五类特征。

3.根据权利要求2所述的方法，其中，所述将第一数量的所述第n层第一类特征进行融合，得到第n层第四类特征，包括：

将M个所述第n层第一类特征所对应的特征图，按照特征图的像素对齐的方式进行特征的加权平均，得到第n层第四类特征，M为所述第一数量；

所述将第二数量的所述第n层第二类特征进行融合，得到第n层第五类特征，包括：

将S个所述第n层第二类特征所对应的特征图，按照特征图的像素对齐的方式进行特征的加权平均，得到第n层第五类特征，S为所述第二数量。

4.根据权利要求1所述的方法，其特征在于，所述预定模型还包括：连接所述编码器和所述解码器的底层；所述方法还包括：

利用所述预定模型的底层，基于所述编码器的第N编码层的输出，输出与所述目标图像和所述第一类关联图像对应的第一数量的第N+1层第一类特征，与所述目标图像和所述第二类关联图像对应的第二数量的第N+1层第二类特征，及，与所述目标图像对应的第N+1层第三类特征；

将所述第N+1层第三类特征输入到所述解码器的第N解码层；

所述第N解码层，以所述第N编码层所对应的第N层第三类特征、第N层融合特征及所述第N+1层第三类特征为输入，进行解码处理并产生输出。

5.根据权利要求1所述的方法，其中，所述目标图像为图像序列中的图像S_tar；

所述第一类关联图像包括：所述图像序列中的图像(S_tar-x*i，S_tar-(x-1)*i，……S_tar+(x-1)*i，S_tar+x*i)；其中，x为正整数，i为正整数；

和/或，

所述第二类关联图像包括：所述图像序列中的图像(S_tar-y*j，S_tar-(y-1)*j，……S_tar+(y-1)*j，S_tar+y*j)其中，y为大于x的正整数，j为正整数。

6.根据权利要求1所述的方法，其中，所述方法还包括：利用分类器基于所述目标图像的第一类特征及所述目标图像的第三类特征，进行所述目标图像的分类；当所述目标图像为第一类图像时，利用所述解码器对所述目标图像的特征解码。

7.根据权利要求6所述的方法，其中，所述方法还包括：

当所述目标图像为第二类图像时，停止所述解码器对所述目标图像的特征解码。

8.根据权利要求7所述的方法，其中，所述方法还包括：

当所述目标图像为所述第二类图像时，根据与所述目标图像相邻的所述第一类图像和所述第二类图像的解码信息，推测所述目标图像的解码信息。