[发明专利]图像处理方法和装置、电子设备及存储介质

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获取图像帧序列，所述图像帧序列包括待处理图像帧以及与所述待处理图像帧相邻的一个或多个图像帧；

获取第一图像特征集中尺度最小的第一特征数据，以及第二图像特征集中与所述第一特征数据的尺度相同的第二特征数据，将所述第一特征数据和所述第二特征数据进行图像对齐，获得第一对齐特征数据，其中，所述第一图像特征集包含所述待处理图像帧的至少一个不同尺度的特征数据，所述第二图像特征集包含所述图像帧序列中的一个图像帧的至少一个不同尺度的特征数据；

获取所述第一图像特征集中尺度第二小的第三特征数据，以及所述第二图像特征集中与所述第三特征数据的尺度相同的第四特征数据；对所述第一对齐特征数据进行上采样卷积，获得与所述第三特征数据的尺度相同的第一对齐特征数据；

基于所述上采样卷积后的第一对齐特征数据，将所述第三特征数据和所述第四特征数据进行图像对齐，获得第二对齐特征数据；

依据所述尺度由小到大的顺序执行上述步骤，直到获得与所述待处理图像帧的尺度相同的一个对齐特征数据；

基于全部所述第二图像特征集执行上述步骤以获得所述多个对齐特征数据；

基于所述多个对齐特征数据确定所述多个对齐特征数据与所述待处理图像帧相应的对齐特征数据之间的多个相似度特征，并基于所述多个相似度特征确定所述多个对齐特征数据中每个对齐特征数据的权重信息；

根据所述每个对齐特征数据的权重信息对所述多个对齐特征数据进行融合，获得所述图像帧序列的融合信息，所述融合信息用于获取与所述待处理图像帧对应的处理后图像帧。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获得多个对齐特征数据之前，所述方法还包括：

基于可形变卷积网络调整每个所述对齐特征数据，获得所述调整后的所述多个对齐特征数据。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述基于所述多个对齐特征数据确定所述多个对齐特征数据与所述待处理图像帧相应的对齐特征数据之间的多个相似度特征，包括：

通过点乘每个所述对齐特征数据与所述待处理图像帧相应的对齐特征数据，确定所述多个对齐特征数据与所述待处理图像帧相应的对齐特征数据之间的多个相似度特征。

4.根据权利要求3所述的图像处理方法，其特征在于，所述基于所述多个相似度特征确定所述多个对齐特征数据中每个对齐特征数据的权重信息包括：

利用预设激活函数和所述多个对齐特征数据与所述待处理图像帧相应的对齐特征数据之间的多个相似度特征，确定所述每个对齐特征数据的权重信息。

5.根据权利要求1或2所述的图像处理方法，其特征在于，所述根据所述每个对齐特征数据的权重信息对所述多个对齐特征数据进行融合，获得所述图像帧序列的融合信息包括：

利用融合卷积网络根据所述每个对齐特征数据的权重信息对所述多个对齐特征数据进行融合，获得所述图像帧序列的融合信息。

6.根据权利要求5所述的图像处理方法，其特征在于，所述利用融合卷积网络根据所述每个对齐特征数据的权重信息对所述多个对齐特征数据进行融合，获得所述图像帧序列的融合信息，包括：

以元素级乘法将所述每个对齐特征数据与所述每个对齐特征数据的权重信息相乘，获得所述多个对齐特征数据的多个调制特征数据；

利用所述融合卷积网络对所述多个调制特征数据进行融合，获得所述图像帧序列的融合信息。

7.根据权利要求5所述的图像处理方法，其特征在于，所述利用融合卷积网络根据所述每个对齐特征数据的权重信息对所述多个对齐特征数据进行融合，获得所述图像帧序列的融合信息之后，所述方法还包括：

基于所述图像帧序列的融合信息生成空间特征数据；

基于所述空间特征数据中每个元素点的空间注意力信息调制所述空间特征数据，获得调制后的融合信息，所述调制后的融合信息用于获取与所述待处理图像帧对应的处理后图像帧。