[发明专利]图像处理的方法、装置、可移动平台以及系统

权利要求书

1.一种图像处理的方法，其特征在于，包括：

采用卷积神经网络(CNN)结构，对多帧图像中的每帧图像进行处理，以获得所述每帧图像的多通道特征图；

采用循环神经网络(RNN)结构，对所述多帧图像的多通道特征图进行处理，以获得所述每帧图像的单通道的显著性图；

根据所述每帧图像对应的显著性图，确定所述每帧图像的感兴趣区域(ROI)位置。

2.根据权利要求1所述的方法，其特征在于，所述采用卷积神经网络CNN结构，对多帧图像中的每帧图像进行处理，以获得所述每帧图像的多通道特征图，包括：

对所述每帧图像进行连续的卷积和/或池化操作，以获取所述每帧图像的多张空间特征图，所述多张空间特征图具有不同分辨率；

对所述多张空间特征图中的每张空间特征图进行反卷积和/或卷积操作，以获取所述每帧图像的多张单通道特征图，所述多张单通道特征图具有相同分辨率；

将所述每帧图像的所述多张单通道特征图组合为所述每帧图像的多通道特征图。

3.根据权利要求2所述的方法，其特征在于，所述对所述每帧图像进行连续的卷积和/或池化操作，以获取所述每帧图像的多张空间特征图，包括：

根据预设网络模型结构，对所述每帧图像进行连续的卷积和池化操作，以获取所述每帧图像的至少三张空间特征图，所述至少三张空间特征图具有不同分辨率。

4.根据权利要求3所述的方法，其特征在于，所述预设网络模型结构为VGG-16结构，

所述根据所述预设网络模型结构，对所述每帧图像进行连续的卷积和池化操作，以获取所述每帧图像的至少三张空间特征图，包括：

根据所述VGG-16结构，对所述每帧图像进行五组卷积池化操作，以获取所述每帧图像的三张空间特征图，其中，所述五组卷积池化操作包括13层卷积。

5.根据权利要求4所述的方法，其特征在于，所述每帧图像的分辨率为w×h，所述三张空间特征图的分辨率分别为：和

6.根据权利要求2至5中任一项所述的方法，其特征在于，所述对所述多张空间特征图中的每张空间特征图进行反卷积和/或卷积操作，以获取所述每帧图像的多张单通道特征图，包括：

对所述每张空间特征图进行反卷积操作，以获得分辨率相同的多张特征图；

对所述多张特征图中每张特征图进行卷积操作，以获得所述多张单通道特征图。

7.根据权利要求6所述的方法，其特征在于，所述每帧图像的分辨率为w×h，所述多张特征图的分辨率均为w×h。

8.根据权利要求6或7所述的方法，其特征在于，所述反卷积操作中的反卷积步长设置为2。

9.根据权利要求6至8中任一项所述的方法，其特征在于，所述对所述多张特征图中每张特征图进行卷积操作，以获得所述多张单通道特征图，包括：

对所述每张特征图采用1*1的卷积层，获得所述多张单通道特征图。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述RNN结构为长短时记忆网络(LSTM)结构。

11.根据权利要求10所述的方法，其特征在于，所述采用循环神经网络RNN结构，对所述多帧图像的多通道特征图进行处理，以获得所述每帧图像的单通道的显著性图，包括：

将所述多帧图像的多通道特征图按照时间顺序依次输入至所述LSTM结构，以输出所述每帧图像对应的多通道的处理后的特征图；

对所述处理后的特征图采用1*1的卷积层，以获得所述每帧图像的单通道的显著性图。