[发明专利]基于深度学习的图像处理方法、装置及存储介质

权利要求书

1.一种基于深度学习的图像处理方法，适用于电子装置，其特征在于，该方法包括：

模型扩展步骤：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个靠后的旁路k的输出设置为前一个旁路k-1的输入，其中k≥2；

模型训练步骤：利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型，包括：

获取预设数量的样本图像，在所述样本图像上标注视觉显著性热力图区域，生成所述预先确定的样本图像集，将所述样本图像集划分为训练集及验证集；

将所述训练集中的样本图像输入扩展后的深度学习模型，根据每个旁路k的输出计算所述样本图像的交叉熵CE_k，根据所述交叉熵计算所述样本图像的融合损失FL，

其中，m，n分别为样本图像的长和宽，x为标注视觉显著性热力图区域中的像素，x^ij为样本图像中的像素，N2且为自然数，代表旁路分支的数量；

根据所述样本图像的融合损失，对所述扩展后的深度学习模型进行反向梯度传播，并进行迭代优化；及

每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型；及

每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型；及

图像处理步骤：将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。

2.根据权利要求1所述的图像处理方法，其特征在于，所述预设类型的深度学习模型为VGGNet网络模型。

3.根据权利要求1或2所述的图像处理方法，其特征在于，该方法还包括：

调整步骤：基于预设裁剪规则对所述视觉显著性热力图进行裁剪，得到所述调整后的视觉显著性热力图。

4.根据权利要求3所述的图像处理方法，其特征在于，所述调整步骤包括：

将所述视觉显著性热力图转换为灰度图像，对所述灰度图像的像素进行二值化操作得到二值化图像；

获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框；及

选取所述最小外接矩形框中长宽比满足第二预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为所述调整后的视觉显著性热力图。

5.一种电子装置，其特征在于，该装置包括存储器及处理器，所述存储器中存储有可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时可实现如下步骤：

模型扩展步骤：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个靠后的旁路k的输出设置为前一个旁路k-1的输入，其中k≥2；

模型训练步骤：利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型，包括：

获取预设数量的样本图像，在所述样本图像上标注视觉显著性热力图区域，生成所述预先确定的样本图像集，将所述样本图像集划分为训练集及验证集；

将所述训练集中的样本图像输入扩展后的深度学习模型，根据每个旁路k的输出计算所述样本图像的交叉熵CE_k，根据所述交叉熵计算所述样本图像的融合损失FL，

其中，m，n分别为样本图像的长和宽，x为标注视觉显著性热力图区域中的像素，x^ij为样本图像中的像素，N2且为自然数，代表旁路分支的数量；

根据所述样本图像的融合损失，对所述扩展后的深度学习模型进行反向梯度传播，并进行迭代优化；及

每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型；及

图像处理步骤：将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。