[发明专利]基于深度学习的图像处理方法、装置及存储介质

说明书

本发明揭露了一种基于深度学习的图像处理方法，该方法包括：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个旁路的输出设置为前一个旁路的输入；利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型；及，将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。本发明还揭露了一种电子装置及计算机存储介质。利用本发明，可提高获取的视觉显著性热力图的准确性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的图像处理方法、电子装置及计算机可读存储介质。

背景技术

人们在接收自然图像后，由于人脑需要区分对待不同等级的信息资源，因此在处理自然图像信息时，人们会将不同的信息资源进行分级处理，从而表现出选择的特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的各个区域，而是对更感兴趣的语义信息部分进行优先处理。将图像视觉显著区域计算出来是计算机视觉领域中的一个重要的研究内容。然而，现有的图像视觉显著提取方法提取的人类注视图的准确性较差，因此，亟需一种能解决上述问题的图像处理方法。

发明内容

鉴于以上内容，本发明提供一种基于深度学习的图像处理方法、电子装置及计算机可读存储介质，其主要目的在于提高图像处理过程中获取的视觉显著性热力图的准确性。

为实现上述目的，本发明提供一种基于深度学习的图像处理方法，该方法包括：

模型扩展步骤：在预设类型的深度学习模型的卷积层和池化层外接预设数量的旁路结构得到扩展后的深度学习模型，并将每个旁路的输出设置为前一个旁路的输入；

模型训练步骤：利用预先确定的样本图像集训练所述扩展后的深度学习模型得到图像处理模型；及

图像处理步骤：将待处理图像输入所述图像处理模型，输出所述待处理图像的视觉显著性热力图。

优选地，所述训练步骤包括：

获取预设数量的样本图像，在所述样本图像上标注视觉显著性热力图区域，生成所述预先确定的样本图像集，将所述样本图像集划分为训练集及验证集；

将所述训练集中的样本图像输入扩展后的深度学习模型，根据每个旁路k的输出计算所述样本图像的交叉熵CE_k，根据所述交叉熵计算所述样本图像的融合损失FL，

其中，m，n分别为样本图像的长和宽，x为标注视觉显著性热力图区域中的像素，x^ij为样本图像中的像素，N2且为自然数，代表旁路分支的数量；

根据所述样本图像的融合损失，对所述扩展后的深度学习模型进行反向梯度传播，并进行迭代优化；及

每隔预设训练间隔利用所述验证集对所述扩展后的深度学习模型进行验证，当验证结果满足第一预设条件时，结束训练，得到所述图像处理模型。

优选地，所述预设类型的深度学习模型为VGGNet网络模型。

优选地，该方法还包括：

调整步骤：基于预设裁剪规则对所述视觉显著性热力图进行裁剪，得到所述调整后的视觉显著性热力图。

优选地，所述预设裁剪规则包括：

将所述视觉显著性热力图转换为灰度图像，对所述灰度图像的像素进行二值化操作得到二值化图像；

获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框；及