[发明专利]一种基于卷积神经网络的多焦点图像融合方法

说明书

本发明涉及一种基于卷积神经网络的多焦点图像融合方法，包括：构建原始焦点探测卷积神经网络；对原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络；根据训练后的焦点探测卷积神经网络和预处理图像，获取焦点分布图像；将所述焦点分布图和所述预处理图像进行融合，获得融合图像。本发明提供的一种基于卷积神经网络的多焦点图像融合方法采用了端到端卷积神经网络直接生成焦点分布图，大大提升了生成焦点分布图的速度，实时性能更强，直接使用焦点分布图对源图像进行加权平均求和处理，没有引入额外的人为干预措施，避免了融合结果图出现人为缺陷。

技术领域

本发明属于数字图像处理领域，具体涉及一种基于卷积神经网络的多焦点图像融合方法。

背景技术

人们在摄影或摄像时，很难使用成像设备在单张照片中获得不同焦点距离的摄影物体。一般情况下，只有在光学镜头焦点位置附近的物体可以在照片中清晰地显示，而其他物体可能会模糊不清。为了使照片中的物体全部清晰显示，通常会通过融合同一场景在不同焦距设置下拍摄的照片，从而获得全焦点图像，这种方法被称为多焦点图像融合。

目前，传统的多焦点图像融合算法包含空间域方法和变换域方法。不管空间域方法还是变换域方法，活跃度测量和融合规则都是多焦点图像融合的两大重要因素。在传统的多焦点图像融合算法中，活跃度测量和融合规则都是通过人为精心设计的。虽然融合效果在不断改善，但是可以预见的是人为设计很难考虑到所有影响因素。而且，随着融合方法的不断改进，人为设计的活跃度测量方法和融合规则变得越来越复杂，不利于实际应用。2016年，Yu Liu等人首次将卷积神经网络引入到多焦点图像融合中，一定程度上解决了上述人为设计遇到的困境，并取得了较好的融合效果。

但是，Yu Liu等人提出的方法计算复杂度较高，即使使用GPU加速，获得了较快的处理速度，但还有进一步改进的空间。此外，该方法在后处理过程中可能会引入人为缺陷，影响最终融合效果。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于卷积神经网络的多焦点图像融合方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于卷积神经网络的多焦点图像融合方法，包括：

构建原始焦点探测卷积神经网络；

对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络；

根据所述训练后的焦点探测卷积神经网络和预处理图像，获取焦点分布图像；

将所述焦点分布图和所述预处理图像进行融合，获得融合图像。

在本发明的一个实施例中，所述原始焦点探测卷积神经网络，包括：第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层；其中，

所述第一卷积层、所述第一激活层、所述第二卷积层、所述第二激活层、所述第三卷积层、所述第三激活层、所述第四卷积层和所述第四激活层依次连接。

在本发明的一个实施例中，对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络，包括：

创建预设训练集；

通过优化器和所述预设训练集对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络。

在本发明的一个实施例中，创建预设训练集，包括：

对训练集进行处理，获取原始素材图像集；其中，所述原始素材图像集包括多张原始素材图像；

根据所述原始素材图像集生成预设训练集；其中，所述预设训练集包括多个训练样本。

在本发明的一个实施例中，所述训练集为ImageNet数据集。