[发明专利]一种基于级联融合特征置信度加权的颜色恒常性方法

说明书

本发明公开了一种基于级联融合特征置信度加权的颜色恒常性方法，为无人驾驶、水下物体识别、三维物体重建等计算机视觉任务提供稳定的颜色特征，步骤为：(1)在自然场景光源下拍摄图像以及视频，制作应用于颜色恒常性方法的数据集；(2)根据光源颜色的特殊性发明基于级联融合特征置信度加权网络结构；(3)使用数据集对网络结构进行二阶段训练；(4)将估计出的场景光源从图像或者视频中移除，实现图像以及视频的颜色恒常性。本发明通过级联方式将图像中浅层边缘纹理特征与深层细粒度深层特征进行融合，充分利用图像中可以为光源估计提供更多信息的特征估计光源，解决了目前颜色恒常性方法在面对复杂环境时光源估计精确度低的问题，提高了颜色恒常性方法的精确性以及面对复杂环境时方法的稳健性。

技术领域

本发明涉及一种使用深度学习技术将图像或者视频恢复到标准光源下颜色的方法，属于人工智能、计算机视觉和图像处理领域，具体涉及一种基于级联融合特征置信度加权的颜色恒常性方法的设计，主要应用于计算机视觉中目标检测和识别的各种任务，特别是应用于水下图像以及视频的颜色校正和无人驾驶领域中的目标检测以及识别。

背景技术

颜色作为视觉信息中最为基础和直接的特征之一，已经被广泛应用于图像处理和计算机视觉领域。由于图像和视频成像过程中受到场景光照、物体表面的反射率以及成像传感器响应函数等多方面的影响。物体表面反射出的颜色会随着场景光源的变化而改变。颜色恒常性方法的目的是要消除场景中光照对物体表面颜色的影响，获取准确的物体颜色表达，为图像增强、目标分割、目标追踪、三维物体重建等计算机视觉任务提供稳定的颜色特征，这对于计算机视觉以及模式识别具有重要的理论意义和实际意义。

颜色恒常性方法可以分为基于统计学的方法和基于学习的方法，基于统计学的方法利用图像的低阶特征信息，采用某种假设条件对光照进行估计。常用的基于统计学的方法主要包括灰度世界法、灰色阴影法和灰色边缘法等。这类方法的优点是计算速度快，但是对于不同场景内容和不同光照的图像，其适应具有局限性。基于学习的颜色恒常性方法通过机器学习对大量已知光照颜色的图像样本进行统计和学习，利用先验知识间接地对场景光照进行估计。色域映射法是基于学习的方法中具有代表性的一种颜色恒常性方法。此外，基于学习的方法还包括概率计算的方法。这类方法的共同特点是利用统计特性得到图像场景中所有可能的光照，对于给定的图像，通常将最能代表场景图像已知的光照作为估计的光照。相较于基于统计的方法，基于学习的方法增强了对复杂场景的处理能力，在多数情况下提高了颜色恒常性方法的精确性和泛化性。近年来，随着深度学习技术的飞速发展，许多基于深度学习的颜色恒常性方法被提出，基于深度学习的颜色恒常性方法通过卷积核提取图像中的潜在特征对场景光源进行估计，进一步提高了颜色恒常性方法的精确性。

目前应用于颜色恒常性方法的卷积网络结构大多数是由分类或者识别任务的网络结构改进而来，应用于颜色恒常性方法的卷积网络结构虽然进一步提高了光源估计的准确性，但由于光源颜色的特殊性，颜色恒常性方法需要应用图像中可以为光源估计提供更多信息的局部特征估计光源，而目前应用于颜色恒常性方法的对提取到的所有特征信息平等对待，无法充分利用可以为光源估计提供更多信息的特征准确估计出光源。同时，目前应用于颜色恒常性方法的网络结构通过加深网络层数利用图像中细粒度的特征信息估计光源，忽略了图像中浅层边缘纹理特征信息对光源估计的重要性，导致应用于颜色恒常性方法的网络结构虽然具有强大的特征提取能力，但对光源条件的改变不敏感，具有光源不变性，不能对光源做出准确的估计。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种级联融合特征置信度加权颜色恒常性方法，在压缩网络层数和网络模型参数的同时，通过级联的方式将图像中浅层的边缘纹理特征信息和深层的细粒度特征信息进行融合，充分利用图像中为光源估计提供更多信息的特征估计光源，提高了颜色恒常性的精确性以及面对复杂环境时算法的鲁棒性。

本发明的技术方案为：一种级联融合特征置信度加权颜色恒常性方法，包括以下步骤：

S1、在自然场景光源下拍摄图像以及视频，制作数据集；