[发明专利]用于基于神经网络的色彩还原的系统和方法

说明书

一种用于图像中的色彩还原的方法包含存取对象的图像并且基于图像处理操作来处理所述图像以提供处理后的图像，其中所述图像处理影响所述对象的色彩。所述方法进一步包含：使用训练后的神经网络来确定色彩调节参数，其中对所述训练后的神经网络的输入是基于所述图像和所述处理后的图像，基于所述色彩调节参数还原所述处理后的图像中的色彩以产生还原色彩后的图像，以及在显示装置上显示所述还原色彩后的图像。

技术领域

本公开涉及用于图像中的色彩还原的装置、系统和方法，且更具体地，涉及外科手术程序期间去雾后的图像中的色彩还原。

背景技术

通过切口或天然的人体孔口引入内窥镜，以观察人体的内部特征。常规内窥镜用于内窥镜或腹腔镜外科手术程序期间的可视化。在电外科手术程序期间，当使用外科手术器械例如在外科手术期间用电外科手术能量处理组织时，可能会产生雾。因此，通过内窥镜获取的图像可能包含这种雾。雾可能会使外科手术部位的特征模糊不清，并且在外科医生等待雾清除干净的时候延迟外科手术程序。其它程序可能会遇到类似的问题，其中在捕获图像时会存在烟尘。因此，有兴趣改进成像技术。

发明内容

本公开涉及用于图像中的色彩还原的装置、系统和方法。根据本公开的方面，一种用于图像中的色彩还原的方法包含存取对象的图像并且基于图像处理操作来处理图像以提供处理后的图像，其中图像处理影响对象的色彩。所述方法进一步包含：使用训练后的神经网络来确定色彩调节参数，其中对训练后的神经网络的输入是基于图像和处理后的图像，基于色彩调节参数还原处理后的图像中的色彩以产生还原色彩后的图像，以及在显示装置上显示还原色彩后的图像。本文所描述的色彩还原技术还可以应用于去雾之外的图像处理所产生的图像。

在本公开的一方面，图像处理操作可包含对图像进行去雾的去雾操作。去雾操作包含：确定图像的暗通道矩阵，估计图像的大气光分量，基于大气光分量和暗通道矩阵来确定透射图，以及基于透射图对图像进行去雾以提供处理后的图像。

在本公开的另一方面，图像可为RGB图像，并且处理后的图像可为RGB处理后的图像。

在本公开的一方面，确定色彩调节参数可包含：将RGB图像转换为HSV图像，将RGB处理后的图像转换为HSV处理后的图像，从HSV处理后的图像中减去HSV图像以提供HSV差分图像，将HSV差分图像输入到训练后的神经网络，以及获得HSV调节图像作为训练后的神经网络的输出，所述HSV调节图像包含色彩调节参数。还原处理后的图像中的色彩可包含：将HSV调节图像的色调通道和饱和度通道添加到HSV处理后的图像以提供HSV还原色彩后的图像，将HSV还原色彩后的图像转换为RGB以提供还原色彩后的图像。

在本公开的又一方面，所述方法可进一步包含训练神经网络。训练包含：存取具有无雾图像的RGB无雾图像数据集，存取在深色背景上具有有雾图像的RGB有雾数据集，将RGB无雾图像数据集与RGB有雾数据集组合以提供RGB有雾图像数据集，对RGB有雾图像数据集中的图像进行去雾以提供RGB去雾后的图像数据集，将RGB去雾后的图像数据集、RGB有雾图像数据集和RGB无雾图像数据集从RGB图像转换为HSV图像，以分别提供HSV去雾后的图像数据集、HSV有雾图像数据集和HSV无雾图像数据集，确定HSV去雾后的图像数据集中的图像与HSV有雾图像数据集中的对应图像之间的差以提供HSV差分图像数据集，以及将HSV差分图像数据集作为训练输入提供给神经网络。

在本公开的另一方面，训练神经网络可进一步包含减少损失函数。损失函数可基于HSV差分图像数据集的至少一部分。

在本公开的一方面，损失函数进一步基于真实数据，所述真实数据基于HSV无雾图像数据集的图像与HSV有雾图像数据集的对应图像之间的差。

在本公开的另一方面，所述方法可进一步包含通过使用以下公式确定加权组合来将RGB无雾图像数据集与RGB有雾数据集组合：RGB有雾数据集中的图像*系数+RGB无雾图像数据集中的图像*(1-系数)。所述系数是介于0与1之间的值。