[发明专利]用于实时内窥镜成像的图像去雾方法及内窥镜系统

说明书

本公开提供了用于实时内窥镜成像的图像去雾方法，包括：基于实时获取的原始内窥镜成像生成待处理图像序列，待处理图像序列包括原始内窥镜成像，且待处理图像序列中各个待处理图像具有互不相同的对比度；基于第一卷积神经网络提取原始内窥镜成像的原始成像特征图，基于第二卷积神经网络提取待处理图像序列的烟雾特征图序列；基于烟雾特征图序列生成对应于原始内窥镜成像的最终烟雾特征图；基于原始成像特征图及最终烟雾特征图获得去雾之后的成像特征图。本公开还提供了内窥镜成像系统、电子设备、可读存储介质及程序产品。

技术领域

本公开涉及图像处理技术领域，本公开尤其涉及一种用于实时内窥镜成像的图像去雾方法、图像去雾装置、内窥镜系统、电子设备、存储介质及程序产品。

背景技术

在腔内内窥镜手术，经常在烟雾环境中进行，例如超声刀切割等操作，会不断生成烟雾，这些烟雾会影响内窥镜成像的图像质量，甚至影响医生的手术进程。

为了去除内窥镜成像中的烟雾，提高成像质量，现有技术中出现了一些图像去雾算法。

例如中国专利文献CN114881896A公开了一种内窥镜图像实时去雾算法，其包括以下主要步骤：

获取内窥镜采集的原始图像；对原始图像作暗通道处理，得到暗通道图像；根据原始图像和暗通道图像计算三原色通道的大气亮度值和传输函数；根据大气亮度值和传输函数修正原始图像每个像素的三原色值，得到去雾图像；其中，暗通道处理的步骤包括：获取原始图像中以待处理像素为中心，预设像素距离为半径的固定窗内每一像素的三原色值中的最小灰阶；统计固定窗内每个最小灰阶的出现频率；将待处理像素的灰阶更改为第一灰阶；第一灰阶为固定窗内出现频率大于预设频率的最小灰阶中灰度最低的一个；更改每一待处理像素的灰阶得到暗通道图像。

再例如中国专利文献CN114638767B，其公开了基于生成对抗网络的腹腔镜影像除烟方法，通过利用烟雾掩膜分割网络对待处理的腹腔镜图像样本进行处理，获取烟雾掩膜图；将待处理的腹腔镜图像样本和烟雾掩膜图输入烟雾去除网络，利用多级烟雾特征提取器对待处理的腹腔镜图像样本进行特征提取，获取轻烟特征向量和浓烟特征向量；根据轻烟特征向量、浓烟特征向量和烟雾掩膜图，利用掩膜屏蔽作用过滤烟雾信息并保留腹腔镜图像，获取无烟的腹腔镜图像。

再例如中国专利文献CN113066026B，其公开了基于深度神经网络的内窥镜图像烟雾净化方法，主要步骤为：采用Render模拟手术过程中烟雾出现的各种情况随机对腹腔镜图像加入烟雾得到模型的训练、测试和验证数据集；在编码器每一层加入拉普拉斯图像金字塔融合图像，将训练图像输入编码器提取高维特征；在解码器后五层加入CBAM注意力机制，将编码器部分提取到的图像特征通过解码器还原到输入图像尺寸；将包含烟雾的合成图像作为训练集、将原始图像作为训练集标签送入改进的U-Net网络中进行训练，通过反向传播使得网络各层获得相应参数。

然而这些现有的图像去雾算法的去雾处理过程比较复杂，图像处理速度有待优化，去雾效果有待提高。

发明内容

本公开提供了一种新的用于实时内窥镜成像的图像去雾方法、图像去雾装置、内窥镜系统、电子设备、存储介质及程序产品。

根据本公开的一个方面，提供了用于实时内窥镜成像的图像去雾方法，包括：

基于实时获取的原始内窥镜成像生成待处理图像序列，所述待处理图像序列包括所述原始内窥镜成像，且所述待处理图像序列中各个待处理图像具有互不相同的对比度；

基于第一卷积神经网络提取所述原始内窥镜成像的原始成像特征图，基于第二卷积神经网络提取所述待处理图像序列的烟雾特征图序列；

基于所述烟雾特征图序列生成对应于所述原始内窥镜成像的最终烟雾特征图；

基于所述原始成像特征图及所述最终烟雾特征图获得去雾之后的成像特征图。