[发明专利]一种用于微创内镜手术的内镜图像器械去遮挡方法

权利要求书

1.一种用于微创内镜手术的内镜图像器械去遮挡方法，其特征在于，包括以下步骤：

输入视频流，通过模糊帧判别器区分所述视频流中的有效图像和无效图像；

基于深度学习对所述有效图像进行实例分割，划分待修复图像与非待修复图像，并生成对应的器械分割蒙版；

基于深度学习对所述待修复图像生成第一填补信息；

基于所述非待修复图像更新修复数据存储信息；

基于所述器械分割蒙版及更新后的修复数据存储信息，进行区域匹配，获取第二填补信息；

将第一填补信息和第二填补信息进行自适应处理，生成第三填补信息，根据所述第三填补信息覆盖所述有效图像对应区域，进行图像器械去遮挡。

2.根据权利要求1所述的方法，其特征在于，所述通过模糊帧判别器区分所述视频流中的有效图像和无效图像，包括：

将内镜图像集人工分为有效与无效两类并划分训练集，根据特征向量维度设定权重系数并初始化，将所述训练集输入机器学习模型进行训练，实时更新权重系数，获取划分有效与无效特征空间的超平面参数；

将所述视频流中图像输入已训练好的机器学习模型，输出判断结果。

3.根据权利要求1所述的方法，其特征在于，所述基于深度学习对所述待修复图像生成第一填补信息，包括：

通过神经网络对所述待修复图像进行处理；所述神经网络用部分卷积层替换所有的卷积层，并在解码阶段使用最近邻的上采样，通过跳跃链接将分别连接两个特征图和两个掩码，作为下一部分卷积层的特征和掩码输入，最后一个部分卷积层的输入将包含原始输入图像与孔和原始掩模的拼接，使所述神经网络复制非孔像素信息。

4.根据权利要求1所述的方法，其特征在于，所述基于所述器械分割蒙版及更新后的修复数据存储信息，进行区域匹配，包括：

基于所述器械分割蒙版，关联更新后的修复数据存储信息，进行像素级匹配。

5.根据权利要求1所述的方法，其特征在于，所述将第一填补信息和第二填补信息进行自适应处理，生成第三填补信息，包括：

基于时间衰减模型，对于连续帧图像处理模块输出的第二填补信息的权值，根据像素距当前帧的距离衰减，同时对应提高第一填补信息的权值，加权后得到第三填补信息。

6.一种用于微创内镜手术的内镜图像器械去遮挡装置，其特征在于，包括以下步骤：

判别模块，用于输入视频流，通过模糊帧判别器区分所述视频流中的有效图像和无效图像；

分割模块，用于基于深度学习对所述有效图像进行实例分割，划分待修复图像与非待修复图像，并生成对应的器械分割蒙版；

修复模块，用于基于深度学习对所述待修复图像生成第一填补信息；

更新模块，用于基于所述非待修复图像更新修复数据存储信息；

匹配模块，用于基于所述器械分割蒙版及更新后的修复数据存储信息，进行区域匹配，获取第二填补信息；

填补模块，用于将第一填补信息和第二填补信息进行自适应处理，生成第三填补信息，根据所述第三填补信息覆盖所述有效图像对应区域，进行图像器械去遮挡。

7.根据权利要求6所述的装置，其特征在于，所述判别模块，还用于：

将内镜图像集人工分为有效与无效两类并划分训练集，根据特征向量维度设定权重系数并初始化，将所述训练集输入机器学习模型进行训练，实时更新权重系数，获取划分有效与无效特征空间的超平面参数；

将所述视频流中图像输入已训练好的机器学习模型，输出判断结果。

8.根据权利要求6所述的装置，其特征在于，所述修复模块，还用于：

通过神经网络对所述待修复图像进行处理；所述神经网络用部分卷积层替换所有的卷积层，并在解码阶段使用最近邻的上采样，通过跳跃链接将分别连接两个特征图和两个掩码，作为下一部分卷积层的特征和掩码输入，最后一个部分卷积层的输入将包含原始输入图像与孔和原始掩模的拼接，使所述神经网络复制非孔像素信息。