[发明专利]基于深度神经网络的肠镜退镜质量智能监控系统及方法

权利要求书

1.基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，包括：

后台视频处理和调用端，用于将获取到的视频流拆分成图像帧，并调用质量监控模型；

质量监控模型端，用于运行基于深度神经网络的目标区域检测模型和分类模型；

还用于在启动时调用基于深度神经网络的目标区域检测模型，检测出帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来，并将分割出来的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；

还用于将判定为有效视野的图像按照四个象限等分为四份，分别调用基于深度神经网络的分类模型进行管腔、结肠局部和模糊的三分类判定，并将其中结肠局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端；

视频流展示端，用于展示质量控制指标，所述质量控制指标包括退镜过程中的视野有效率、结肠局部分类的图像数量和有效视野的图像数量的比值以及管腔分类的图像数量和有效视野的图像数量的比值。

2.根据权利要求1所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，所述质量监控模型端在将获取到的视频流拆分成图像帧时，设定规定帧率，当视频流中的视频的帧率超过所述规定帧率时，则对于视频进行降帧处理。

3.根据权利要求1或2所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，利用OpenCV软件包将获取到的视频流拆分成图像帧。

4.根据权利要求1所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，所述基于深度神经网络的目标区域检测模型利用YoloV5算法，检测每帧图像的目标区域。

5.根据权利要求1所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，利用Pillow工具包将所述退镜过程中的视野有效率以及旋镜操作的评估指标编辑在从视频流中拆分出的图像帧上，并将编辑后的图像帧展示在使用PyQt工具包创建的视频流展示端界面上。

6.根据权利要求5所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，所述视频流展示端包括开始检测按钮、AI开启或关闭按钮、全屏按钮以及视频展示区；

所述开始检测按钮，用于在按下时，启动后台视频处理和调用端；

所述AI开启或关闭按钮，用于自动控制开启或关闭后台视频处理和调用端；

所述视频展示区，用于展示编辑后的图像帧；

所述全屏按钮，用于在按下时，将视频展示区全屏展示。

7.根据权利要求5所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，在编辑时，质量控制指标将编辑在图像帧的控制信息部分。

8.基于深度神经网络的肠镜退镜质量智能监控方法，应用于权利要求1-7任意一项所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，包括如下步骤：

步骤1.获取结肠镜检查时生成的视频流；

步骤2.将获取到的视频流拆分成图像帧；

步骤3.检测出每一帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来；

步骤4.对分割后的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量；

步骤5.将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；

步骤6.将判定为有效视野的图像按照四个象限等分为四份，分别进行管腔、结肠局部和模糊的三分类判定；

步骤7.将三分类判定结果中结肠局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端。