[发明专利]一种胃镜图像自动采集系统及方法

说明书

本发明提供一种胃镜图像自动采集系统，包括采用反向传播算法训练好的卷积神经网络模型和长短时间记忆网络模型，卷积神经网络模型用于对预处理后的图像进行部位和病灶特征的分类，长短时间记忆网络模型对分类的结果进行序列拟合，得到识别结果；图像展示模块，用于将视频识别模块的识别结果进行图文表达；结果输出模块，用于记录每次识别结果，并按照视频识别模块的识别结果进行排序，输出每个部位排序最前的图像。本发明综合运用卷积神经网络模型和长短时间记忆网络模型对采集的胃镜视频进行实时采集过滤，能够避免图像中的目标特征的遗漏，优化特征的类别。

技术领域

本发明属于医疗内窥镜影像识别领域，具体涉及一种胃镜图像自动采集系统及方法。

背景技术

随着深度学习算法不断发展、日益成熟，已经逐步用于医疗影像分析领域。内窥镜影像是医生分析病人消化道疾病的重要依据，近年来开发出了多种利用深度卷积神经网络模型对病灶的筛选、诊断方法在目前有关胃镜诊断系统在临床上具有重要意义。

实施内镜检查时，操作医师一边观察内镜视频，一边将发现的包含重要器官部位和可疑病灶区域的影像，通过踩踏专门的脚踏板，将图像抓取下来保存到内镜报告系统中，再由诊断医生根据这些抓取的影像出具诊断报告。胃镜检查流程通常只有5-7分钟，受制于操作医师的工作状态、经验影响，容易出现将重点影像漏掉未抓取到情况，这将导致后续诊断医生无法做出全面准确的评估。

目前公开的相关胃镜辅助系统及方法，多数采用深度卷积神经网络方法，该类方法在对静态图片分类判别上获得了较好的精度，但由于胃镜操作流程的复杂性，该类方法在实时视频分析时精度较差。

发明内容

本发明要解决的技术问题是：提供一种胃镜图像自动采集系统及方法，能够避免图像中的目标特征的遗漏，并优化目标特征的类别。

本发明为解决上述技术问题所采取的技术方案为：一种胃镜图像自动采集系统，其特征在于：它包括：

视频接收模块，通过视频采集卡连接内镜设备，接收内镜设备采集的视频流，并对视频流进行预处理；

视频识别模块，包括采用反向传播算法训练好的卷积神经网络模型和长短时间记忆网络模型，卷积神经网络模型用于对预处理后的图像进行部位和病灶特征的分类，长短时间记忆网络模型对分类的结果进行序列拟合，得到识别结果；所述的识别结果包括图片对应的部位分类及部位分类置信度和图片清晰置信度；

图像展示模块，用于将视频识别模块的识别结果进行图文表达；

结果输出模块，用于记录每次识别结果，并按照视频识别模块的识别结果中部位分类置信度和图片清晰置信度加权之后进行排序，输出每个部位排序最前的图像。

按上述系统，所述的卷积神经网络模型包括图像部位判别CNN模型和病灶特征判别CNN模型；所述的长短时间记忆网络模型包括图像部位判别LSTM模型和病灶特征判别LSTM模型；其中，

图像部位判别CNN模型根据26个胃的典型部位对应的权重，对输入的单张图像中识别出对应的典型部位，从而对该单张图像进行部位分类；然后将输入连续N张部位分类好的图像至部位判别LSTM模型，判别图像部位判别CNN模型的识别权重，输出连续N张中的最后一张图像的部位类别；

病灶特征判别CNN模型用于对部位分类过的单张图像，判断具有病灶特征的概率；病灶特征判别LSTM模型用于输入N张病灶特征判别CNN模型的识别权重，输出最后一张图片具有病灶特征的概率。

一种胃镜图像自动采集方法，其特征在于：它包括以下步骤：

S1、利用视频采集卡从内镜设备接收胃镜的视频流，并对视频流进行预处理，按1帧每秒的速度发送到视频识别模块；