[发明专利]一种胃镜图像自动采集系统及方法

权利要求书

1.一种胃镜图像自动采集系统，其特征在于：它包括：

视频接收模块，通过视频采集卡连接内镜设备，接收内镜设备采集的视频流，并对视频流进行预处理；

视频识别模块，包括采用反向传播算法训练好的卷积神经网络模型和长短时间记忆网络模型，卷积神经网络模型用于对预处理后的图像进行部位和病灶特征的分类，长短时间记忆网络模型对分类的结果进行序列拟合，得到识别结果；所述的识别结果包括图片对应的部位分类及部位分类置信度、图片是否包含病灶及病灶特征置信度、图片清晰置信度；

图像展示模块，用于将视频识别模块的识别结果进行图文表达；

结果输出模块，用于记录每次识别结果，并按照视频识别模块的识别结果中部位分类置信度、病灶特征置信度和图片清晰置信度加权之后进行排序，输出每个部位排序最前的图像；

所述的卷积神经网络模型包括图像部位判别CNN模型和病灶特征判别CNN模型；所述的长短时间记忆网络模型包括图像部位判别LSTM模型和病灶特征判别LSTM模型；其中，

图像部位判别CNN模型根据26个胃的典型部位对应的权重，对输入的单张图像中识别出对应的典型部位，从而对该单张图像进行部位分类；然后将输入连续N张部位分类好的图像至部位判别LSTM模型，判别图像部位判别CNN模型的识别权重，输出连续N张中的最后一张图像的部位类别；

病灶特征判别CNN模型用于对部位分类过的单张图像，判断具有病灶特征的置信度；病灶特征判别LSTM模型用于输入N张病灶特征判别CNN模型的识别权重，输出最后一张图片具有病灶特征的置信度。

2.一种胃镜图像自动采集方法，其特征在于：它包括以下步骤：

S1、利用视频采集卡从内镜设备接收胃镜的视频流，并对视频流进行预处理，按1帧每秒的速度发送到视频识别模块；

S2、视频识别模块采用卷积神经网络模型对预处理后的图像进行部位和病灶特征的分类，然后用长短时间记忆网络模型对分类的结果进行序列拟合，得到识别结果；所述的识别结果包括图片对应的部位分类及部位分类置信度和图片清晰置信度；卷积神经网络模型和长短时间记忆网络模型均采用反向传播算法训练好；

S3、将视频识别模块的识别结果进行图文表达；

S4、记录每次识别结果，并按照视频识别模块的识别结果中部位分类置信度和图片清晰置信度加权之后进行排序，输出每个部位排序最前的图像；

所述的S2中，卷积神经网络模型包括图像部位判别CNN模型和病灶特征判别CNN模型；所述的长短时间记忆网络模型包括图像部位判别LSTM模型和病灶特征判别LSTM模型；其中，

图像部位判别CNN模型根据26个胃的典型部位对应的权重，对输入的单张图像中识别出对应的典型部位，从而对该单张图像进行部位分类；然后将输入连续N张部位分类好的图像至部位判别LSTM模型，判别图像部位判别CNN模型的识别权重，输出连续N张中的最后一张图像的部位类别；

病灶特征判别CNN模型用于对部位分类过的单张图像，判断具有病灶特征的概率；病灶特征判别LSTM模型用于输入N张病灶特征判别CNN模型的识别权重，输出最后一张图片具有病灶特征的概率。