[发明专利]胶囊内窥镜图像辅助阅片系统及方法

摘要

本发明公开了一种胶囊内窥镜图像辅助阅片系统，它的数据获取模块用于获取检查者的胶囊内窥镜图像数据；图像位置分类模块用于利用第一卷积神经网络CNN模型将胶囊内窥镜图像按拍摄部位的不同进行分类，得到不同拍摄部位的图像序列；图像序列描述模块用于利用第二卷积神经网络CNN模型对不同拍摄部位的图像序列进行图像特征提取得到不同消化道部位图像序列的特征矢量序列；图像序列描述模块还用于利用递归神经网络RNN模型将特征矢量序列中的图像特征转化为描述性文字，从而形成辅助诊断报告。本发明可以减少医生观看消化道图像的工作量，提高医生的诊断效率。

主权项

1.一种胶囊内窥镜图像辅助阅片系统，其特征在于，它包括数据获取模块(1)、图像位置分类模块(2)和图像序列描述模块(3)，其中，数据获取模块(1)的信号输出端连接图像位置分类模块(2)的信号输入端，图像位置分类模块(2)的信号输出端连接图像序列描述模块(3)的信号输入端；所述数据获取模块(1)用于获取检查者的胶囊内窥镜图像数据；所述图像位置分类模块(2)用于将所述的胶囊内窥镜图像数据按照拍摄的消化道部位的不同分为不同的图像序列；所述图像序列描述模块(3)用于识别消化道不同部位的图像序列中的病灶，并生成对图像序列的描述性文字，从而形成诊断报告；所述图像序列描述模块(3)用于利用第二卷积神经网络CNN模型对不同拍摄部位的图像序列进行图像特征提取得到不同消化道部位图像序列的特征矢量序列；所述图像序列描述模块(3)还用于利用递归神经网络RNN模型将特征矢量序列中的图像特征转化为描述性文字，从而形成辅助诊断报告；图像序列描述模块(3)的递归神经网络RNN模型由两层LSTM网络组成，将图像序列描述模块(3)的卷积神经网络CNN模型的输出作为第一层LSTM网络的输入，将第一层LSTM网络的隐藏层作为第二层LSTM网络的输入，LSTM网络作为特征矢量序列的解码器，生成相应的辅助诊断描述文字。