[发明专利]胶囊内窥镜图像辅助阅片系统及方法

权利要求书

1.一种胶囊内窥镜图像辅助阅片系统，其特征在于，它包括数据获取模块(1)、图像位置分类模块(2)和图像序列描述模块(3)，其中，数据获取模块(1)的信号输出端连接图像位置分类模块(2)的信号输入端，图像位置分类模块(2)的信号输出端连接图像序列描述模块(3)的信号输入端；

所述数据获取模块(1)用于获取检查者的胶囊内窥镜图像数据；所述图像位置分类模块(2)用于将所述的胶囊内窥镜图像数据按照拍摄的消化道部位的不同分为不同的图像序列；所述图像序列描述模块(3)用于识别消化道不同部位的图像序列中的病灶，并生成对图像序列的描述性文字，从而形成诊断报告；

所述图像序列描述模块(3)用于利用第二卷积神经网络CNN模型对不同拍摄部位的图像序列进行图像特征提取得到不同消化道部位图像序列的特征矢量序列；所述图像序列描述模块(3)还用于利用递归神经网络RNN模型将特征矢量序列中的图像特征转化为描述性文字，从而形成辅助诊断报告；

图像序列描述模块(3)的递归神经网络RNN模型由两层LSTM网络组成，将图像序列描述模块(3)的卷积神经网络CNN模型的输出作为第一层LSTM网络的输入，将第一层LSTM网络的隐藏层作为第二层LSTM网络的输入，LSTM网络作为特征矢量序列的解码器，生成相应的辅助诊断描述文字。

2.根据权利要求1所述的胶囊内窥镜图像辅助阅片系统，其特征在于：所述图像位置分类模块(2)用于使用第一卷积神经网络CNN模型将胶囊内窥镜图像按拍摄部位的不同进行分类。

3.根据权利要求1所述的胶囊内窥镜图像辅助阅片系统，其特征在于：它还包括人机交互模块(4)，所述图像序列描述模块(3)的信号输出端连接人机交互模块(4)的信号输入端；

所述人机交互模块(4)用于将生成的诊断报告呈现给医生，供医生根据机器识别的结果进行病情诊断分析。

4.根据权利要求1所述的胶囊内窥镜图像辅助阅片系统，其特征在于：它还包括模型训练模块(5)，所述模型训练模块(5)的第一数据通信端连接图像位置分类模块(2)的训练数据通信端，模型训练模块(5)的第二通信端连接图像序列描述模块(3)的训练数据通信端；

所述模型训练模块(5)用于利用随机梯度下降法训练所述图像位置分类模块(2)中使用的第一卷积神经网络CNN模型，训练后的分类模型能够对输入的胶囊内窥镜图像按拍摄部位的不同进行分类；

模型训练模块(5)还用于利用随机梯度下降法训练所述图像序列描述模块(3)中使用的第二卷积神经网络CNN模型，训练后的分类模型能够提取不同消化道部位图像序列的特征矢量序列，并得到特征矢量序列；

模型训练模块(5)还用于利用随机梯度下降法训练所述图像序列描述模块(3)中使用的递归神经网络RNN模型，训练后的递归神经网络RNN模型能根据特征矢量序列得到不同消化道部位的图像序列的描述性文字。

5.一种利用权利要求1所述系统的胶囊内窥镜图像辅助阅片方法，其特征在于，它包括如下步骤：

步骤1：数据获取模块(1)获取检查者的胶囊内窥镜图像数据；

步骤2：数据获取模块(1)将获取的检查者的胶囊内窥镜图像数据输入到图像位置分类模块(2)内的第一卷积神经网络CNN模型中按照拍摄部位的不同进行图像分类，从而得到不同消化道部位的图像序列；

步骤3：图像位置分类模块(2)将不同消化道部位的图像序列发送给图像序列描述模块(3)的第二卷积神经网络CNN模型中，得到不同消化道部位图像序列的特征矢量序列，不同消化道部位的图像序列中的每一张图像均对应一个特征矢量，所有的特征矢量组成特征矢量序列；

步骤4：将特征矢量序列输入到图像序列描述模块(3)的递归神经网络RNN模型中得到不同消化道部位的图像序列的描述性文字，图像序列描述模块(3)根据上述不同消化道部位的图像序列的描述性文字生成辅助诊断报告。