[发明专利]基于深度学习的胶囊内窥镜影像识别方法、设备及介质

权利要求书

1.一种基于深度学习的胶囊内窥镜影像识别方法，其特征在于，所述方法包括：

通过胶囊内窥镜按照时间生成顺序收集N幅原始图像；

采用滑动窗口分割方法将N幅原始图像分割为大小相同的M组原始图像序列；

解析N幅原始图像或解析M组RGB图像序列形成M组光流图像；

每一所述RGB图像序列由RGB格式的图像数据构成，每一所述光流图像序列由通过计算相邻RGB图像的光流场所形成的图像数据构成；

将所述RGB图像序列和所述光流图像序列分别输入到3D卷积神经网络模型以输出识别结果；所述识别结果为预设参数出现的概率值；

所述3D卷积神经网络模型包括：RGB支路和光流支路；自处理流程的先后顺序排布，所述3D卷积神经网络模型包括：7*7*7的3D卷积层，3*3*3的3D池化层，至少1个协同时空特征结构，3D池化层，全连接层;

其中，将所述RGB图像序列和所述光流图像序列分别输入到3D卷积神经网络模型以输出识别结果，包括：

将RGB图像序列输入RGB支路进行计算以输出第一分类概率；

将光流图像序列输入光流支路进行计算以输出第二分类概率；

对所述第一分类概率和所述第二分类概率进行融合形成所述识别结果；

；

，

;

其中,分别表示构建3D卷积神经网络模型过程中，验证集分别在RGB支路和光流支路的识别精度;

第一协同时空卷积层处理数据的流程包括：

将其入口输入特征图分解为三个视图，分别以、和表示，

配置三个视图的输出特征分别以、和表示，则：

其中，为的输入数据，为输入特征图的尺寸，为输入特征图的通道数，表示三维卷积，表示卷积滤波核；

对三组输入数据进行加权求和得到第一协同时空卷积层的输出：

其中，为尺寸的系数，且使用softmax进行归一化，为输出的通道数，数字3表示三个视图。

2.根据权利要求1所述的基于深度学习的胶囊内窥镜影像识别方法，其特征在于，采用滑动窗口分割方法将N幅原始图像分割为大小相同的M组原始图像序列，包括：

依据时间生成顺序为N幅原始图像进行编号，其依次为1，2，……N；

以预设窗口大小K，预设滑动步长S依次分割N幅图像，将其划分为M组原始图像序列，其中，。

3.根据权利要求1所述的基于深度学习的胶囊内窥镜影像识别方法，其特征在于，3D卷积神经网络模型的训练方式包括：

将预训练的2D识别模型中尺寸为的2D卷积核参数复制N遍;所述的2D识别模型通过有病灶标签的图像训练获得，其输入为单帧图像，且只能对单帧图像进行识别；

将复制后的各核参数分别除以N，使得每一位置的核参数为原来的1/3;

将新的核参数重新组合形成尺寸为的卷积核参数，以构成3D卷积神经网络模型中3D卷积核的初始化参数；

利用随机梯度下降法训练参数初始化后的3D卷积神经网络模型，迭代更新模型的参数，直到满足迭代停止条件，形成用于输出识别结果的所述3D卷积神经网络模型。

4.根据权利要求1所述的基于深度学习的胶囊内窥镜影像识别方法，其特征在于，所述协同时空特征结构的数量为P个，P∈（4，16）；

自输入至输出的处理流程的先后顺序排布，所述协同时空特征结构包括：第一协同时空卷积层，第一归一化层，激活层；以及与第一协同时空卷积层，第一归一化层，激活层并行执行、且从所述协同时空特征结构输入到输出的快连接。

5.根据权利要求4所述的基于深度学习的胶囊内窥镜影像识别方法，其特征在于，自输入至输出的处理流程的先后顺序排布，所述协同时空特征结构还包括：处于激活层之后的第二协同时空卷积层，第二归一化层。

6.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任意一项所述基于深度学习的胶囊内窥镜影像识别方法中的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任意一项所述基于深度学习的胶囊内窥镜影像识别方法中的步骤。