[发明专利]基于多通道结构的消化道内窥镜图片病灶识别系统

权利要求书

1.一种基于多通道结构的消化道内窥镜图片病灶识别系统，其包括：

训练数据获取标注模块，用于获取多组训练数据，每组训练数据包括消化道内窥镜图片和消化道内窥镜图片的病灶类别和病灶区域；

预处理模块，用于对所述消化道内窥镜图片进行预处理，得到处理后的消化道内窥镜图片；

模型构建模块，用于构建预设的网络模型，所述预设的网络模型包括多个并行的不同粒度通道网络，与所述多个并行的不同粒度通道网络全部相连的共享解码网络；所述多个并行的不同粒度通道网络均由图片切割层和多层Transformer构成，用于抽取消化道内窥镜图片的图片特征；所述共享解码网络由卷积神经网络构成，用于解码消化道内窥镜图片特征，输出消化道内窥镜图片病灶定位及分类预测；

模型训练模块，用于将所述处理后的消化道内窥镜图片输入预设的网络模型，并使用预设的损失函数对所述网络模型进行训练，得到识别模型；

识别模块，用于利用所述识别模型结合非极大值抑制算法对输入的消化道内窥镜图片进行识别。

2.根据权利要求1所述的系统，其中所述Transformer至少包括用于获取序列特征的多头注意力部分、用于非线性变换的前馈传播部分和用于归一化的加和标准化部分，前馈传播部分位于多头注意力部分之后，在前馈传播部分和多头注意力部分的输出位置分别构建加和标准化部分。

3.根据权利要求1所述的系统，其中对消化道内窥镜图片进行预处理包括：缩放裁剪处理、去均值处理、归一化处理之一或其任意组合。

4.根据权利要求1所述的系统，其中所述的多个并行的不同粒度通道网络中的图片切割层对所述的消化道内窥镜图片进行不同粒度切割。

5.根据权利要求1所述的系统，其中所述的共享解码网络可由全连接神经网络实现。

6.根据权利要求1所述的系统，其中所述预设的损失函数为：

其中， 为像素点类别输出，为类别标签，为像素点的位置输出，为位置标签，为类别误差，采用焦点损失Focal Loss计算，L_reg为位置误差，采用IoU损失计算，N_pos表示像素点的数量， 为指示器，当时等于1，否则等于0，为Lreg的平衡因子。

7.根据权利要求1所述的系统，其中所述消化道内窥镜图片的病灶类别包括：胃癌、胃溃疡、胃炎、胃糜烂、十二指肠溃疡之一或其任意组合。