[发明专利]基于注意力机制的光学喉镜图像病变区标注方法

权利要求书

1.一种基于注意力机制的光学喉镜图像病变区标注方法，其特征在于，包括如下：

(1)获取患者的喉镜图像，记为喉镜数据集P，并取得喉镜图像的医学报告，记为标签数据集R；

(2)获取训练数据集T：

(2a)将喉镜数据集P中每张图像缩小到224*224，并对缩小后的每张图像中心化，使每个通道像素均值为0，从中心化后的喉镜图像中取出一张喉镜图像，记为Z，将剩余喉镜图像组成中心化后的喉镜数据集P'；

(2b)将中心化后的喉镜数据集P'与标签数据集R进行合并，得到训练数据集T；

(3)根据得到的训练数据集T，构造包括1个卷积神经网络和1个门控递归单元的综合网络M，并将中心化后的喉镜数据集P'作为该综合网络M的输入，使用均匀分布初始化综合网络M的权值W，将综合网络M的偏置b均初始化为数值0，设综合网络的输出为与P'对应的报告；

(4)使用训练数据集T，训练综合网络M：

(4a)打乱训练数据集T中图像的顺序，依次从训练数据集T中选择32个喉镜图像及其标签，记为一个训练批次{I,C}，其中I为一个训练批次中的喉镜图像，C为与I对应的标签；

(4b)将喉镜图像I输入到综合网络M，经过综合网络M的前向传播得到喉镜图像I对应的报告O，计算报告O与标签C之间的交叉熵，得到综合网络M的损失函数L；

(4c)使用自适应学习率优化算法Adam优化综合网络M的损失函数L，即设初始学习速率为0.0001，对综合网络M的权值W和偏置b进行更新；

(4d)重复(4a)到(4c)，直到达到最大迭代次数D＝3000，得到训练好的综合网络M；

(5)利用训练好的综合网络M获得喉镜图像Z的报告并标注病变区域：

(5a)将Z输入到训练好的综合网络M中，经过综合网络M中卷积神经网络的前向传播得到光学喉镜图像Z的特征；

(5b)将从综合网络M中卷积神经网络得到的光学喉镜图像Z的特征经过注意力加权后输入到综合网络M中的门控递归单元，经过门控递归单元的前向传播得到光学喉镜图像Z的语义报告；

(5c)根据喉镜图像Z的语义报告在标签数据集R中得到对应的病变区域，对喉镜图像Z进行病变区域标注，得到标注病变区域后的喉镜图像Z'。

2.根据权利要求1所述的方法，其中步骤(2a)中对缩小后的每张图像中心化，即对缩小后图像每个点的像素值减去(104，116，122)，得到中心化后图像的像素值(x',y',z')：

(x',y',z')＝(x-104,y-116,z-122)

其中，(x,y,z)为原始图像的像素值。

3.根据权利要求1所述的方法，其中(3)中构造的综合网络M，是由13个卷积层、4个池化层和1个门控递归单元层组成的18层结构，其结构关系如下：

第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第七卷积层→第三池化层→第八卷积层→第九卷积层→第十卷积层→第四池化层→第十一卷积层→第十二卷积层→第十三卷积层→第一门控递归单元层；

该第一、第二卷积层都是64个卷积核；

该第三、第四卷积层都是128个卷积核；

该第四、第五、第六卷积层都是256个卷积核；

该第七、第八、第九、第十、第十一、第十二、第十三卷积层都是512个卷积核。

4.根据权利要求1所述的方法，其中(3)中使用均匀分布对综合网络M的权值W进行初始化，其公式如下：

W～U(-0.01,0.01)

其中，W表示综合网络M的权值，U(·,·)表示均匀分布，即综合网络M的权值W服从-0.01到0.01的均匀分布。

5.根据权利要求1所述的方法，其中(4b)中计算报告O与标签C之间的交叉熵，得到综合网络M的损失函数L，其公式如下：

其中，C表示输入喉镜图像I的标签，O表示综合网络M针对喉镜图像I输出的报告，Clog(O)为报告O与标签C之间的交叉熵。

6.根据权利要求1所述的方法，其中(4c)中使用自适应学习率优化算法Adam优化综合网络M的损失函数L，是对综合网络M的权值W和偏置b进行更新，得到优化后的权值W'和偏置b'：

其中，表示W的梯度，表示b的梯度，·表示相乘。