[发明专利]基于紧框标的眼底图像的识别装置及识别方法

权利要求书

1.一种基于紧框标的眼底图像的识别装置，其特征在于，包括获取模块、网络模块和识别模块；所述获取模块配置为获取眼底图像，其中，所述眼底图像包括至少一个目标，所述至少一个目标为视杯和/或视盘；所述网络模块配置为接收所述眼底图像并基于所述眼底图像获取第一输出和第二输出，所述第一输出包括所述眼底图像中的各个像素点属于视杯和/或视盘的类别的概率，所述第二输出包括所述眼底图像中各个像素点的位置与每个类别的目标的紧框标的偏移，其中，所述网络模块包括骨干网络、用于图像分割的分割网络、以及基于边框回归的回归网络，所述骨干网络用于提取所述眼底图像的特征图，所述分割网络将所述特征图作为输入以获得所述第一输出，所述回归网络将所述特征图作为输入以获得所述第二输出，所述紧框标为所述目标的最小外接矩形；以及所述识别模块配置为基于所述第一输出和所述第二输出对所述目标进行识别以获取所述眼底图像中的视杯和/或视盘的紧框标。

2.根据权利要求1所述的识别装置，其特征在于：

所述识别模块配置为从所述第一输出中获取属于各个类别的概率最大的像素点的位置作为第一位置，基于所述第二输出中与所述第一位置对应的位置且对应类别的偏移获取各个类别的目标的紧框标。

3.根据权利要求1所述的识别装置，其特征在于：

所述特征图与所述眼底图像的分辨率一致。

4.根据权利要求1所述的识别装置，其特征在于：

在训练所述网络模块中，基于训练样本对应的标签数据、由基于弱监督学习的所述分割网络输出的预测分割数据和由所述回归网络输出的预测偏移确定所述网络模块的训练损失，基于所述训练损失对所述网络模块进行训练以优化所述网络模块，其中，所述训练样本的眼底图像数据包括多张待训练图像，所述训练损失包括基于所述训练样本对应的预测分割数据和标签数据获取的所述分割网络的分割损失、和基于所述训练样本对应的预测偏移和基于标签数据对应的真实偏移获取的所述回归网络的回归损失，所述真实偏移为所述待训练图像的像素点的位置与标签数据中的目标的紧框标的金标准的偏移。

5.根据权利要求4所述的识别装置，其特征在于：

所述预测偏移为基于各个类别的目标的平均大小进行归一化后的偏移。

6.根据权利要求4所述的识别装置，其特征在于：

按类别并利用所述待训练图像的像素点对应的期望交并比从所述待训练图像的像素点筛选出所述期望交并比大于预设期望交并比的像素点对所述回归网络进行优化，其中，以所述待训练图像的像素点为中心点构建的不同尺寸的多个边框，获取所述多个边框分别与该像素点的匹配紧框标的交并比中的最大值并作为所述期望交并比，所述匹配紧框标为所述待训练图像的像素点落入的紧框标的金标准。

7.根据权利要求6所述的识别装置，其特征在于：

所述期望交并比满足公式：

其中，eIoU为所述期望交并比，IoU为交并比，r₁,r₂为所述待训练图像的像素点在所述匹配紧框标的相对位置，0r₁,r₂1，IoU₁(r₁,r₂)＝4r₁r₂，IoU₂(r₁,r₂)＝2r₁/(2r₁(1-2r₂)+1)，IoU₃(r₁,r₂)＝2r₂/(2r₂(1-2r₁)+1)，IoU₄(r₁,r₂)＝1/(4(1-r₁)(1-r₂))。