[发明专利]基于紧框标的深度学习的测量方法及测量装置

说明书

本公开描述了一种基于紧框标的深度学习的测量方法，包括获取输入图像；将输入图像输入基于目标的紧框标进行训练的网络模块以获取第一输出和第二输出，第一输出包括输入图像中的各个像素点属于各个类别的概率，第二输出包括输入图像中各个像素点的位置与每个类别的目标的紧框标的偏移，网络模块包括用于提取输入图像的特征图的骨干网络、基于弱监督学习的分割网络、以及基于边框回归的回归网络，分割网络将特征图作为输入以获得第一输出，回归网络将特征图作为输入以获得第二输出，特征图与输入图像的分辨率一致；基于第一输出和第二输出对目标进行识别以获取各个类别的目标的紧框标。由此，能够识别目标且能够精确地对目标进行测量。

技术领域

本公开大体涉及基于深度学习的识别技术领域，具体涉及一种基于紧框标的深度学习的测量方法及测量装置。

背景技术

图像中常常包括各种目标的信息，基于图像处理技术识别图像中目标的信息可以自动对目标进行分析。例如，在医学领域，可以对医学图像中的组织对象进行识别，进而能够测量组织对象的尺寸以监测组织对象的变化。

近年，以深度学习为代表的人工智能技术得到了显著地发展，其在目标识别或测量等方面的应用也越来越得到关注。研究者们利用深度学习技术对图像中的目标进行识别或进行进一步地测量。具体而言，在一些基于深度学习的研究中，常常利用标注数据对基于深度学习的神经网络进行训练以对图像中的目标进行识别并分割出该目标，进而能够对该目标进行测量。

然而，上述的目标识别或测量的方法常常需要精确的像素级别的标注数据用于神经网络的训练，而采集像素级别的标注数据常常需要耗费大量的人力和物力。另外，一些目标识别的方法虽然不是基于像素级别的标注数据，但仅仅是识别图像中的目标，对目标的边界识别还不够精确或在靠近目标的边界位置往往精度较低，不适用于要求精确测量的场景。在这种情况下，对图像中的目标进行测量的精确性还有待于提高。

发明内容

本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够识别目标且能够精确地对目标进行测量的基于紧框标的深度学习的测量方法及测量装置。

为此，本公开第一方面提供了一种基于紧框标的深度学习的测量方法，是利用基于目标的紧框标进行训练的网络模块对所述目标进行识别从而实现测量的测量方法，所述紧框标为所述目标的最小外接矩形，所述测量方法包括：获取包括至少一个目标的输入图像，所述至少一个目标属于至少一个感兴趣的类别；将所述输入图像输入所述网络模块以获取第一输出和第二输出，所述第一输出包括所述输入图像中的各个像素点属于各个类别的概率，所述第二输出包括所述输入图像中各个像素点的位置与每个类别的目标的紧框标的偏移，将所述第二输出中的偏移作为目标偏移，其中，所述网络模块包括骨干网络、基于弱监督学习的图像分割的分割网络、以及基于边框回归的回归网络，所述骨干网络用于提取所述输入图像的特征图，所述分割网络将所述特征图作为输入以获得所述第一输出，所述回归网络将所述特征图作为输入以获得所述第二输出，其中，所述特征图与所述输入图像的分辨率一致；基于所述第一输出和所述第二输出对所述目标进行识别以获取各个类别的目标的紧框标。

在本公开中，构建包括骨干网络、基于弱监督学习的图像分割的分割网络和基于边框回归的回归网络的网络模块，网络模块是基于目标的紧框标进行训练的，骨干网络接收输入图像并提取与输入图像分辨率一致的特征图，将特征图分别输入分割网络和回归网络以获取第一输出和第二输出，然后基于第一输出和第二输出获取输入图像中目标的紧框标从而实现测量。在这种情况下，基于目标的紧框标的训练的网络模块能够精确地预测输入图像中目标的紧框标，进而能够基于目标的紧框标进行精确地测量。

另外，在本公开第一方面所涉及的测量方法中，可选地，基于所述目标的紧框标对各个目标的尺寸进行测量。由此，能够基于目标的紧框标对目标进行精确地测量。