[发明专利]基于紧框标的深度学习的测量方法及测量装置

权利要求书

1.一种基于紧框标的深度学习的测量方法，其特征在于，是利用基于目标的紧框标进行训练的网络模块对所述目标进行识别从而实现测量的测量方法，所述紧框标为所述目标的最小外接矩形，所述测量方法包括：获取包括至少一个目标的输入图像，所述至少一个目标属于至少一个感兴趣的类别；将所述输入图像输入所述网络模块以获取第一输出和第二输出，所述第一输出包括所述输入图像中的各个像素点属于各个类别的概率，所述第二输出包括所述输入图像中各个像素点的位置与每个类别的目标的紧框标的偏移，将所述第二输出中的偏移作为目标偏移，其中，所述网络模块包括骨干网络、基于弱监督学习的图像分割的分割网络、以及基于边框回归的回归网络，所述骨干网络用于提取所述输入图像的特征图，所述分割网络将所述特征图作为输入以获得所述第一输出，所述回归网络将所述特征图作为输入以获得所述第二输出，其中，所述特征图与所述输入图像的分辨率一致；基于所述第一输出和所述第二输出对所述目标进行识别以获取各个类别的目标的紧框标。

2.根据权利要求1所述的测量方法，其特征在于：

基于所述目标的紧框标对各个目标的尺寸进行测量。

3.根据权利要求1所述的测量方法，其特征在于：

所述网络模块通过如下方法训练：

构建训练样本，所述训练样本的输入图像数据包括多张待训练图像，所述多张待训练图像包括包含至少属于一个类别的目标的图像，所述训练样本的标签数据，包括所述目标所属的类别的金标准和所述目标的紧框标的金标准；通过所述网络模块基于所述训练样本的输入图像数据，获得所述训练样本对应的由所述分割网络输出的预测分割数据和由所述回归网络输出的预测偏移；基于所述训练样本对应的标签数据、所述预测分割数据和所述预测偏移确定所述网络模块的训练损失；并且基于所述训练损失对所述网络模块进行训练以优化所述网络模块。

4.根据权利要求3所述的测量方法，其特征在于：

所述基于所述训练样本对应的标签数据、所述预测分割数据和所述预测偏移确定所述网络模块的训练损失，包括：基于所述训练样本对应的预测分割数据和标签数据，获取所述分割网络的分割损失；基于所述训练样本对应的预测偏移和基于标签数据对应的真实偏移，获取所述回归网络的回归损失，其中，所述真实偏移为所述待训练图像的像素点的位置与标签数据中的目标的紧框标的金标准的偏移；并且基于所述分割损失和所述回归损失，获取所述网络模块的训练损失。

5.根据权利要求3或4所述的测量方法，其特征在于：

所述目标偏移为基于各个类别的目标的平均宽度和平均高度进行归一化后的偏移。

6.根据权利要求5所述的测量方法，其特征在于：

按类别对所述标签数据中目标的紧框标的宽度和高度分别求平均以获取平均宽度和平均高度。

7.根据权利要求4所述的测量方法，其特征在于：

利用多示例学习，按类别基于各个待训练图像中的目标的紧框标的金标准获取多个待训练包，基于各个类别的多个待训练包获取所述分割损失，其中，所述多个待训练包包括多个正包和多个负包，将连接所述目标的紧框标的金标准相对的两个边的多条直线中的各条直线上的全部像素点划分为一个正包，所述多条直线包括至少一组相互平行的第一平行线和分别与每组第一平行线垂直的相互平行的第二平行线，所述负包为一个类别的所有目标的紧框标的金标准之外的区域的单个像素点。

8.根据权利要求7所述的测量方法，其特征在于：

所述第一平行线的角度为所述第一平行线的延长线与所述目标的紧框标的金标准的任意一个未相交的边的延长线的夹角的角度，所述第一平行线的角度大于-90°且小于90°。

9.根据权利要求7所述的测量方法，其特征在于：

所述分割损失包括一元项和成对项，所述一元项描述每个待训练包属于各个类别的金标准的程度，所述成对项描述所述待训练图像的像素点与该像素点相邻的像素点属于同类别的程度。