[发明专利]利用1xH卷积的基于CNN的对象检测方法及装置

说明书

利用1xH卷积的基于CNN的对象检测方法及装置。本发明涉及学习满足KPI的使用于硬件最佳化的基于CNN的对象检测器的参数的学习方法，其特征在于，包括如下步骤：(a)使第1转置层或池化层将各个候选框的池化特征图上的像素按照各个候选框级联；(b)使1×H1及1×H2卷积层对将级联的池化特征图的所有通道中的各自对应的通道内的各个特征级联而生成的重塑特征图应用1×H1及1×H2卷积运算来生成调整特征图；及(c)使第2转置层或分类层按照各个像素将调整特征图分离并将参照对象检测信息及与此对应的GT来算出的对象检测损失反向传播来生成各个候选框的像素级特征图。

技术领域

本发明涉及使用于硬件最佳化的利用1xH卷积的基于CNN的对象检测器的参数的学习方法，更具体地，涉及包括如下步骤的基于上述CNN的上述对象检测器的上述参数的学习方法及学习装置、利用该学习方法及学习装置的测试方法及测试装置：(a)当获得至少一个训练图像时，学习装置，(i)使至少一个卷积层对上述训练图像应用至少一次卷积运算来生成至少一个初始特征图(Initial Feature Map)，(ii)使RPN利用上述初始特征图而生成与位于上述训练图像内的至少一个对象分别对应的至少一个候选框(Proposal)，(iii)(iii-1)使池化层对在上述初始特征图上与上述候选框分别对应的各个区域应用至少一次池化运算来生成各个上述候选框的池化特征图，并使第1转置层(Transposing Layer)将各个上述候选框的上述池化特征图上的对应的相同的各个位置的各个像素按照各个上述候选框级联(Concatenating)来生成综合特征图(Integrated Feature Map)，或者(iii-2)使上述池化层对在上述初始特征图上与各个上述候选框对应的各个区域应用池化运算来生成各个上述候选框的上述池化特征图，并使上述池化层将各个上述候选框的上述池化特征图上的对应的相同的各个位置的各个上述像素按照各个上述候选框级联来生成上述综合特征图；(b)上述学习装置，(b1)(i)使第1重塑层(Reshaping Layer)将由上述综合中的各自对应的H1个通道构成的各个组内的各个特征级联来生成第1重塑特征图(Reshaped Feature Map)，(ii)使1xH1卷积层对上述第1重塑特征图应用1xH1卷积运算来生成调整了卷(Volume)的第1调整特征图(Adjusted Feature Map)，(b2)(i)使第2重塑层将由上述第1调整特征图的所有通道中的各自对应的H2个通道构成的各个组内的各个特征级联而生成第2重塑特征图，(ii)使1xH2卷积层对上述第2重塑特征图应用1xH2卷积运算来生成调整了卷的第2调整特征图；及(c)上述学习装置，(c1)(i)使第2转置层按照各个上述像素将上述第2调整特征图分离而生成各个上述候选框的像素级特征图(Pixel-Wise Feature Map)，并使分类层利用各个上述候选框的上述像素级特征图来生成关于各个上述候选框的对象类信息，(ii)使上述分类层按照各个上述像素将上述第2调整特征图分离来生成各个上述候选框的上述像素级特征图，使上述分类层利用各个上述候选框的上述像素级特征图而生成关于各个上述候选框的上述对象类信息，然后，(c2)使检测层参照上述对象类信息和各个上述候选框的上述像素级特征图来生成与位于上述训练图像内的上述对象对应的对象检测信息，(c3)使检测损失层参照上述对象检测信息和与此对应的GT(Ground Truth：真值)来算出至少一个对象检测损失，从而将上述对象检测损失反向传播来学习上述1xH2卷积层、上述1xH1卷积层及上述卷积层中的至少一部分参数。

背景技术

深度卷积神经网络(Deep Convolutional Neural Network；Deep CNN)是在深度学习领域中发生的惊人的发展核心。CNN虽然在90年代已被用来解决文字识别问题，但它之所以能够像现在这样被广泛使用，还要归功于近年来的研究结果。这样的深度CNN在2012年的ImageNet图像分类比赛中击败其他竞争者而获得冠军。之后，卷积神经网络在机器学习(Machine Learning)领域中成为非常有用的工具。

并且，CNN包括在图像中提取特征的特征提取器(Feature Extractor)及检测图像内的对象或参照由特征提取器提取的特征而识别图像的特征分类器(Feature Classifier)。