[发明专利]对基于深度学习的检测网络进行自监督学习的方法及装置

权利要求书

1.一种使用深度Q网络(deep Q-network)对基于深度学习的检测网络(detectionnetwork)进行自监督学习(self-supervised learning)的方法，其特征在于，包括：

(a)步骤，在已使用多个存储在学习数据库中的学习数据训练用于检测对象的检测网络的状态下，当从未标记数据库(unlabeled database)中获得至少一个第1未标记图像(unlabeled image)时，学习装置(i)将所述第1未标记图像输入到所述检测网络，使所述检测网络对所述第1未标记图像进行目标检测以生成或支持生成第1目标检测信息，(ii)参考所述第1目标检测信息生成或支持生成第1状态集(state set)，所述第1状态集包括对应于针对包括在所述第1未标记图像中的第1对象的第1_1边界框的第1_1分类置信度(classification confidence)、第1_1回归不确定性(regression uncertainty)和第1_1池化特征图(pooled feature map)至对应于针对包括在所述第1未标记图像中的第k₁对象的第1_k₁边界框的第1_k₁分类置信度、第1_k₁回归不确定性和第1_k₁池化特征图，其中所述k₁为1以上的整数，(iii)将所述第1状态集输入到深度Q网络，使所述深度Q网络对所述第1状态集进行学习运算以生成或支持生成Q值，所述Q值包括对应于所述第1未标记图像的接受分数(acceptance score)和拒绝分数(rejection score)，(iv)将argMax函数应用于所述Q值以生成或支持生成动作(action)；

(b)步骤，所述学习装置(i)参考所述动作，(i-1)当所述动作对应于所述第1未标记图像的接受(acceptance)时，把将所述第1目标检测信息作为标签添加到所述第1未标记图像而获得的标记图像(labeled image)作为学习数据添加到所述学习数据库中，从所述未标记数据库中删除所述第1未标记图像，使用包括在所述学习数据库中的至少一个所述学习数据重新训练所述检测网络，参考通过使用验证数据库测试重新训练的所述检测网络而获得的重新训练的所述检测网络的第1准确度(accuracy)生成或支持生成奖励，(i-2)当所述动作对应于所述第1未标记图像的拒绝(rejection)时，从所述未标记数据库中删除所述第1未标记图像，参考通过使用所述验证数据库测试所述检测网络而获得的所述检测网络的第2准确度生成或支持生成所述奖励，(ii)当从所述未标记数据库中获得至少一个第2未标记图像时，(ii-1)将所述第2未标记图像输入到所述检测网络，使所述检测网络对所述第2未标记图像进行目标检测以生成或支持生成第2目标检测信息，(ii-2)参考所述第2目标检测信息生成或支持生成第2状态集(state set)，所述第2状态集包括对应于针对包括在所述第2未标记图像中的第1对象的第2_1边界框的第2_1分类置信度、第2_1回归不确定性和第2_1池化特征图至对应于针对包括在所述第2未标记图像中的第k₂对象的第2_k₂边界框的第2_k₂分类置信度、第2_k₂回归不确定性和第2_k₂池化特征图，其中所述k₂为1以上的整数，(ii-3)将所述第1状态集、所述动作、所述奖励和所述第2状态集作为转换向量(transitionvector)存储或支持存储在存储器；以及

(c)步骤，所述学习装置通过从所述存储器中采样待用作至少一个学习用转换向量的至少一个特定转换向量来生成或支持生成小批量(minibatch)，使用所述小批量训练所述深度Q网络，以使所述深度Q网络根据所述第1状态集和所述第2状态集输出用于增加所述奖励的动作。