[发明专利]对基于深度学习的检测网络进行自监督学习的方法及装置

说明书

本发明公开使用深度Q网络对基于深度学习的检测网络进行自监督学习的方法及用其的装置，包括：通过使用学习数据库训练的检测网络对第1未标记图像进行目标检测以生成第1目标检测信息，通过深度Q网络对与第1目标检测信息对应的第1状态集进行学习运算生成Q值，Q值的动作对应于第1未标记图像的接受时，对通过使用将第1未标记图像的标记图像作为学习数据添加的学习数据库来重新训练的检测网络进行测试以生成第1准确度，动作对应于第1未标记图像拒绝时，在无重新训练的情况下测试检测网络以生成第2准确度，生成第1状态集、动作、针对第1准确度或第2准确度的奖励及第2未标记图像的第2状态集作为转换向量，使用转换向量训练深度Q网络。

相关申请的交叉引用

本发明要求于2021年3月26日提交的美国专利申请第17/213,853号的优先权和权益，其全部内容通过引用合并于此。

技术领域

本发明涉及一种使用深度Q网络对基于深度学习的检测网络(detectionnetwork)进行自监督学习(self-supervised learning)的方法及用其的学习装置，更具体地涉及一种使用检测网络中的目标检测结果，使用由检测网络选择为对训练有用的学习数据对检测网络进行自监督学习的方法及用其的学习装置。

背景技术

为了有效地训练检测网络，需要大量的学习数据，所述检测网络执行用于识别多个图像上对象的位置和类别的目标检测。

在现有技术中，通常使用一种监督学习(supervised learning)技术，其通过使用标记为真实数据的学习数据进行学习来提高针对检测网络的图像分析的准确性，其中所述真实数据为针对多个图像上对象的正确答案数据。然而，监督学习(supervised learning)需要大量的学习数据才能达到高性能，由于需要标记的学习数据，必须由人直接执行标记操作，给定任务越复杂，标记任务所需的时间和成本就越多，因此正在开发能够克服这一问题的学习技术。

例如，对无监督学习(unsupervised learning)而言，在训练检测网络时，不使用标记的学习数据，而使用聚类(clustering)或密度估计(密度估计)等方法对数据进行分组或识别数据之间的模式的方法。然而，由于没有提供标记的数据，因此难以评估聚类的结果，并且存在定义聚类或模式以将其应用于实际数据的限制的问题。

另外，作为其他替代方案，还正在研究诸如半监督学习(semi-supervisedlearning)和自监督学习(self-supervised learning)之类的方法。对半监督学习或自监督学习而言，使用最少量标记的学习数据和大量未标记的学习数据对检测网络进行训练。

具体地，在半监督学习或自监督学习中，使用标记的学习数据对检测网络进行初始学习，然后使用额外获取的学习数据使检测网络执行给定任务(task)以生成标记数据，如此，使用具有自己生成的标记数据的附加的学习数据和初始学习期间给出的标记学习数据，继续对检测网络进行训练。

然而，在进行半监督学习或自监督学习时，待用于训练检测网络的自生成数据的选择主要通过应用使用模型置信度(model confidence)等的启发式(heuristic)算法来选择，这些模型置信度等的选择标准的准确度不仅很难确定，不断调整这些选择标准还需要花费大量的时间和费用。

因此，需要一种能够解决所述问题的改进方案。

发明内容

本发明的目的在于解决所有上述问题。

另外，本发明的目的在于，通过使用由深度Q网络(deep Q-network)生成的Q值来有效地选择能够提高检测网络(detection network)的准确度的最优学习数据。