[发明专利]用于机器视觉模型的基于复杂度的渐进式训练

说明书

描述了使用“嘈杂”训练数据集来训练机器视觉模型(MVM)的方法和系统。接收图像的嘈杂集合，其中一些图像的标记是“嘈杂”和/或不正确的。为嘈杂的数据集设计了渐进式排序的学习课程，其中最容易从其学习到机器视觉知识的图像排序在课程起点附近，而较难从其学习到机器视觉知识的图像则在课程中排序在后面。通过将序列化课程提供给受监督的学习方法来训练MVM，以便MVM首先从最简单的示例中学习，然后从较难的训练示例中进行学习，即MVM从最简单到最复杂渐进地积累知识。为了对课程进行排序，将训练图像嵌入特征空间中，并通过特征空间中的密度分布和聚类来确定每个图像的“复杂度”。

背景技术

由神经网络(例如深度卷积神经网络(CNN))实现的机器视觉模型(MVM)的常规使用已使各种机器视觉任务(例如图像分类、对象检测和语义分割)部署到特定应用的有限领域。通过采用大量卷积层，此类深度CNN实现的MVM确定图像内的视觉，以及隐藏和潜在特征，并基于确定的特征对图像进行统计分类(或识别图像中描绘的对象)。为了学习识别这些特征，以及确定这些特征在描述相似对象的图像内的统计分布，使用大型训练数据集对网络进行了训练。为了训练MVM，通常采用受监督学习方法。这样的受监督方法利用了训练数据集，该训练数据集包括预先标记的(即，带标注的)图像。标记指示图像的正确分类(即“基础真实”)、图像内描绘的一个或多个对象和/或图像内描绘的对象的位置。使用其它预先标记的验证图像对经训练的网络进行验证。更简洁地说，传统上，CNN是通过基础真实标记的训练和验证数据集以完全受监督的方式进行训练和验证的。

因为训练这样的机器学习方法需要(视觉、潜在和隐藏)特征的统计上大量的以及高维度分布的累积，所以这样的训练和验证需要大量的经标记的图像，其包括描述的显著变化和底层对象的质量。经训练和验证的CNN的性能受到训练和验证数据集中包括的标记的保真度的限制。即，训练和验证步骤的局限在于图像的标记是否准确地反映了图像的基础真实，例如，在图像内视觉上描绘了什么对象和/或场景。

因此，用于训练CNN的一些常规方法已经依靠人手动提供高质量、一致、准确和精确的标记来生成“干净”的训练/验证数据集。标注单个图像以提供“干净”标记既昂贵又费时，特别是对于需要专家标注者的特殊任务，例如，用指示肿瘤正确分类的标记来标注放射学图像。同样，标记的质量和一致性在人工标注者之间可能有所不同。这些因素将常规方法的部署限制在特定应用的有限领域。即，已经证明这些常规方法难以扩展到更通用的应用的更大领域。

为了减少基于人的标记固有的人类劳动、错误和不一致性，其它常规方法已查询网络或大型图像数据库以生成训练和验证数据集，其中搜索项可以用作返回图像的标记。但是，这种常规的基于搜索的方法易于生成“嘈杂”(或“复杂”)的训练/验证数据集。例如，将关键字“苹果”提供给图像搜索引擎可能会返回大量图像。返回的图像中的一些图像可能描绘水果，返回的图像中的另一部分可能描绘各种移动计算设备，以及返回的图像中的另外一部分可能描绘各种商标和/或公司徽标。基于搜索的方法还可以返回一些图像，这些图像与搜索项几乎没有或没有明显的关系。也就是说，图像搜索可能会返回与搜索项不正确关联的图像。更简洁地，图像搜索可以返回描述与搜索项具有“复杂”或“嘈杂”(即，不一致和/或不正确)关系的对象的图像。也就是说，基于搜索的方法可能生成“嘈杂”或“复杂”的训练/验证数据集，其中标记缺乏质量、一致性、准确性和精确性。对CNN使用此类“嘈杂”(或“复杂”)的训练/验证数据集通常会导致机器视觉任务的性能较差。因此，将这种常规的基于搜索的方法扩展到更广义的机器视觉任务的更大领域也被证明是困难的。

发明内容