[发明专利]闭环自动数据集创建系统和方法

说明书

提供了用于训练神经网络以对图像分类的各种技术。使用包括多个合成图像的训练数据集来训练卷积神经网络(CNN)。CNN训练过程会在处理训练数据集时跟踪与图像相关的量度和其他信息量度。然后可以使用真实图像的验证数据集对经训练的推理CNN进行测试，以生成性能结果(例如，经训练的推理CNN是否正确还是不正确地标记了训练图像)。在一个或多个实施例中，训练数据集和分析引擎提取并分析信息量度和性能结果，生成用于修改的训练数据集的参数以提高CNN性能，并生成使合成图像生成器生成新的训练数据集的相应指令。该过程以迭代的方式重复，以构建用于训练推理CNN的最终的训练数据集。

相关申请的交叉引用

本申请要求享有2018年7月12日提交的题为“闭环自动数据集创建系统和方法”的美国临时专利申请No.62/697,379的权益和优先权，通过引用的方式将其全部内容合并于此。

技术领域

本公开的一个或多个实施例总体上涉及图像分类，并且更具体地，例如，涉及对用于图像分类的神经网络进行训练和/或验证的系统和方法。

背景技术

在图像处理领域中，一直需要一种有效且可靠的方式来检测成像设备的视场(例如，场景)内的感兴趣对象并对其进行分类。在一种方法中，将感兴趣对象的各种图像收集到训练数据集中，以训练神经网络对对象进行分类。可以通过利用摄像机以各种角度和在各种设置下捕获对象的图像来生成训练图像。对于每个对象分类，训练数据集通常包括数千个图像，并且可能耗时、昂贵且制作麻烦。由于位置危险、尝试捕获罕见且不可预测的事件的图像或需要大量的成像场景，所以某些训练图像可能无法使用摄像机捕获。此外，训练神经网络可能很耗时且需要大量处理，需要花费几天甚至更长的时间才能完成训练数据集。结果，这种图像分类神经网络可能难以适应新的对象和环境和/或难以用新的训练数据进行更新。鉴于前述内容，持续需要一种改进的对象检测和分类技术方案，其易于适应新的使用情况并且提供优于常规系统的性能或其他优点。

发明内容

提供了用于训练神经网络以对图像分类的各种技术。在一个或多个实施例中，使用包括多个合成图像的训练数据集来训练卷积神经网络(CNN)。CNN训练过程会在处理训练数据集时跟踪与图像相关的量度和其他信息量度。然后可以使用真实图像的验证数据集对经训练的推理CNN进行测试，以生成性能结果(例如，推理是否对感兴趣的对象进行了准确分类)。在一个或多个实施例中，训练数据集和分析引擎提取并分析信息量度和性能结果，生成用于修改的训练数据集的参数以提高CNN性能，并生成使合成图像生成器生成新的训练数据集的相应指令。该过程以迭代的方式重复，以构建用于训练推理CNN的最终的训练数据集。

在一个或多个实施例中，生成合成图像以训练用于图像分类的神经网络(例如，CNN)。在一个或多个实施例中，图像分类系统包括在合成训练数据集上训练的神经网络，所述合成训练数据集包括从虚拟三维场景中虚拟表示的成像传感器渲染的对象。在一些实施例中，合成图像包括合成可见光图像和/或合成红外图像，其中，使用虚拟三维场景中的虚拟对象的红外辐射签名和虚拟表示的红外传感器的红外响应模型生成所述合成红外图像。在一个或多个实施例中，一种用于生成合成红外训练数据的系统包括：三维场景建模系统，其用于生成包括多个对象的三维场景，每个对象均具有红外辐射模型；以及红外传感器建模系统，其用于对三维场景中虚拟表示的红外传感器的成像响应进行建模。

本发明的范围由权利要求限定，通过引用的方式将权利要求并入到本部分。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将更全面地理解本发明的实施例以及本发明的附加优点的实现。将参考首先将简要描述的附图。

附图说明

图1示出了根据本公开的各种实施例的用于神经网络的神经网络训练和验证系统以及过程。

图2示出了根据本公开的各种实施例的用于生成用于训练图像分类系统的一组合成图像数据的示例性系统。

图3A-B示出了根据本公开的各种实施例的使用合成图像数据训练的示例性图像分类系统。