[发明专利]用于成像系统的深度学习推理系统和方法

说明书

用于成像系统的深度学习推理包括成像设备，该成像设备包括图像捕获部件和视觉处理单元，该视觉处理单元被配置为通过第一经训练的推理网络处理图像以确定第一推理结果。主机系统训练用于图像分类的神经网络并生成第一经训练的推理网络，并将该第一经训练的推理网络传送到成像设备的视觉处理单元。第一经训练的推理网络向成像设备提供独立的图像分类、对象检测和/或置信度得分。视觉处理单元还可以包括两个或更多个经训练的推理网络，其被配置为接收作为输入的推理结果并输出第二推理结果。立体相机系统使用来自一个或多个推理网络的特征和/或结果来控制对检测到的对象的三维数据的处理。

相关申请的交叉应用

本专利申请要求2018年10月15日提交的题为“DEEP LEARNING INTERFACESYSTEMS AND METHODS FOR IMAGING SYSTEMS”的美国临时专利申请No.62/745,948的优先权和权益，通过引用的方式将其整体并入本文中。

技术领域

本公开的一个或多个实施例总体上涉及成像系统，并且更具体地，例如，涉及用于成像系统的深度学习推理系统和方法。

背景技术

在图像处理领域中，一直需要一种有效且可靠的方式来对成像设备的视场(例如，场景)内的感兴趣对象进行检测和分类。传统的“智能相机”结合了机器视觉成像部件和运行基于规则的图像处理软件的单板计算机。智能相机能够解决诸如条形码读取之类的简单问题或者是解答诸如“该零件应该在其应有的位置上有孔吗？”之类的问题。推理相机擅长解决更复杂或更主观的问题，例如“这是苹果出口等级吗？”。当对已知的良好图像进行训练时，推理相机可以轻松地识别出意外的缺陷，而基于规则的检查系统将无法识别出这些缺陷，从而使推理机对可变性的容忍度更高。

在一种方法中，将感兴趣的对象的各种图像收集到训练数据集中，以训练神经网络对对象进行分类。可以使用相机以各种角度和各种设置捕获对象的图像来生成训练图像。对于每个对象分类，训练数据集通常都包括数千个图像，并且生成和更新训练数据集可能很耗时、昂贵且繁重。可以将经过训练的神经网络加载到服务器系统上，该服务器系统从网络上的成像设备接收图像并对其进行分类。简化的机器视觉和图像分类系统可用于某些成像设备，但是这样的系统不能运行鲁棒的经过训练的神经网络，并且很难适应各种用户场景。鉴于以上所述，仍然需要一种改进的对象检测和分类方案，其易于适应新的用例并提供优于常规系统的性能或其他优势。

发明内容

提供了利用成像系统来实现经过训练的神经网络的各种系统和方法。推理相机使用户能够利用快速加速的深度学习技术、框架和工具。该相机将使工程师能够花费更少的时间来开发复杂的算法，同时提供更能容忍意外缺陷的系统。

在各种实施例中，一种系统包括成像设备，所述成像设备具有：被配置为捕获图像的图像捕获部件，以及被配置为通过第一经训练的推理网络来处理图像以确定第一推理结果(例如，图像分类、对象检测、感兴趣区域、异常检测和/或置信度得分)的视觉处理单元。主机系统被配置为训练用于图像分类的神经网络并生成所述第一经训练的推理网络，并将所述第一经训练的推理网络传输到所述成像设备的视觉处理单元。可以经由通信网络将所述第一经训练的推理网络从主机系统上传到成像设备的视觉处理单元，并且第一经训练的推理网络可以被配置为向成像设备提供独立的图像分类。在一些实施例中，可以将第一推理结果传送到主机系统。

在一些实施例中，第一推理结果是感兴趣区域，并且视觉处理单元还包括多个经训练的推理网络，其被配置为接收作为输入的所述第一推理结果并输出第二推理结果。

所述成像设备还可包括图像处理部件，其被配置为接收所述图像捕获部件捕获的图像并修改所述图像以输入到所述第一经训练的推理网络。所述成像设备还可包括处理部件，其被配置为控制所述成像设备的操作，包括处理所述第一推理结果和/或确定要对所述图像采取的相关动作。在一些实施例中，所述相关动作可以包括：将所述图像串流传输到主机系统，将图像存储到所述成像设备上，和/或执行第二推理网络。