[发明专利]用于图像处理的神经网络对象识别的方法和系统

说明书

一种用于图像处理的神经网络对象识别的系统、物品和方法，包括定制训练数据库和适配用于执行定制的实例分割神经网络。

背景技术

计算机视觉向计算机或自动化机器提供视觉能力。因此，希望在计算机视觉中，通过能够理解例如在3D中所看到的以及从由相机捕获的图像中所看到的内容，向这样的系统提供对物理世界进行推断的能力。换句话说，在机器人、虚拟现实(VR)、增强现实(AR)、和融合现实(MR)方面的应用可能需要了解在这些应用中提供视点的机器人或人周围的世界。例如，机器人需要理解它看到的东西以便操纵(抓取、移动等)物体。例如，VR、AR或MR应用需要了解提供视点的人周围的世界，使得当人在这样的世界中移动时，人被展示以避开该世界中的障碍物。这种能力还允许这样的计算机视觉系统向世界环境添加语义上看似可信的虚拟对象。因此，理解其正在看的是灯的系统能够理解灯的用途和操作。其他计算机视觉应用也使用这种语义对象识别，例如视频编辑、自动驾驶车辆、智能家居、安全系统等。

出于这些目的，包括对象分类、检测和分割的许多语义对象识别技术现在都基于神经网络。然而，许多传统的神经网络对象识别技术是在相对于世界中潜在对象的数目来说太小的数据集上训练的，因此经常丢失期望的对象。然而，网络数据集通常也非常大，以至于训练神经网络既昂贵又耗时。当这种神经网络通常不可适配以针对特定用户来将期望的目标对象添加到神经网络数据库时，情况变得更糟。

附图说明

本文描述的材料在附图中以示例方式而不是以限制方式示出。为简单和清楚起见，图中所示的元件不一定按比例绘制。例如，为了清楚起见，某些元件的尺寸可能会相对于其他元件被夸大。此外，在被认为合适的情况下，附图标记在附图之间被重复以指示相应或相似的元件。在附图中：

图1是根据本文的至少一个实现方式的图像处理设备的示意图；

图2是根据本文的至少一个实现方式的用于图像处理的对象识别方法的流程图；

图3A-3C是根据本文的至少一个实现方式的用于图像处理的识别方法的详细流程图；

图4是根据本文的至少一个实现方式的用于对象分割的局部和全局神经网络适配的示意性流程图；

图5是根据本文的至少一个实现方式的合并对象分割掩膜方法的示意性流程图；

图6是具有要分割的对象的示例视频图像的序列；

图7是针对图6的视频图像序列的示例所产生的对象分割掩膜的序列；

图8A-8D是根据本文中的至少一个实现方式的用于展示用户定义的数据集条目的示例图像，该用户定义的数据集条目用于图像处理的对象识别方法；

图9是示例系统的示意图；

图10是另一示例系统的示意图；以及

图11示出了另一示例设备，全部根据本公开的至少一些实现方式来布置。

具体实施方式

现在参考所附附图描述一个或多个实现方式。虽然讨论了具体的配置和布置，但应该理解，这仅是为了说明的目的而执行的。相关领域的技术人员将认识到，在不脱离说明书的精神和范围的情况下，可以采用其他配置和布置。对于相关领域的技术人员来说显而易见的是，本文描述的技术和/或布置也可以用于除本文描述之外的各种其他系统和应用中。