[发明专利]用于高效数字对象分割的深度突出内容神经网络

说明书

公开了用于利用一个或多个突出内容神经网络在数字视觉媒体中分割对象的系统、方法和非暂态计算机可读介质。具体地，在一个或多个实施例中，所公开的系统和方法训练一个或多个突出内容神经网络以高效地标识数字视觉媒体中的前景像素。此外，在一个或多个实施例中，所公开的系统和方法向移动设备提供经训练的突出内容神经网络，允许移动设备利用经训练的神经网络来直接地选择数字视觉媒体中的突出对象。此外，在一个或多个实施例中，所公开的系统和方法训练并提供多个突出内容神经网络，使得移动设备可以标识实时数字视觉媒体馈送中的对象(利用第一突出内容神经网络)并且标识静态数字图像中的对象(利用第二个突出内容神经网络)。

背景技术

近年来，已经看到在客户端计算设备上对数字视觉媒体的使用急剧增加。实际上，个体和企业越来越多地将膝上型计算机、平板计算机、智能手机、手持设备和其他移动技术用于涉及数字视觉媒体的各种任务。例如，个体和企业越来越多地利用智能手机来捕获、查看和修改数字视觉媒体，诸如肖像图像、“自拍”或数字视频。

尽管传统的数字视觉媒体系统允许用户捕获和修改数字视觉媒体，但是它们也具有许多显著的缺点。例如，传统的数字视觉媒体系统可以利用相机来捕获数字视觉媒体，但是不能容易、快速或高效地从数字视觉媒体中描绘的其他像素中选择或分离个体对象。

一些传统的数字视觉媒体系统通过手动跟踪个体周围的边界线来辅助用户分离在数字图像中描绘的对象。然而，依赖于手动跟踪的传统系统在准确性、速度和效率方面具有显著的缺点。实际上，应用这种传统系统通常需要大量时间并且仍然导致不准确的对象分割。

其他传统的数字图像编辑系统通过应用机器学习分类模型来选择数字图像中的对象。具体地，传统的数字编辑系统可以应用分类模型，该分类模型将在数字图像中描绘的对象分类为多个对象类别中的一个，并且然后基于所确定的对象类别来对对象进行分割。不幸的是，这些传统工具也有许多缺点。

作为初始问题，利用分类模型的传统系统是严格的并且在应用性方面受到限制。例如，利用分类模型的传统系统通常利用有限数量(例如，20或80)的分类类别。这些有限的数目远远不足以涵盖个体或企业在数字视觉媒体中经常遇到的各种对象。另外，利用分类模型的传统数字视觉媒体系统具有高计算性能要求，其使得它们不可能在移动设备上操作。实际上，在移动设备上应用这种分类模型需要比典型移动设备能够提供的更多的存储器和处理能力。此外，利用分类模型的传统数字视觉媒体系统不能跨多个数字图像实时操作。例如，传统的数字视觉媒体系统不能分割在实时数字视觉媒体馈送中描绘的对象(例如，来自智能手机相机的实况视频馈送)。

关于标识数字视觉媒体中的对象存在这些和其他问题。

发明内容

利用允许利用突出内容神经网络来对在数字视觉媒体中描绘的对象进行高效且准确的分割的系统、方法和非暂态计算机可读介质，本文描述的一个或多个实施例提供了益处和/或解决了本领域中的前述或其他问题中的一个或多个。具体地，在一个或多个实施例中，所公开的系统利用突出内容神经网络来直接在移动设备上选择在数字图像内描绘的对象。例如，在一个或多个实施例中，所公开的系统训练突出内容神经网络以分割数字图像中的前景和背景像素。然后，所公开的系统将该经训练的突出内容神经网络提供给移动设备，以通过分割数字视觉媒体中的前景和背景像素来标识数字视觉媒体内的对象。此外，在一个或多个实施例中，所公开的系统训练并提供不同的突出内容神经网络，以应用于静态和实时实现中。以这种方式，所公开的系统可以利用移动设备的有限计算资源来标识静态数字图像或实时数字视觉媒体馈送中的无限类别的对象，同时保持或改进所得到的分割的准确性(即，在某些实现中，IoU准确度大于96％)。

本公开的示例性实施例的附加特征和优点将在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过这些示例性实施例的实践来学习。

附图说明

参考附图描述了具体实施方式，其中：