[发明专利]自动检测图像中用户所请求的对象

说明书

本公开的实施例涉及自动检测图像中用户所请求的对象。本公开涉及在数字图像中准确地检测并可选地自动选择用户所请求的对象(例如，查询对象)的对象选择系统。例如，对象选择系统基于分析查询对象的对象类别，构建并利用对象选择流水线来确定利用哪个对象检测神经网络来检测查询对象。特别地，对象选择系统可以标识已知对象类别以及与未知对象类别相对应的对象。

技术领域

本公开涉及数字图像编辑，并且更具体地涉及自动检测图像中的对象。

背景技术

近年来见证了数字图像编辑的显著增加。实际上，硬件和软件方面的进步已提高了个人捕获、创建和编辑数字图像的能力。例如，大多数现代计算设备(例如，服务器、台式机、笔记本电脑、平板电脑和智能手机)上的硬件使得能够在不出现显著的滞后时间或处理延迟的情况下，实现数字图像编辑。类似地，软件的改进使得个人能够对数字图像进行修改、组合、过滤或以其他方式编辑。编辑数字图像的示例包括检测对象、将对象从一个图像复制到新的背景、或从图像中移除对象。

尽管在数字图像编辑中有这些改进，但是常规系统特别是在数字图像中检测和选择对象方面，在图像编辑系统中具有与灵活性、准确性和操作效率有关的许多问题。例如，许多常规系统在它们可以在图像中检测的对象类型方面功能有限。为了提供上下文，图像中的对象可以对应于一个或多个对象类型或类别(class)(例如，前景对象、背景对象、概念性对象)，并且对象类别可以包括几乎无限数量的对象。常规系统通常限于少量的对象类别。此外，常规系统主要仅检测对象类别内对象的较小子集。例如，一些常规系统只可以检测图像中的狗，而不能检测其他类型或类别的对象。

另外，常规系统是不准确的。例如，提供对象检测的许多常规系统通常标识错误的对象，或更糟糕地，完全无法标识图像中的任何对象。例如，许多常规系统没有标识不属于众所周知的对象类别的对象。

此外，一些常规系统是不准确的，因为它们提供了不精确的结果。例如，尽管一些常规系统可以选择对象的单独掩模，但是这些掩模的边界是粗糙且不精确的。实际上，这些常规系统经常产生在图像之上包括附加部分或不包括整个对象的对象掩模。结果，用户必须手动校正选择和/或手动选择期望对象。

在图像编辑系统中存在这些以及关于检测和选择数字图像中的对象的附加问题。

发明内容

本公开的实施例利用用于基于自然语言的输入在数字图像中自动选择所检测对象的系统、非瞬态计算机可读介质以及方法，提供了益处和/或解决了本领域中的前述或其他问题中的一个或多个。例如，所公开的系统可以利用多个对象检测神经网络和模型来准确地检测并自动选择查询对象(例如，用户在选择查询中提供的对象)。特别地，所公开的系统可以检测属于已知对象类别和未知对象类别的对象。

为了图示，所公开的系统可以标识图像内用户正在请求检测的查询对象。利用查询对象，所公开的系统可以确定查询对象是否对应于已知对象类别。此外，基于确定查询对象对应于已知类别，所公开的系统可以利用已知对象类别检测神经网络来检测图像内的查询对象。备选地，基于确定查询对象不对应于已知对象类别，所公开的系统可以利用未知对象类别检测神经网络来检测查询对象。在各种更多的实施例中，如下所述，已知的对象类别检测神经网络和未知的对象类别检测神经网络各自包括多个模型或附加的神经网络。在检测到查询对象时，所公开的系统可以在图像内自动选择所检测的查询对象并将其提供给用户。

尽管该发明内容为了简化而指代系统，但是该发明内容也适用于某些公开的方法和非瞬态计算机可读介质。以下描述阐述了所公开的系统、计算机介质和方法的一个或多个实施例的附加特征和优点。在一些情况下，这些特征和优点对于本领域技术人员而言将是明显的，或者可以通过实践所公开的实施例而习得。

附图说明

如下面简要描述的，具体实施方式通过使用附图为一个或多个实施例提供了附加的特异性和细节。