[发明专利]利用对象属性检测模型来自动地选择图像中所检测的对象的实例

说明书

本公开涉及一种对象选择系统，该对象选择系统精确地检测并自动选择数字图像中的用户请求的对象的目标实例(例如查询对象实例)。在一个或多个实施例中，对象选择系统可以分析一个或多个用户输入，以从多个专用的和通用的对象属性模型中确定最优的对象属性检测模型。附加地，对象选择系统可以利用所选择的对象属性模型来检测并选择图像中的查询对象的一个或多个目标实例，其中该图像包括该查询对象的多个实例。

相关申请的交叉引用

本申请涉及同时提交的于2019年7月22日提交的美国专利申请序列号No.16/518,795(代理人案卷号20030.257.4)和2019年7月22日提交的美国专利申请序列号No.16/518,810(代理人案卷号20030.257.2)，两者均通过引用其全文而并入本文。

背景技术

近年来，数字图像编辑已大大增加。实际上，硬件和软件两者的进步已经改进了个体捕获、创建和编辑数字图像的能力。例如大多数现代计算设备(例如服务器、台式机、笔记本计算机、平板计算机和智能手机)上的硬件都能够实现数字图像编辑，而不会出现明显的延迟时间或处理延迟。类似地，软件的改进使个体能够修改、组合、过滤或以其他方式编辑数字图像。编辑数字图像的示例包括检测对象、将对象从一个图像复制到新的背景、或从图像中删除对象。

尽管在数字图像编辑中有这些改进，但是常规系统在图像编辑系统中的灵活性、准确性和操作效率方面，特别是在检测和选择数字图像中的对象方面，存在许多问题。例如许多常规系统在它们可以在图像中所检测的对象类型方面功能有限。实际上，常规的图像编辑系统通常限于少数对象类别。此外，常规系统主要仅检测对象类别内的一小部分对象。

附加地，常规系统是不准确的。例如提供对象检测的许多常规系统通常会标识错误的对象或无法标识任何对象。例如当用户期望对象的目标实例的选择时，常规系统经常在单个选择中标识并分组对象的多个实例，因为这些系统无法区分图像中所检测的对象的实例。

此外，一些常规系统是不准确的，因为它们提供了不精确的结果。例如尽管一些常规系统可以选择对象的个体掩模，但是这些掩模的边界是粗糙且不精确的。实际上，这些常规系统经常产生对象掩模，其在上方包括图像的附加部分或不包括整个对象。结果是，用户必须手动校正选择和/或手动选择所需对象。

此外，常规系统效率低下。例如常规系统在自动对象检测和选择方面存在重大缺陷。例如许多检测对象的常规系统是端对端神经网络。当发生故障或无法达到预期的结果时，系统的用户甚至创建者都无法查找系统的哪个组件无法正常工作的位置。相反，必须对整个系统进行重新训练和调整，直到获得所需的结果为止，该过程可能会花费大量时间和计算资源。

此外，许多常规系统提供了低效的基于鼠标输入的工具，其进一步要求用户手动选择期望的对象。对于许多选择任务，这些工具通常不精确且具有挑战性。因此，用户花费大量时间和用户与不同选择工具的交互在检测、显示、选择和校正数字图像中的对象选择上浪费了大量计算资源。

这些，以及其他问题和事项在图像编辑系统中关于检测和选择数字图像中的对象方面存在着。

发明内容

本公开的实施例利用系统、非瞬态计算机可读介质以及用于基于基于自然语言的输入来自动选择数字图像中对象的目标实例的方法来提供益处和/或解决本领域中的前述或其他问题中的一个或多个。例如所公开的系统可以分析一个或多个用户输入以确定来自多个专用的和通用的对象属性模型的最优对象属性检测模型(例如对象属性神经网络)。此外，所公开的系统可以利用所选择的对象属性模型来在包括对象的多个实例的图像中标识对象的目标实例。