[发明专利]使用数字画布来进行数字视觉媒体的空间语义搜索

权利要求书

1.一种在数字介质环境中用于基于语义和空间信息来搜索和标识数字图像的计算机实现的方法，包括：

经由数字画布来接收查询区域和查询项的用户输入，其中所述查询项指示目标视觉内容并且所述查询区域指示用于描绘所述目标视觉内容的目标区域；

用于使用查询神经网络根据所述查询区域和所述查询项来生成查询特征集的步骤；以及

通过将所述查询特征集与使用数字图像神经网络从多个数字图像学习的特征集相比较，从所述多个数字图像中标识在所述目标区域内描绘所述目标视觉内容的数字图像。

2.根据权利要求1所述的方法，其中所述查询特征集包括具有使用所述数字图像神经网络从所述多个数字图像学习的所述特征集的维度的特征向量。

3.根据权利要求2所述的方法，还包括通过以下方式来训练所述查询神经网络：

向所述查询神经网络提供训练项和训练区域作为输入，所述训练项和所述训练区域与在训练数字图像中描绘的对象相对应，其中所述训练数字图像具有对应的特征集；

由所述查询神经网络基于所述训练项和所述训练区域来生成预测的特征集；以及

将由所述查询神经网络生成的所述预测的特征集与对应于所述训练数字图像的所述特征集相比较。

4.根据权利要求3所述的方法，其中训练所述查询神经网络还包括：

标识不同于所述训练项的否定训练项；

基于所述否定训练项来生成否定训练项特征集；以及

将所述否定训练项特征集、所述预测的特征集、和对应于所述训练数字图像的所述特征集相比较。

5.根据权利要求4所述的方法，其中训练所述查询神经网络还包括：

标识描绘不同于所述训练项的对象的否定数字图像；

根据所述否定数字图像来生成否定数字图像特征集；以及

将所述预测的特征集、所述否定数字图像特征集、和对应于所述训练数字图像的所述特征集相比较。

6.根据权利要求5所述的方法，其中训练所述查询神经网络包括构造训练结构，所述训练结构包括：

相似度损失函数、基于图像的排名损失函数、和基于查询的排名损失函数，其中：

所述相似度损失函数比较所述预测的特征集与对应于所述训练数字图像的所述特征集之间的相似度；

所述基于图像的排名损失函数比较所述预测的特征集与对应于所述训练数字图像的所述特征集之间的相似度、以及所述预测的特征集与所述否定训练项特征集之间的相异度的度量；以及

所述基于查询的排名损失函数比较所述预测的特征集与对应于所述训练数字图像的所述特征集之间的相似度、以及所述预测的特征集与所述否定数字图像特征集之间的相异度的度量。

7.根据权利要求6所述的方法，其中所述查询神经网络联合地最小化所述相似度损失函数、所述基于图像的排名损失函数、和所述基于查询的排名损失函数。

8.根据权利要求1所述的方法，还包括从保留来自所述数字图像的语义和空间信息的所述数字图像神经网络的层中提取所述特征集。

9.根据权利要求1所述的方法，还包括：

除了所述查询项和所述查询区域之外，还经由所述数字画布接收第二查询项和第二查询区域的用户输入，其中所述查询项指示第二目标视觉内容并且所述第二查询区域指示用于描绘所述目标视觉内容的第二目标区域；

通过向所述查询神经网络提供所述第二查询项、所述第二查询区域、和所述查询特征集，来使用所述查询神经网络生成第二查询特征集；以及

通过将所述第二查询特征集与使用所述数字图像神经网络从所述多个数字图像学习的所述特征集相比较，从所述多个数字图像中标识在所述目标区域内描绘所述目标视觉内容和在所述第二目标区域内描绘所述第二目标视觉内容的至少一个数字图像。