[发明专利]用于零样本学习的利用基于SOFT-MAX的兼容性函数的多视图嵌入

说明书

描述了一种用于对象识别的多视图嵌入的系统。在操作期间，所述系统接收输入图像，并且将所述图像中的具有对应标签的对象的原始数据变换成低级特征和所述标签的高级语义表示。通过嵌入所述低级特征与多个高级语义表示来生成经训练的对象识别模型。然后，所述系统接收未知对象的数据并使用所述经训练的对象识别模型向所述未知对象分配标签。最后，可以基于所述标签来控制装置。

相关申请的交叉引用

本申请要求保护2017年1月19日提交的U.S.62/448,382的权益并且作为其非临时专利申请，其全部内容通过引用并入于此。

技术领域

本发明涉及图案识别系统，更具体地，涉及执行零样本(zero-shot)学习以对在已知数据中发现的输入新颖图案进行识别的图案识别系统。

背景技术

图案识别系统通常通过接收输入(以图像、视频、信号的时间序列等形式)并尝试识别输入中的已知图案来进行操作。系统通常利用某种形式的优化函数进行操作，该优化函数尝试将函数最大化以便找到相关解。

这种优化方法的示例被称为非常简单的零样本学习(ESZSL)(EmbarrassinglySimple Zero-Shot Learning)(参见并入参考文献的列表，参考文献No.1)。ESZSL方法提出了双线性模型来桥接低级特征和目标类标签的一个高级语义表示，以表示基于最佳拟合的优化问题。ESZSL的一个缺点是：它没有明确地提出如何使用来自标签的语义表示的多个视图的信息。ESZSL的另一缺点是：最佳拟合优化问题的表示是缺乏信服力的(naive)。ESZSL中的目标标签矢量是具有+1和-1的矢量，并且双线性模型输出需要拟合+1和-1，但是双线性模型的输出可以处于(-∞，+∞)的范围中。

现有的零样本学习模型专注于寻找用于将特征矢量与其对应类的高级表示的兼容性函数值最大化的解。现有模型还独立地处理同一特征矢量与不同类的高级表示的兼容性函数值。此外，针对使用基于最佳拟合的优化表示的现有零样本学习算法，目标值通常为常数；然而，这可能是不正确的。

因此，仍然存在对改进的图案识别系统的需求。

发明内容

本公开提供了一种用于多视图嵌入的系统。在各种实施方式中，所述系统包括一个或更多个处理器以及存储器。所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行若干操作。例如，所述系统接收具有对象的输入图像。将所述图像中的具有对应标签的对象的原始数据变换成低级特征和所述标签的高级语义表示。通过嵌入所述低级特征与多个高级语义表示来生成经训练的对象识别模型。然后接收未知对象的数据，并且可以使用所述经训练的对象识别模型将标签分配给所述未知对象(例如，对其进行分类)。最后，可以基于所述标签来对多个对应装置进行控制。

在另一方面中，所述未知对象是导航对象，并且对装置进行控制的操作包括：使车辆基于所述导航对象来导航。

在又一方面中，向所述低级特征嵌入多个高级表示的操作包括：将来自不同空间的矢量映射到公共空间中。

在又一方面中，将来自不同空间的矢量映射到公共空间中的操作包括：将来自m₀维空间的特征矢量映射至m维空间，并且将来自m_v维空间的第v视图语义矢量映射至公共m维空间。

另外，如果所述未知对象与未知对象类中的标签匹配，则将该标签分配给所述未知对象，从而实现对象识别。

在另一方面中，soft-max表示提供了每个可能分类结果的置信度，并且将所述标签分配给所述未知对象的操作基于所述soft-max表示。

另外，使用soft-max函数来提供图案的低级特征与对应高级语义表示的兼容程度，并且将所述标签分配给所述未知对象的操作基于所述soft-max表示。