[发明专利]基于非局部神经网络的机器学习模型

权利要求书

1.一种用于在助理系统中使用的方法，用于通过使用户能够在会话中利用用户输入与所述助理系统交互来帮助用户获得信息或服务，从而获得帮助，其中所述用户输入包括声音、文本、图像或视频或它们的任意组合，所述助理系统通过计算设备、应用编程接口(API)、以及用户设备上应用激增的组合来实现，所述方法包括：

基于包括多个阶段的神经网络来训练基线机器学习模型，其中每个阶段包括多个神经块；

访问分别包括多个内容对象的多个训练样本；

确定一个或更多个非局部操作，其中每个非局部操作基于一个或更多个成对函数和一个或更多个一元函数；

基于所述多个训练样本和所述一个或更多个非局部操作来生成一个或更多个非局部块；

从所述神经网络的所述多个阶段中确定一个阶段；以及

通过将所述一个或更多个非局部块中的每一个插入所述神经网络的所确定的阶段中的多个神经块中的至少两个神经块之间来训练非局部机器学习模型，

其中所述助理系统使用一个或更多个非局部机器学习模型来分析包括语音、文本、图像、视频或它们的组合中的一个或更多个的内容对象。

2.根据权利要求1所述的方法，其中，所述神经网络包括卷积神经网络或循环神经网络中的一个或更多个。

3.根据权利要求1或2所述的方法，其中，所述多个内容对象中的每一个包括文本、音频剪辑、图像或视频中的一个或更多个。

4.根据权利要求1或2所述的方法，其中，所述神经网络基于二维架构或三维架构中的一个或更多个。

5.根据权利要求1或2所述的方法，还包括：

基于所述基线机器学习模型来分别生成关于所述多个内容对象的多个特征表示。

6.根据权利要求5所述的方法，其中，生成所述一个或更多个非局部块中的每一个包括：

将所述一个或更多个非局部操作中的每一个应用于所述多个内容对象之一的特征表示。

7.根据权利要求5所述的方法，还包括：

为所述多个内容对象中的每一个确定输出位置和与该输出位置相关联的多个位置。

8.根据权利要求7所述的方法，其中，所述输出位置在空间、时间或时空中的一个或更多个中。

9.根据权利要求7所述的方法，其中，所述一个或更多个非局部操作中的每一个基于函数并且其中：

x_i指示所述输出位置处的特征表示；

x_j指示所述多个位置之一处的特征表示；

y_i指示所述输出位置处的输出响应；

f(x_i,x_j)指示所述成对函数；

g(x_j)指示所述一元函数；以及

C(x)指示归一化因子。

10.根据权利要求9所述的方法，其中，所述成对函数基于以下一项或更多项：

高斯函数

嵌入高斯函数其中θ是x_i的嵌入，并且φ是x_j的嵌入；

点积函数f(x_i，x_j)＝θ(x_i)^Tφ(x_j)；或者

级联函数其中ReLU指示整流线性单元的函数，并且其中w_f是将θ(x_i)和φ(x_j)的级联向量投影到标量的权重向量。

11.根据权利要求5所述的方法，还包括：

通过对所述多个内容对象中的每个内容对象的特征表示应用子采样，来为所述内容对象生成子采样的内容对象，其中所述子采样的内容对象与子采样的特征表示相关联。