[发明专利]经由对偶分解评估损失函数或损失函数的梯度的系统和方法

权利要求书

1.一种用于评估损失函数或所述损失函数的梯度的计算机实施的方法，所述方法包括：

通过包括一个或多个计算设备的计算系统，将权重矩阵分割成多个块，所述权重矩阵对应于评分函数；

通过所述计算系统，为所述多个块中的每一个标识第一标签集合，所述第一标签集合与大于第一阈值的分数相关联；

通过所述计算系统，至少部分地基于所述第一标签集合来为所述多个块中的每一个构建评分向量的稀疏近似；

通过所述计算系统，为所述多个块中的每一个块的所述评分向量的每个稀疏近似确定校正值；以及

通过所述计算系统，通过至少部分地基于所述多个块中的每一个块的所述评分向量的所述稀疏近似和与所述评分向量的所述稀疏近似相关联的所述校正值而评估分解的损失函数或分解的损失函数的梯度，来确定与所述评分函数相关联的损失或损失的梯度的近似。

2.根据权利要求1所述的计算机实施的方法，进一步包括：

通过所述计算系统，为多个训练示例中的每一个确定所述损失或所述损失的梯度的近似。

3.根据权利要求1或2所述的计算机实施的方法，进一步包括：

通过所述计算系统，至少部分地基于与所述评分函数相关联的所述损失或所述损失的所述梯度的所确定的近似，来修改所述权重矩阵或所述评分函数的一个或多个参数。

4.根据权利要求1、2或3所述的计算机实施的方法，其中，为所述多个块中的每一个标识所述第一标签集合包括：

通过所述计算系统，查询与所述权重矩阵的所述多个块相应地相关联的多个最大内积搜索数据结构中的每一个。

5.根据前述权利要求中任一项所述的计算机实施的方法，其中，为所述多个块中的每一个构建所述评分向量的所述稀疏近似包括：

通过所述计算系统，为所述多个块中的每一个设置所述多个标签中的每一个标签的相应近似分数，所述多个标签中的所述每一个标签既不包括在所述块的所述第一标签集合中也不包括在等于零的正标签中。

6.根据权利要求1至4中任一项所述的计算机实施的方法，其中，为所述多个块中的每一个构建所述评分向量的所述稀疏近似包括：

通过所述计算系统，为所述多个块中的每一个设置所述多个标签中的每一个标签的相应近似分数，所述多个标签中的所述每一个标签既不包括在所述块的所述第一标签集合中也不包括在正标签中，所述正标签等于根据最大内部搜索乘积搜索查询所确定的真正分数。

7.根据前述权利要求中任一项所述的计算机实施的方法，其中，为所述多个块中的每一个的所述评分向量的每个稀疏近似确定所述校正值包括：

通过所述计算系统，至少部分地基于所述多个块中的每一个块的所述第一标签集合来标识第二标签集合，所述第二标签集合与大于第二阈值的梯度相关联；

通过所述计算系统，确定跨越所述多个块的所述第二标签集合中的每个标签的平均近似分数；

通过所述计算系统，为在所述多个块中的每一个块的所述第二标签集合中的每个标签确定近似分数；

通过所述计算系统，针对在所述第二标签集合中的标签与在所述多个块中的块的每个组合，为所述多个块中的每一个块确定所述平均近似分数与所述近似分数之间的差；以及

通过所述计算系统，至少部分地基于针对所述第二标签集合中的标签与所述多个块中的块的每个组合所确定的差，来更新所述多个块中的每一个块的所述评分向量的每个稀疏近似的所述校正值。

8.根据前述权利要求中任一项所述的计算机实施的方法，其中，确定与所述评分函数相关联的损失或损失的梯度的近似包括：

通过所述计算系统，跨越所述多个块，使在该块的相应近似评分向量加上每个块的校正值向量处所评估的每个块的相应损失的平均值最小化，以使得跨越所述多个块的所述校正值向量的总和等于零。

9.根据前述权利要求中任一项所述的计算机实施的方法，其中，所述分解的损失函数包括多个部分，每个部分对应于与所述多个块中的每一个块的所述评分向量的相应稀疏近似相关联的损失。