[发明专利]用稀疏数据训练神经网络的系统和方法

权利要求书

1.一种用于训练神经网络模型的计算机实现的方法，包括：

从包括输入向量和稀疏目标向量的一组训练数据中选择输入向量，其中每个稀疏目标向量包括对应于神经网络模型的输出向量内的样本子集的目标数据；

通过所述神经网络模型处理所述输入向量，以针对所述输出向量内的样本产生输出数据；以及

调整所述神经网络模型的参数值，以针对所述样本子集减小所述输出向量与所述稀疏目标向量之间的差。

2.根据权利要求1所述的计算机实现的方法，其中所述输入向量的分辨率低于所述输出向量的分辨率。

3.根据权利要求1所述的计算机实现的方法，其中每个稀疏目标向量不同于所述组训练数据中的其他稀疏目标向量。

4.根据权利要求1所述的计算机实现的方法，其中所述输入向量包括针对所述输出向量内的所述样本的第二子集的输入数据。

5.根据权利要求4所述的计算机实现的方法，其中所述样本的所述第二子集与所述样本子集不相关。

6.根据权利要求1所述的计算机实现的方法，其中指示所述样本子集中的样本的强度的密度掩码被用于缩放所述差。

7.根据权利要求6所述的计算机实现的方法，其中与每一个所述稀疏目标向量相对应的所述密度掩码不同。

8.根据权利要求1所述的计算机实现的方法，其中针对所述样本子集中的每个样本计算所述差的一部分，并且未包括在所述样本子集中的样本的剩余样本的所述差的剩余部分被设置为零。

9.根据权利要求1所述的计算机实现的方法，其中指示所述样本子集中的所述样本的位置的位掩码被用于计算所述差。

10.根据权利要求9所述的计算机实现的方法，其中与每个所述稀疏目标向量相对应的所述位掩码不同。

11.根据权利要求1所述的计算机实现的方法，其中与每个所述稀疏目标向量中的所述样本子集中的样本相对应的位置不同。

12.根据权利要求1所述的计算机实现的方法，还包括：

对于至少一个附加输出，重复选择所述输入向量并处理所述输入向量；以及

在调整所述参数值之前，将针对所述输出向量的差和针对至少一个附加输出向量的附加差组合，然后调整所述整神经网络模型的参数值以减小所述组合的差。

13.一种系统，包括：

存储器，其存储包括输入向量和稀疏目标向量的一组训练数据，其中每个稀疏目标向量包括对应于神经网络模型的输出向量内的样本子集的目标数据；

并行处理单元，其耦合到所述存储器并且被配置为：

从所述组训练数据中选择输入向量；

通过所述神经网络模型处理所述输入向量以针对所述输出向量内的样本产生输出数据；以及

调整所述神经网络模型的参数值，以针对所述样本子集减小所述输出向量与所述稀疏目标向量之间的差。

14.根据权利要求13所述的系统，其中所述输入向量的分辨率低于所述输出向量的分辨率。

15.根据权利要求13所述的系统，其中每个稀疏目标向量不同于所述组训练数据中的其他稀疏目标向量。

16.根据权利要求13所述的系统，其中所述输入向量包括针对所述输出向量内的所述样本的第二子集的输入数据。

17.根据权利要求16所述的系统，其中所述样本的所述第二子集与所述样本子集不相关。