[发明专利]用于训练新的神经网络的方法、系统及计算机可读介质

权利要求书

1.一种用于训练新的神经网络以模仿目标神经网络而不访问所述目标神经网络或所述目标神经网络的原始训练数据集的方法，所述方法包括：

用输入数据探测所述目标神经网络和所述新的神经网络，以生成由相应的所述目标神经网络的一层或多层输出的对应数据和由相应的所述新的神经网络的一层或多层输出的对应数据；

检测使在由所述目标神经网络输出的所述对应数据与由所述新的神经网络输出的所述对应数据之间生成最大差异或高于阈值的差异的输入数据；

生成发散探测训练数据集，所述发散探测训练数据集包括使生成所述最大差异或所述高于阈值的差异的所述输入数据、和由所述目标神经网络输出的所述对应数据；

使用被检测为使在所述新的神经网络与所述目标神经网络之间的对应输出数据中生成所述最大差异或所述高于阈值的差异的所述发散探测训练数据集，来训练所述新的神经网络以生成与所述目标神经网络相同的所述对应输出数据；并且

使用随着所述新的神经网络在训练期间改变而动态地调整的经更新的发散探测训练数据集，来迭代地训练所述新的神经网络。

2.根据权利要求1所述的方法，包括：使用附加的神经网络来生成所述发散探测训练数据集，所述附加的神经网络被训练以输出训练数据，所述训练数据在输入到所述新的神经网络和所述目标神经网络时，导致相应的输出之间具有所述最大差异或所述高于阈值的差异。

3.根据权利要求1所述的方法，包括使用进化模型生成所述发散探测训练数据集，所述进化模型进化以生成这样的输出：所述输出使所述新的神经网络与所述目标神经网络之间的输出差异增大或最大化。

4.根据权利要求1所述的方法，包括通过测试随机种子探测并且基于所述目标神经网络和所述新的神经网络的结果行为外推所述发散探测训练数据集，来生成所述发散探测训练数据集。

5.根据权利要求4所述的方法，其中，多个所述随机种子探测包括在输入空间中彼此不同的多个相应的数据类型或数据分布；并且针对所述发散探测训练数据集，与在输出空间中由所述目标神经网络输出的所述对应数据与由所述新的神经网络输出的所述对应数据之间的所述最大差异或所述高于阈值的差异相关联地选择所述数据类型或所述数据分布。

6.根据权利要求1所述的方法，包括使用基于统计或启发式的方法来生成所述发散探测训练数据集。

7.根据权利要求1所述的方法，包括在每预定次数的训练迭代之后更新所述发散探测训练数据集。

8.根据权利要求1所述的方法，包括在检测到所述新的神经网络和所述目标神经网络的输出差异收敛于所述发散探测训练数据集的先前版本时，更新所述发散探测训练数据集。

9.根据权利要求1所述的方法，其中，针对所述目标神经网络和所述新的神经网络的输出层以及一个或多个隐藏层中的个体或组合，检测由所述目标神经网络输出的所述对应数据与由所述新的神经网络输出的所述对应数据之间的差异。

10.根据权利要求1所述的方法，包括向所述发散探测训练数据集添加新的数据，以将在所述目标神经网络中不存在的新知识并入到所述新的神经网络中。

11.根据权利要求1所述的方法，包括定义要从所述发散探测训练数据集中省略的数据，以从所述新的神经网络中消除存在于所述目标神经网络中的分类或类别。

12.根据权利要求1所述的方法，包括通过向所述发散探测训练数据集分别添加对输出或输入的多个随机相关性，来从所述新的神经网络中去除将所述输入链接到所述输出的相关性，而不访问所述输入以及所述输出中的至少一者，以削弱或消除所述输入与所述输出之间的所述相关性。