[发明专利]用于训练新的神经网络的方法、系统及计算机可读介质

说明书

提供了一种用于训练新的神经网络的方法、系统及计算机可读介质。可以用输入数据探测目标神经网络和新的神经网络，以生成对应的目标输出数据和新的输出数据。可以检测到输入数据，该输入数据使在对应的目标输出数据与对应的新的输出数据之间生成最大差异或高于阈值的差异。可以生成发散探测训练数据集，该发散探测训练数据集包括使最大差异或高于阈值的差异生成的输入数据和对应的目标输出数据。可以使用发散探测训练数据集训练新的神经网络以生成目标输出数据。可以使用随着新的神经网络在训练期间改变而动态调整的经更新的发散探测训练数据集来迭代训练新的神经网络。

技术领域

本发明的实施例涉及通过机器学习的人工智能(AI)领域。具体地， 本发明的实施例涉及训练预测性或深度学习模型(例如神经网络(NN)、 逻辑回归或贝叶斯模型)。

背景技术

人工神经网络(或被简称为“神经网络”)是一种计算机模型、与神 经元的生物网络类似。神经网络是人工智能下机器学习中的一系列方法。 神经网络通常有多个由人工“突触”连接的人工“神经元”。存在许多类 型的具有不同的神经元排列的神经网络，该神经网络包括部分或完全连接 的神经网络、递归神经网络(RNN)、卷积神经网络(CNN)等。例如，连接的神经网络通常具有输入层、多个中间层或隐藏层以及输出层，其中， 每个层具有多个(例如，100个到1000个)人工神经元。在完全连接的神 经网络中，一层(N)中的每个神经元可以通过人工“突触”连接到前一 层(N-1)和后一层(N+1)中的所有神经元，而在部分连接的神经网络 中，只有相邻层中的神经元的子集相连。

神经网络基于学习数据集进行训练，以解决或学习指示该连接的强度 的每个突触的权重。突触的权重通常被初始化，例如随机初始化。训练通 过将训练数据集中的样本或样本组迭代地输入到神经网络中来执行，输出 应用于数据集的神经网络的结果、计算预期(例如，目标)输出与实际输 出之间的误差、并调整神经网络权重以最小化误差。可以重复训练，直到 误差最小化或收敛。通常，通过训练集执行多次(例如，数十次或数百次) (例如，每个样本被多次输入神经网络)。对相同数据的数据集的整个训 练的每次完整遍历被称为一个“历元”。

训练准确的神经网络通常是复杂而耗时的任务。一个通常的训练处理 包括数十亿(或万亿)的计算，这可能需要数小时、数天甚至数周才能完 成。因此，一旦生产出来，其他设备或各方可能希望复制经过准确训练的 神经网络，而不是从头开发一个。然而，神经网络及其训练数据通常出于 数据隐私、安全或专有原因而保密。在不访问秘密的训练数据集的情况下， 其他设备或各方目前无法复制预先训练的神经网络。

传统的神经网络的另一个限制是，在不基于整个训练数据集进行重新 训练的情况下，就无法添加新信息或从神经网络中删除旧信息。仅仅基于 改变的数据的训练将覆盖旧的神经连接和知识。因此，为了将新数据并入 到神经网络中，无论多么微小，训练处理都是使用原始训练数据集和添加 的新样本从头开始重新运行，这是一个耗时的处理。同样，在不基于整个 修改后的训练数据集对神经网络进行完全的重新训练的情况下，就无法从神经网络中消除不需要的训练数据。事实上，任何重新训练神经网络的修 改都需要对整个训练数据集进行重新训练。因此，不能由无法访问原始训 练数据集的设备或各方来修改或改进神经网络。

因此，本领域需要提供一种机制来模仿和/或修改神经网络而不访问其 秘密原始训练数据集。

发明内容