[发明专利]使用数据优先级的数据传输

说明书

一种用于向经由一个或多个网络连接到一个或多个源节点的目的地节点提供数据的方法。在一方面，该方法由用于从特征集合中选择至少一个特征的特征识别器执行。该特征集合包括第一特征和第二特征。该方法包括：针对在该特征集合中包括的每个特征，获得指示从存储用于该特征的数据集的源节点向经由网络连接到该源节点的目的地节点提供该数据集的成本的值。该方法还包括：基于所获得的值，选择该特征集合的子集。该方法进一步包括：针对每个所选择的特征，发起用于相应所选择的特征的相应数据集从源节点向目的地节点的传输。目的地节点可以执行机器学习过程，该机器学习过程可操作以使用该相应数据集以产生模型。

技术领域

公开了涉及向目的地节点提供至少一个特征数据集的实施例，其中，目的地节点被配置为使用该特征数据集来训练机器学习(ML)模型和/或被配置为使用先前训练的ML模型和该特征数据集来生成推理。

背景技术

机器学习(ML)是一种数据分析方法，其基于输入数据(也称为“训练”数据)自动创建ML模型(例如，函数)。ML是基于系统可以从数据中学习、识别模式、以及在减少人工干预的情况下做出决定的想法的人工智能的一个分支。通过使用不同的训练数据来重复地训练ML模型，可以改进ML模型。

在过去十年间，对人工智能的需求已显著增长。然而，为了提高ML模型的质量，可能需要大量的训练数据。虽然一些小ML模型可以使用少量数据进行训练，但其他(例如，更大的)ML模型需要大量的数据。对于这些需要大量输入数据的ML模型，将机器学习工作负荷分布在多个机器上可以是有益的。

发明内容

为了创建ML模型，需要将输入数据集提供给运行ML过程的目的地节点，该ML过程使用输入数据以创建(或“训练”)该ML模型。类似地，要运行ML模型以产生推理，需要将输入数据集提供给运行该ML模型的目的地节点。当目的地节点远离存储输入数据集的源节点时，输入数据集需要通过网络从源节点被发送到目的地节点。在许多情况下，输入数据可能非常大。因此，输入数据集在网络上的传输可能花费很长时间，并因此可能会减慢训练过程或推理过程。另外，当输入数据集很大时，输入数据集在网络上的传输可能会给网络带来很大的负担。

因此，根据本公开的一些实施例，不是向目的地节点发送完整的输入数据集，而是选择输入数据集的子集并将其发送到目的地节点。输入数据集由多个特征数据集组成，其中，该多个特征数据集中的每一个特征数据集与一个特定特征相关联。在一个实施例中，每个特征被分配指示该特征的优先级的优先级值，并且基于所分配的优先级值来选择输入数据集的子集，以使得输入数据集的子集至少包含与具有最高优先级的特征相关联的特征数据集。在一些实施例中，特征的优先级值至少部分地基于该特征相对于ML模型的准确性的重要性。当数据需要通过网络被发送到目的地节点时，优先传输最重要的数据将会加速训练和/或推理过程，尤其是当网络的传输能力有限时或者当ML处理设备的处理能力有限时。例如，如果一些输入数据(例如，特定的特征数据集)在更早的时间可用，则可以更早地开始ML模型的训练，如果使用了更少的输入数据(例如，特征)，则ML模型训练的时间可以更短。

通常，并非所有数据(例如，特征)在不同的条件下都同等重要。例如，新加坡的年气温变化很小，因此，对于在新加坡使用的ML模型训练/推理，该变化对于通过网络发送并不是非常重要的特征。相反，平均温度值和网络的传输能力是更重要的数据(例如，特征)。