[发明专利]面向非平衡数据基于半监督分布式训练的任务识别方法

说明书

一种面向非平衡数据基于半监督分布式训练的任务识别方法，首先，边缘设备收集大量的数据，通过自适应数据采样的方式统计数据的类别，按照类别数量从大到小生成一个降序数据集。然后，通过一个多层结构的分布式训练框架得到一个优化模型。其中，边缘节点既可以作为聚合参数的服务器，也可以作为模型训练的训练节点。最后，通过类再平衡自训练对数据集进行调整，生成一个伪标签集并统计标签集的类分布情况，遵守类再平衡规则生成一个伪标签子集，补充到标签集中生成新的数据集，完成一次自训练迭代。本发明充分利用了分布式训练与半监督学习优势，降低了非平衡数据带来的影响，提高了神经网络训练效果。

技术领域

本发明属于人工智能技术领域，涉及任务识别，特别涉及一种基于半监督分布式训练的任务识别方法。

背景技术

随着深度学习领域研究的快速发展以及移动终端的大规模普及，资源与计算密集型的深度学习应用越来越多地被部署在移动终端设备上，如车联网中的道路识别应用和远程医疗应用等。然而，由于深度学习网络结构日趋复杂且产生了大型数据集，边缘终端设备往往难以承担深度学习应用所需的巨大训练成本。

神经网络通过大量的数据集做训练迭代计算，学习出一个模型，在推理阶段则使用该模型对未知数据的属性进行预测。随着大数据多样性的激增，模型为了能提取更加丰富的特征信息而变得越来越复杂。另外待训练数据规模持续增长，且实际训练的数据集是非平衡数据集，其表现为数据集中的样本分布十分不均衡。当基于不平衡数据集构造分类器时，分类器的预测结果可能会偏向多数类，这些分类器很容易将少数样本误分类为多数类。这两点原因使得神经网络的训练阶段非常消耗计算资源与时间，即便是利用GPU进行加速，训练模型都需要数天甚至数周的时间。这就使得利用神经网络进行任务识别时效率不高，且整体资源开销极大。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于半监督分布式训练的任务识别方法，利用多层分布式训练处理海量感知数据，并利用半监督学习的方法解决这些数据中不平衡问题所带来的负面影响，能够进一步提高模型训练的效率，缓解数据不均匀对训练性能带来的影响，减少海量数据训练过程中的资源开销，使得任务识别所消耗的资源更少。

为了实现上述目的，本发明采用的技术方案是：

一种面向非平衡数据基于半监督分布式训练的任务识别方法，包括：

步骤1，首先，针对待分类任务，利用边缘设备采集样本数据，将采集到的样本数据分为有标签集和无标签集；然后，边缘设备利用自身的预训练模型对采集到的样本数据进行处理，得出召回率和准确率，根据召回率和准确率得出待分类任务每个类别的数量，并根据每个类别的数量对各类别进行降序排序；最后，边缘设备获取到处理后的数据集，数据集中标签集和无标签集的边际类分布均是倾斜的；

步骤2，基于所述处理后的数据集，利用边缘设备、多层边缘节点和数据中心服务器组成的多层分布式训练结构，使用数据并行的分布式训练方法训练半监督学习模型，其中，边缘节点为训练节点时计算本地训练梯度，边缘节点为参数服务器时进行训练参数共享，一个参数服务器和多个边缘节点协同执行一个训练任务，数据中心服务器调度训练任务，每个训练任务经过分布式训练得到一个优化模型；

步骤3，利用训练得到的优化模型对标签集和无标签集实现类再平衡自训练，步骤如下：

步骤3.1，以训练得到的优化模型为教师模型，对无标签集进行预测，获得一个伪标签集；

步骤3.2，从标签集估计类分布，基于类再平衡规则，根据分布情况，从伪标签集中选取部分伪标签样本生成一个伪标签子集，利用伪标签子集扩展标签集，实现数据集的类分布平衡；

步骤3.3，基于步骤3.2所得类分布平衡的数据集，利用步骤2的方法训练一个新的模型，称为学生模型，并替代其相应的教师模型，通过设定一个阈值，到达该阈值后，结束自训练，得到识别任务模型；