[发明专利]面向移动终端的去中心化目标检测模型训练方法及系统

说明书

本发明公开了一种面向移动终端的去中心化目标检测模型训练方法及系统，其中，方法包括以下步骤：获取当前设备产生图片以及其中标注的目标信息；对当前设备产生图片以及其中标注的目标信息进行预处理，得到处理后的数据；利用处理后的数据训练SSD模型，并通过基于K‑L散度衡量模型间的差异性对SSD模型进行联合优化。该方法可以在保护数据隐私的前提下，充分利用用户数据及用户设备的计算能力，进行模型优化，降低目标检测模型的训练成本，并且获得与在集中式数据使用传统训练方式获得的模型具有同等精度。

技术领域

本发明涉及模型训练技术领域，特别涉及一种面向移动终端的去中心化目标检测模型训练方法及系统。

背景技术

随着深度学习技术的高速发展，基于深度学习的目标检测方法精度不断提升，目标检测模型广泛应用与各个领域，支撑着大量具体场景业务的开展。现有的方法均基于卷积神经网络进行特征提取，大规模目标检测数据集和强大的计算能力是模型取得良好效果的重要保障。现有方法多通过构建中心化的大规模数据集来解决数据问题，通过分布式机器学习来进行训练。现有技术方案如下所示：

(1)中心化数据集。目前目标检测模型训练多基于集中存储的公开数据集，通过对图像进行采集和标注，构建了PascalVOC、coco等通用目标检测数据集，以及一些特定领域数据集。利用公开数据集或采集数据训练模型是常见的做法。

(2)分布式训练机制。现有的深度学习框架，如Tensorflow、Pytorch等，均支持训练过程的模型并行和数据并行。模型的训练基于中心化的数据集，均匀分布到多组设备上，整合利用多台设备的计算能力，基于异步随机梯度下降等算法实时更新参数服务器上的模型参数，实现模型有效训练。

(3)联邦学习算法，利用去中心化的数据集训练模型。为保护数据安全及数据隐私，数据不离开本地，利用这些存在差异且分布不均衡的数据，不同设备上独立训练模型，通过FederatedAveraging等算法进行聚合，最终优化整体模型，这类训练方法在图像分类、文本生成等方面有了不少应用。

然而，如上所述，目前目标检测模型训练过程中存在两个问题：一是数据组织方式，在真实的应用场景中，数据集中在数据中心的情况较为少见，公开数据集覆盖的领域、场景十分有限，而为训练特定任务的模型而重复采集数据代价高昂。在移动设备不断普及以及信息化程度不断提升的今天，海量的数据分布在不同设备甚至不同地点，但由于数据安全和用户隐私越来越重要，数据的合规性是发展一切应用的前提，数据壁垒会严重影响目标检测模型的精度和泛化能力。如何充分利用分散而又不互通的数据创造更大的价值，推动目标检测算法更广泛的应用，是目前面临的重要问题；二是现有分布式训练方式的参数更新需要实时进行，每组设备利用数据进行训练之后，将求得的梯度通过网络发送给参数服务器，深度学习模型有较大的参数量，频繁的训练和更新更加适合于较为稳定的设备集群，在移动环境下，极大的加重了终端设备计算负担和数据传输过程中的网络负担。

而3)中所述的联邦学习方法，实现了让涉及用户隐私安全的数据不离开本地，以分散、去中心化的方式组织数据，通过Federated Averaging等算法实现模型的训练及优化，在图像分类及自然语言领域的一些任务上取得了很好的效果，不逊色于利用集中式的数据集训练模型的效果。但是这种方法仍然面临着很多问题，去中心化的数据组织方式不可避免的会造成设备间数据不均衡及非独立同分布问题，而目标检测由于其模型复杂程度更高、参数量更大，对这两个问题更加敏感，通过常见的联邦学习方法无法取得很好的成绩。

发明内容

本申请是基于发明人对以下问题的认识和发现做出的：

当前的目标检测方法主要基于深度学习方法，具有较强的鲁棒性，但是其泛化能力依赖于大量标注数据和较强的计算能力。因此，以往的方法都受限于高昂的数据成本，对用户数据利用不充分、不合理，没有合理调动计算设备计算能力的问题。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。