[发明专利]用于分布式系统推理的深度学习模型的划分和位宽分配的方法和系统

说明书

提供了用于将训练后的神经网络划分成用于在第一设备上执行的第一神经网络和用于在第二设备上执行的第二神经网络的系统和方法。执行所述划分，以在精度约束内优化以下操作的总体延迟：在所述第一设备上执行所述第一神经网络以基于输入数据生成特征图输出，将所述特征图输出从所述第一设备发送到所述第二设备，以及在所述第二设备上执行所述第二神经网络以基于所述第一设备的所述特征图输出生成推理输出。

相关申请的交叉引用

本申请要求2020年3月5日提交的发明名称为―用于分布式推理的安全端到端混合精度可分离神经网络(SECURE END-TO-END MIXED-PRECISION SEPARABLE NEURALNETWORKS FOR DISTRIBUTED INFERENCE)”的第62/985,540号美国临时专利申请的权益和优先权，该美国临时专利申请的内容通过引用的方式并入本文。

技术领域

本发明涉及人工智能和分布式计算，具体涉及用于分布式系统推理的深度学习模型的划分和位宽分配的方法和系统。

背景技术

边缘设备的普及、通信系统和处理系统的进步正在推动海量数据的产生，以及对用于处理此类数据的大规模深度学习模型的需求。大型深度学习模型通常托管在可通过互联网访问的强大计算平台(例如服务器、服务器群集和关联数据库)上。在本发明中，―云”可以指通过互联网访问的一个或多个计算平台，以及在计算平台上运行的软件和数据库。云可以拥有强大的计算能力，这可以通过多个强大的处理单元和大量的内存和数据存储实现。同时，数据收集通常分布在云的边缘，即通过互联网在云的周边连接到云的边缘设备，例如智能家居摄像头、授权进入设备(例如，车牌识别摄像头)、智能手机和智能手表、监控摄像头、医疗设备(例如，助听器、个人健康和健身跟踪器)以及物联网(Internet ofThings，IoT)设备。强大的深度学习模型和丰富的数据的结合正在推动AI应用的进步。

但是，海量数据与大型深度学习模型之间的差距仍然存在，并成为更广泛的AI应用面临的越来越艰巨的挑战。在边缘设备与云之间交换深度学习模型的数据和由此产生的推理结果远远没有那么简单。由于边缘设备的计算能力非常有限(例如，边缘设备往往具有有限的处理能力、有限的内存和存储能力以及有限的电力供应)，因此大型深度学习模型无法加载到边缘设备上大型深度学习模型无法加载到边缘设备上。事实上，深度学习模型正变得越来越强大，越来越大，对于边缘设备来说越来越不切实际。最近正在推出的大型深度学习模型甚至无法由单个云服务器支持——这种深度学习模型需要云集群。

将数据从边缘设备上传到云并不总是理想的，甚至不可行。向云发送高分辨率、高容量输入数据可能会产生高传输延迟，并可能导致AI应用的端到端延迟较高。此外，当将高分辨率、高容量输入数据发送到云时，可能会带来额外的隐私风险。

一般来说，边云数据收集和处理方案分为三类：(1)仅限边缘(EDGE-ONLY)；(2)仅限云(CLOUD-ONLY)；(3)边云(EDGE-CLOUD)协同。在仅限边缘方案中，所有数据收集和数据处理函数都在边缘设备上执行。应用模型压缩技术强制拟合整个AI应用，该应用包括边缘设备上的一个或多个深度学习模型。在许多AI应用中，仅限边缘方案可能具有严重的精度损失。仅限云方案是一种分布式方案，其中，数据被收集并可以在边缘设备进行预处理，但被发送到云以供AI应用的一个或多个深度学习模型进行推理处理。仅限云方案可能会产生高数据传输延迟，特别是在高分辨率数据用于高精度AI应用的情况下。此外，仅限云方案可能会引起数据隐私问题。

在边云协同方案中，实现执行特定推理任务的深度学习模型的软件程序可以被分解成多个实现较小深度学习模型以执行特定推理任务的程序。这些较小的软件程序中的一些可以在边缘设备上运行，其余的可以在云上运行。由在边缘设备上运行的较小深度学习模型生成的输出被发送到云，由在云上运行的其它较小深度学习模型进一步处理。