[发明专利]一种多压缩版本的云边端DNN协同推理加速方法

说明书

本公开实施例中提供了一种多压缩版本的云边端DNN协同推理加速方法，属于计算技术领域，具体包括：步骤1，利用已有数据集对深度神经网络进行多个尺度的压缩，得到多个不同大小版本的DNN模型，对多个版本的DNN模型分类准确率、各层的输出特征图大小以及计算开销进行量化表示，从而计算出在选择分割点后本地和边缘端分别需要的计算总开销，构建量化模型；步骤2，根据量化模型建立计算卸载和资源分配模型；步骤3，利用深度强化学习算法对计算卸载和资源分配模型进行优化，根据任务的服务需求对延迟和准确率进行均衡。通过本公开的方案，提高了推理效率、精准度、适应性和安全性。

技术领域

本公开实施例涉及计算技术领域，尤其涉及一种多压缩版本的云边端DNN协同推理加速方法。

背景技术

目前，深度神经网络(DNN)由于其强大的表征能力，被广泛应用于众多智能应用中，如自动驾驶、人脸识别、信息检索等。同时，物联网的普及，大量便携式智能移动终端设备和嵌入式设备进入人们的生活。可以设想，将DNN应用部署在移动设备上，将人工智能能力推向网络边缘，实现边缘智能将是大势所趋。

边缘智能通过将人工智能算法和模型部署在网络边缘设备上，使得设备端能够自主进行数据处理和决策，大大减少数据传输和处理延迟，提高了应用的效率和实时性，同时也可以增强数据的安全性和隐私性。

这些智能应用的基本需求是高效准确的响应用户的查询。因此，最大限度地减少延迟并提升准确率，以保证用户体验质量事关重要。然而，基于DNN的应用程序本质上来说是计算密集型和资源急需型的。而移动设备由于尺寸和成本的限制，通常仅配备小型计算单元。这也导致了任务难以高效灵活地在资源受限的移动设备上执行。

传统的云计算通过将移动设备产生的输入数据传输到资源丰富的远程云服务中心来处理DNN推理任务，以满足严格的响应性要求。然而，由于移动设备和远程云之间不可靠的广域网连接和严重的延迟，服务质量(QoS)仍然会很差，不能令人满意。更糟糕的是，对于许多智能应用来说，他们的数据可能包含敏感和私人信息，将这些数据传输到云数据中心会引起用户的隐私和安全问题。边缘计算技术作为云计算的补充，旨在将高性能服务器部署在网络边缘，靠近移动设备。边缘计算方法无疑增强了基于DNN的应用的QoS和隐私保护。然而，随着任务推理请求的增加，边缘服务器的有限资源会导致更多的带宽和计算资源使用，最终导致边缘服务器的服务质量下降。

一个流行的、可行的解决方案是在边缘计算环境中引入协作推理。在边缘端协作推理下，一个复杂的DNN可以被分为两个部分，浅层部分在移动设备上进行本地处理，深层部分则卸载到边缘服务器上完成剩余的推理任务。对于DNN来说，中间数据有可能比源数据尺寸更小。在这种情况下，一方面，通过对DNN模型进行分区，将中间特征卸载到边缘，可以减少数据传输量。另一方面，在本地执行浅层分区可以有效利用移动设备的资源，减少服务器的资源占用。因此，边缘智能享有实时响应，以及通过协作推理保护隐私。

然而，这种模式仍然带来了几个需要解决的关键挑战：(1)如何在复杂的异构环境中确定DNN分区的部署，(2)如何根据不同的服务要求平衡任务延迟和模型精度，以及(3)如何在边缘设备协作推理中合理分配计算和通信资源。

可见，亟需一种推理效率、适应性和安全性高的多压缩版本的云边端DNN协同推理加速方法。

发明内容

有鉴于此，本公开实施例提供一种多压缩版本的云边端DNN协同推理加速方法，至少部分解决现有技术中存在推理效率、适应性和安全性较差的问题。

本公开实施例提供了一种多压缩版本的云边端DNN协同推理加速方法，包括：

步骤1，利用已有数据集对深度神经网络进行多个尺度的压缩，得到多个不同大小版本的DNN模型，对多个版本的DNN模型分类准确率、各层的输出特征图大小以及计算开销进行量化表示，从而计算出在选择分割点后本地和边缘端分别需要的计算总开销，构建量化模型；