[发明专利]一种用于多接入边缘计算系统的神经网络协同推理方法

说明书

本发明公开的一种用于多接入边缘计算系统的神经网络协同推理方法，属于边缘计算领域。本发明针对多接入边缘计算系统中接入设备计算资源及电源能量受限，难以仅靠自身完成复杂模型推理的问题，通过设计一种将神经网络模型切分并分别放在本地和服务器执行的协同推理方法，使用轻量自编码器并利用量化技术压缩中间特征，减少需要通过无线信道传输的数据量，并使用深度强化学习方法为每个接入设备提供模型切分策略、无线信道选择策略及发射功率设定策略，在有限信道资源下充分利用边缘服务器协助接入设备完成推理任务。本发明能够有效降低各接入设备的平均推理时延和能耗，为基于复杂模型的智能应用在移动设备上的部署提供支撑。

技术领域

本发明涉及一种神经网络推理方法，尤其涉及一种用于多接入边缘计算系统的神经网络协同推理方法，属于边缘计算领域。

背景技术

深度学习技术近年来的快速发展，使得深度神经网络(Deep Neural Network，DNN)在许多计算机视觉及自然语言处理任务上取得了接近或超过人类的表现。随着智能手机、手表等边缘设备硬件性能的提升，基于DNN模型的智能应用已经成为移动设备上不可或缺的一部分。然而，移动设备计算资源远少于台式计算机，且受有限电池能量的约束，只能运行一些使用了简单DNN模型的应用。将计算任务卸载到云服务器的云计算技术可以有效提升移动设备处理复杂计算任务的能力，但其实际表现通常受限于云服务器的有限吞吐量，此外将数据传输到云端还存在隐私泄露隐患。多接入边缘计算(Multi-access EdgeComputing，MEC)系统使用接近用户侧的边缘服务器同时为多个接入设备提供计算资源，其中各接入设备将计算任务拆分为两部分，分别在本地和边缘服务器完成计算，在避免了隐私问题的同时有效提升了执行复杂任务的能力，此外其局域性也极大降低了服务器的吞吐压力。然而，尚无相关工作利用MEC系统协助接入设备完成DNN模型推理任务。

针对单用户场景，有研究指出将DNN模型切分为两部分，通过无线信道传输中间特征的形式，依序在本地和边缘服务器端运行切分后的模型，可以有效降低推理时延及能耗，这种方法被称作协同推理(Collaborative Inference)。现有MEC系统的相关研究通常假设接入设备需要完成的是任意可分的可并行任务，而DNN模型推理任务并不符合该假设，因此基于现有方法，MEC系统无法以协同推理的方式协助接入设备完成DNN模型推理任务。此外，MEC系统的优化问题通常同时涉及离散变量(选择无线信道)以连续变量(设定发射功率)，符合混合整数非线性规划(Mixed Integer Non-Linear Programming，MINLP)的问题形式，难以在多项式时间内求解。将变量连续化或离散化近似可以简化问题的求解，但也会导致最终解的劣化，需要设计更好的MEC系统优化问题的求解方法以实现更优的性能。

发明内容

针对MEC系统难以直接与协同推理方法结合协助接入设备完成复杂DNN模型推理任务的情况，本发明的主要目的是提出一种用于多接入边缘计算系统的神经网络协同推理方法，实现MEC系统中的协同推理，降低用户设备端的推理时延及能耗。

本发明的目的是通过以下技术方案实现的：

本发明公开的一种用于多接入边缘计算系统的神经网络协同推理方法，首先以轻量自编码器(Autoencoder)及特征量化方法压缩模型中间特征，减少需要通过无线信道传输的数据；随后使用深度强化学习优化针对DNN模型推理任务的MEC系统，实现MEC系统中的高效协同推理，降低用户设备端的推理时延及能耗。

本发明公开的一种用于多接入边缘计算系统的神经网络协同推理方法，具体包含以下步骤：

步骤一：给MEC系统中各用户设备上部署的DNN模型设定可用切分点，在各可用切分点处训练用于压缩特征的轻量自编码器；