[发明专利]一种移动端的卷积神经网络任务调度方法及系统

说明书

本发明公开了一种移动端的卷积神经网络任务调度方法及系统，方法包括：S1.针对计算任务，从预设的配置方案集合中选择满足预设条件的配置方案，配置方案包括CPU核心频率、GPU核心频率、最低网络延迟切分比率、和当前配置参数下的最低网络延迟；S2.将计算任务的卷积层输入张量按照最低网络延迟切分比率进行切分，切分得到CPU输入张量和GPU输入张量；S3.以CPU输入张量作为CPU卷积神经网络的输入，计算得到CPU输出张量；以GPU输入张量作为GPU卷积神经网络的输入，计算得到GPU输出张量，根据CPU输出张量和GPU输出张量得到卷积神经网络的输出张量。具有有效降低移动端卷积神经网络延迟等优点。

技术领域

本发明涉及移动计算领域，尤其涉及一种移动端的卷积神经网络任务调度方法及系统。

背景技术

近年来深度学习卷积神经网络(CNN)技术在视觉应用领域取得了突破性的进展，针对比如图像分类、动作识别等应用取得了相比传统方法更高的精确度。深度学习通过大量的数据训练出高准确度的神经网络模型，然后将神经网络模型部署在服务器设备或移动端设备上实现推理或推断的过程。而深度学习模型在移动端上的部署和实现也变得至关重要，因为基于服务器端的深度学习推理方案需要将用户的个人数据，比如照片、视频上传到开放的互联网上，这在一定程度上产生了用户的个人数据被泄露的风险，造成对用户自身的信息安全隐患。而基于移动端的深度学习推理方案能够将用户的个人数据在移动设备上直接进行处理，不需要上传至开放的互联网，因此更有利于保护用户的个人数据，特别是具有隐私性的数据。

在移动端上执行深度学习推理的挑战在于三个方面——推理的高延迟、发热严重和能耗大的问题。由于深度学习模型中包含了一些计算量大的计算层，比如卷积层，这些计算层在移动端上执行会产生比较大的延迟，严重影响用户的使用体验。而另一方面，计算密集的深度学习模型运行在移动端上会造成移动端设备的升温发热，对用户来说也具有一定的安全隐患，比如可能会烫伤用户，或引起电池发热爆炸等伤害。最后，过高的温度带给移动设备的是能耗的增大，因为有一部分能量将用于发热，降低了能量的利用效率。因此，在移动端上的深度学习推理应该克服这三点挑战，要在尽可能地降低推理延迟的同时，还要控制好设备的发热量和能量的消耗。

目前已经出现了一些技术来解决深度学习神经网络在移动端上的推理延迟高的问题。如文献1(Youngsok Kim，Joonsung Kim，Dongju Chae，Daehyun Kim，and JangwooKim.2019.μLayer:Low Latency On-Device Inference Using Cooperative Single-Layer Acceleration and Processor-Friendly Quantization.In Proceedings of theFourteenth EuroSys Conference 2019(EuroSys’19).Association for ComputingMachinery，New York，NY，USA，Article 45，1–15.)提出了一种将计算复杂的卷积层切分到移动端的中央处理单元(CPU)和图形处理单元(GPU)上并行计算加速的方案，并通过选择合适的量化技术进一步加速了卷积层在CPU/GPU计算单元上的执行效率。文献2(Wang S，Ananthanarayanan G，Zeng Y，et al.High-Throughput CNN Inference on Embedded ARMbig.LITTLE Multi-Core Processors[J].IEEE Transactions on Computer AidedDesign of Integrated CircuitsSystems，2019.)采用了流水线执行技术，利用移动设备上的CPU大小核处理能力不同的特点，让CPU的大小核分别执行卷积神经网络中不同的层，使得卷积神经网络相比在CPU上非流水线的执行方案取得了更高的吞吐量。