[发明专利]一种基于X-ADMM的深度学习模型环境自适应方法

说明书

本发明提供一种基于X‑ADMM的深度学习模型环境自适应方法，聚焦深度学习模型硬件资源消耗巨大，且不能根据动态环境变化实现自适应演化问题。为了解决深度学习模型根据环境动态演化的问题，我们提出了X‑ADMM(X Alternating Direction Method of Multipliers)模型。我们将感知深度学习模型的硬件资源变化，综合使用模型压缩和模型分割的方法处理深度学习模型结构。通过这种方法，模型完成对动态环境的自适应。通过实时感知上下文的环境变化，为模型结构改变提供约束。这能够大幅度降低深度学习模型的资源消耗并实现模型结构的动态自适应。

技术领域

本发明为一种基于X-ADMM的深度学习模型环境自适应方法，涉及深度学习模型运行环境感知和模型结构优化领域，尤其深度学习模型环境自适应的方法。

背景技术

随着物联网和人工智能技术的快速发展与加速融合，智能物联网 (AIin loT,AIoT)正成长为一个具有广泛发展前景的新兴前沿领域。近年来，基于深度计算模型的物联网智能应用和服务已经逐步融入国家重大需求和民生的各个领域，例如智慧城市、智能制造、无人驾驶、健康卫生等。面向这些智能物联场景，将深度学习模型(如实时视频数据处理)离线部署在资源受限且环境多变的物联网终端设备本地逐渐成为一种趋势，具有低计算延时、低传输成本、保护数据隐私等优势。然而，在资源受限的移动端运行深度学习模型仍面临着“硬件资源限制”和“应用环境复杂”两项关键挑战，制约了其落地和大规模的运用。

为了解决上述挑战，部分研究者已经以不同的方式作出模型自适应压缩和加速的初步尝试。例如AdaDeep提出了压缩技术组合的方法来解决对深度学习模型的资源消耗自适应的问题；哈佛大学的Teerapittayanon等人通过选择网络的不同”提前退出”分支实现深度模型的运行时加速研究；浙江大学提出的Deepthing方法将深度学习模型分割为多个分块然后分配给不同的移动边缘终端，在整体资源消耗和终端运行性能上实现自适应的最优折中。然而上述工作对于如何使模型根据动态环境变化实现自适应演化还没有提出切实有效的解决办法。

发明内容

针对深度学习模型硬件资源消耗巨大，且不能根据动态环境变化实现自适应演化问题。本发明提出一种基于X-ADMM的深度学习模型环境自适应方法。其技术方案为：一种基于X-ADMM的深度学习模型环境自适应方法，首先对任务硬件环境进行建模；其次对深度神经网络的各项指标进行建模；基于ADMM模型压缩技术简化模型结构，最终以层为粒度动态进行模型分割。

进一步地，一种基于X-ADMM的深度学习模型环境自适应方法，所述对深度神经网络的各项指标进行建模包括以下步骤：首先对深度学习模型进行压缩：使用结构化剪枝技术缩小深度学习模型的结构；其次对深度学习模型进行分割：在感知到的硬件约束条件下，将压缩后的模型以层粒度进行分割；最后综合使用模型压缩和模型分割技术，实现深度学习模型对硬件资源的自适应。

进一步地，一种基于X-ADMM的深度学习模型环境自适应方法，所述深度神经网络的各项指标包括：深度神经网络的精度、存储需求、能源消耗。

进一步地，一种基于X-ADMM的深度学习模型环境自适应方法，所述方法包括以下具体步骤：

步骤1：获取任务的相关硬件资源信息以及上下文信息；将存储、能源、算力状态分别表示成S_i，E_i，C_i；

步骤2：对深度神经网络的精度、存储需求、能源消耗指标进行建模；

S＝S_f+S_p＝|χ|B_a+|ω|B_w

E＝E_c+E_m＝ε₁C+ε₂S_p+ε₃S_f