[发明专利]一种用于边缘ai推理框架的内存调度方法

说明书

本申请提供了一种用于边缘ai推理框架的内存调度方法，方法包括：根据深度学习模型，基于嵌入式硬件平台运行时权重载入行为，采用权重流水线加载方式；根据深度学习模型运行时的张量，对张量进行重新内存的重新分配。本申请提供的方法在系统层通过贪心算法对深度学习模型运行时张量内存占用进行内存绝对地址重排，优化内存占用；在框架层通过权重流水线式加载，实现模型权重内存时间维度上复用，压缩内存消耗。

技术领域

本申请涉及嵌入式边缘计算技术领域，特别涉及一种用于边缘ai推理框架的内存调度方法。

背景技术

近年来，随着深度学习技术的快速发展以及高性能硬件的广泛应用，在工业界，越来越多的厂商逐渐将传统的视觉算法替换为卷积神经网络模型。在计算机视觉领域中，人们的需求一般有：图像分类，目标检测，语义分割等。神经网络已经成为图像识别中识别效果最好的方法，神经网络中包含有成千上万个神经元，并且这些神经元通过和非线性激活函数组合，将获得无比强大的函数拟合能力。许多专家认为神经网络是模拟人脑中神经系统搭建而成。其识别图像的流程也是先通过浅层神经网络识别出低级语义信息，然后在后续深层神经网络中分类出高级别的信息。对于人类而言，由于天生自带的视觉注意力系统，在很复杂的环境中搜寻出自己想要的目标是很容易的。但是对于机器想要理解物体代表的含义极其困难，到目前为止，在一系列的目标检测竞赛中(比如：ImageNet,Ms coco)夺取前几名的方案无不是使用深度学习，深度学习已经经历了三次发展浪潮。1940年到1960年是深度学习的第一次发展历史，其初始模型出现在控制论(cybernetics)中；在1980年到1990年，这10年中，双层神经网络也逐渐浮现；直到21世纪初，深度学习才因为多层神经网络的出现而繁荣起来。神经网络一共经历了三次较大的发展。

然而，随着智能手机、移动边缘嵌入式设备的发展，其便捷性、灵活性以及定型化等特性相比于传统的服务器设备运行深度学习模型推理服务，嵌入式设备具备很多独特的优势，能很好的满足部分工业领域的需求。包括实时性好、响应速度快、隐私保护好以及安全性高。比如针对自动驾驶、行人识别、车辆超载识别等等领域，由于高清摄像头录制视频信息及其庞大，而无线网络的带宽是无法满足视频实时回传至服务器的需求的，并且考虑到隐私和保密性的要求，很多数据也是只能保存在边缘设备端。因此，基于边缘设备运行深度学习推理网络而将推理结果直接反馈，其不仅可以避免网络传输的速度限制和波动，还能极好的保护了客户的隐私。

边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。恩智浦预计在2021年底边缘AI将会被一下几个关键性需求推动，真正的发展起来。首先是带宽：就算用5G，可能也没有足够的带宽将所有原始数据发送到云端。其次是延迟：许多应用要求较快的响应时间，比用户从云端接收到数据的时间还要短。然后是经济性：某个应用如果使用云端，即使能从技术上解决带宽和延迟问题，但在边缘执行AI可能更划算。以及可靠性：某个应用如果使用云端，即使能从技术上解决带宽和延迟问题，但到云端的网络连接并非一直可靠，而应用可能需要一直运作。在这种情况下，就要使用边缘AI了。例如人脸辨识门锁，如果网络连接断开，你希望门锁仍然正常工作。最后是隐私：某个应用如果使用云端，即使能从技术上解决带宽、延迟、可靠性和经济性等问题，可能仍有许多应用出于隐私考虑而需要进行本地处理。例如婴儿监控器或卧室安全监控摄影机。

边缘嵌入式设备虽然具备实时性好、响应速度快、隐私保护好以及安全性高等优点，但是嵌入式边缘计算系统目前的问题是，与固定式的桌面系统相比，嵌入式系统在处理器，内存和存储容量方面更为有限，因此计算能力较低。然而深度学习算法，计算量非常大，通常需要运行在高性能的服务器上，对于在前端运行提出了非常高的要求。这些正是基于嵌入式系统的边缘计算设备深度学习应用的机遇与挑战。