[发明专利]一种软硬件协同加速方法、系统及计算机可读存储介质

说明书

本发明公开了一种软硬件协同加速方法、系统及计算机可读存储介质，涉及深度学习技术领域，基于卷积神经网络，包括如下步骤：上位机获取网络模型及其参数并根据其生成数据库固件；下位机获取并解析数据库固件，启动硬件加速模块和/或软件加速模块进行加速。本发明所提供的方法实现对一个卷积神经网络在嵌入式设备上的软硬件协同运行过程。

技术领域

本发明涉及深度学习技术领域，具体涉及一种软硬件协同加速方法、系统及计算机可读存储介质。

背景技术

当前安防领域拥有海量的数据，能够为深度学习训练提供足够多的场景，以卷积神经网络为主的智能算法的发展依托海量数据，在语音识别和视觉方面取得了重要的突破，呈现更快的迭代，算法精度已经超过了人类的识别精度。

随着人工智能在安防领域落地，急需要强大算力的处理芯片，当前的大数据与算法，需要在嵌入式芯片中进行测试，近几年来，NVIDIA依靠GPU与英特尔依靠收购的Movidius在安博会上大放异彩。

安防领域、门禁系统中的人脸检测、停车厂的车牌识别等只需要低端的成本低的芯片，能够满足正常需要，而目前的一些加速芯片成本较高，针对特定的场景性能也无法提升，需要针对场景定制算法，定制专用的神经网络加速芯片来提高性能与精度，并降低成本。

目前在安防市场上的卷积神经网络落地芯片，在嵌入式芯片上进行的是软件处理，整个卷积过程全部去软件实现，使用硬件处理的芯片成本过高，但是在现有技术中，对于卷积神经网络处理，并没有一套完整的方案讲述记载在嵌入式设备上对软硬件协同加速。

发明内容

为解决前述问题，本发明提供了一种软硬件协同加速方法，实现对一个卷积神经网络在嵌入式设备上的软硬件协同运行过程。

为了达到上述目的，本发明采用如下技术方案：

一种软硬件协同加速方法，所述软硬件协同加速方法基于卷积神经网络，包括如下步骤：

上位机进行网络解析：对于不同网络类型的模型解析成统一按层划分的数据结构，在结构头中加入网络平台，每层数据结构加入层序号并建立层关联，根据层序号与层名，关联当前层的输入层与输出层；

量化：按照层序号逐层进行权重与数据的量化；

硬件参数计算：计算特征数据按照内部存储N*N划分后的切块个数；

数据库固件生成：将各层数据结构合并，根据硬件支持特性，将卷积层与激活层Relu合并成一个卷积层，根据软件优化加速特性，将全连接层与激活层Relu、激活层Prelu合并，形成新的层序号；统计网络在嵌入式平台消耗的最小DDR内存，将各层数据结构、切块个数、最小消耗内存与权重生成数据库固件，各层数据结构包括层关联与量化后的每层的参数；

下位机获取并解析数据库固件，根据解析结果逐层启动硬件加速模块和/或软件加速模块进行加速。

可选的，生成数据库固件具体包括：

将不同网络平台训练出来的网络模型逐层进行解析，当前层加入层序号、上一层的层名与层序号、下一层的层名与层序号，作为层关联的上下关系，当前层如果存在权重，将当前层的权重提取解析成浮点格式数据，当前层的参数解析成所述数据结构，加入数据结构的结构头；

选取不同场景的量化图片，按照解析出来的数据结构，根据层序号逐层进行量化，将权重、输入数据、输出数据由浮点数据转为定点数据，并获取每层的数据与权重的量化参数；

为硬件加速的配置参数进行计算，并获得相应的切块处理信息；

将转换后的定点数据存储成二进制文件格式，将硬件参数、网络模型上下层关联、网络模型所占存储空间大小以及量化后的网络模型的参数存储成json格式，与切块处理信息进行打包，生成数据库固件。