[发明专利]一种基于Vitis栈的目标检测全流程加速方法及系统

说明书

本发明公开了一种基于Vitis栈的目标检测全流程加速方法及系统，首先对网络进行微调，然后通过vitis的量化器对模型进行量化处理，再通过vitis的编译器对模型进行编译，实现了原始网络模型的转换，减少了数据量；再次通过对主机程序数据进行数据变换存储以及数据类型定点化，提高了数据并行度；随后，对整体流程做了任务型并行和数据优化指令，可加速数据运算；接下来，通过vivado和petalinux分别创建硬件加速器以及系统文件，通过vitis整合形成硬件平台，通过AXI总线来对ps端和pl端进行交互传输；最后将之前步骤地优化设计整合形成全流程加速。该设计能够加速在嵌入式领域边缘设备部署神经网络算法的吞吐率，在目标检测领域有一定得加速效果。

技术领域

本发明属于人工智能技术、目标检测技术领域，具体涉及一种基于Vitis栈的目标检测全流程加速方法及系统。

背景技术

当前人工智能迅速发展，各种不同类型的神经网络模型相较于之前的传统神经网络算法来说，不断突破瓶颈与性能。但是在日益增加的数据量中，这些软件算法加速并不完全适应日益增长的应用。因此，需要硬件加速器对神经网络算法进行硬件加速。

目前，硬件加速在不同领域和方向都有广泛的应用场景，作为一项在人工智能和集成电路快速发展时期的主要加速技术。其主要有两方面，分别为基于GPU、TPU等专用领域方向加速和面向嵌入式领域的边缘设备加速。

对于前者，随着算法和网络结构与模型的不断改进，在算法速度也一直在刷新。如腾讯机智机器学习平台使用了1024个GPU对AlexNET和ResNet-50模型进行训练，分别只用了4分钟和6.6分钟。商汤科技和新加坡南洋理工大学用512个GPU训练完AlexNet仅需一分半钟。基于GPU、TPU等设备的加速效果确实非常良好，但是受限于功耗和体积，在日益增长的嵌入式设备中，并不适用。

第二个方面就是面向嵌入式领域的边缘设备加速，目前主要是对于神经网络特定层操作加速，比如卷积层，全连接层；或者是对模型进行剪枝、量化压缩数据量从而压缩数据量，从而使得模型能够部署在边缘设备上。考虑嵌入式领域设备的小型化、能耗与速度得较好折衷，因此在嵌入式领域作加速研究也越来越受到人们关注。

目前，在边缘设备像嵌入式设备部署神经网络算法主要受限于两方面的内容：数据运输和并行计算。对于神经网络来说，经过长时间发展，许多人致力于对算法模型进行优化，从最初的lenet5对于手写数字识别的数据量66350参数到Alex等几个亿的参数。对于如此庞大得数据量，完全部署在嵌入式设备片上是不太可能的，也是一个主要难点。通常会将网络模型进行数据压缩，并将其保存至片下的存储中，但这样也会引起数据搬移，从而带来额外的延时和更大的功耗。

除此之外，在数据计算并行度方面，对于嵌入式设备并不直接适用浮点运算，通常会利用片上的DSP资源来加速乘累加操作运算，而对于片上集成的DSP资源来说，其对定点计算操作是具有巨大优势的，因此通常也需要对其进行数据量化操作。

目前在嵌入式领域主要是对于神经网络特定层操作加速，比如卷积层，全连接层；或者是对模型进行剪枝、量化压缩数据量，从而使得模型能够部署在边缘设备上。但是从数据存储到网络模型运算再到结果处理全流程优化目前还比较少。得益于xilinx推出的全新工具Vitis，可以完成顶层网络模型生成、训练、测试以及模型量化编译压缩使得数据量减少的同时精度损失较小，一直到底层硬件平台构建、算法部署的全栈流程加速实现。

发明内容

本发明的目的在于提出一种基于Vitis栈的目标检测全流程加速方法及系统的技术方案,以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

本发明对神经网络模型自顶向下设计部分都作了不同程度的加速，使得其能够加速目标检测算法在边缘设备的吞吐率。该设计总体分为四个部分：网络模型变换、数据前处理部分、神经网络加速部分以及数据后处理部分。