[发明专利]一种多摄像头行人检测加速结构

说明书

本发明特别涉及一种多摄像头行人检测加速结构。该多摄像头行人检测加速结构，采用Mobilenetv1‑SSD神经网络模型，摄像头模组、DDR存储模块、卷积加速kernal模块和嵌入式RISC‑V计算单元分别通过总线连接到资源调度模块，所述显示单元连接到嵌入式RISC‑V计算单元；通过所述资源调度模块为各个卷积加速kernal模块分配到不同的摄像头模组，以同时实现多个摄像头模组输入图像的卷积加速。该多摄像头行人检测加速结构，采用多路摄像头流水线输入的方式，可同时实现多个摄像头输入图像的卷积加速计算，满足360度全方位并行的行人检测需求；同时，采用开源指令集架构的嵌入式RISC‑V加速单元，具有较高的自主可控性。

技术领域

本发明涉及卷积神经网络的硬件加速技术领域，特别涉及一种多摄像头行人检测加速结构。

背景技术

行人检测与跟踪作为计算机视觉领域中的热门研究方向有很多子任务，其中对于公共场所监控视频中行人检测与跟踪问题的研究，若能取得一定的成果，不仅是工程技术上的突破，也能解决实际生活中的许多问题。例如，对监控视频中的行人进行检测分析可以及时得到当前行人的流动数据，便于交通管理以减少安全事故的发生；而且当发生儿童走失时，通过行人检测跟踪算法可以更快的确定走失儿童的方位以及活动轨迹。

主流行人检测的硬件加速方式，主要基于FPGA、AISC、GPU、DPU等方式，但这些方式都主要用于单个摄像头输入的硬件加速，灵活性较低。

为了解决上述问题，本发明提出了一种多摄像头行人检测加速结构。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的多摄像头行人检测加速结构。

本发明是通过如下技术方案实现的：

一种多摄像头行人检测加速结构，其特征在于：采用Mobilenetv1-SSD神经网络模型，包括摄像头模组、DDR存储模块、卷积加速kernal模块、嵌入式RISC-V计算单元、资源调度模块和显示单元；所述摄像头模组、DDR存储模块、卷积加速kernal模块和嵌入式RISC-V计算单元分别通过总线连接到资源调度模块，所述显示单元连接到嵌入式RISC-V计算单元；

通过所述资源调度模块为各个卷积加速kernal模块分配到不同的摄像头模组，以同时实现多个摄像头模组输入图像的卷积加速，满足360度全方位并行的行人检测需求。

所述DDR存储模块用于存储Mobilenetv1-SSD神经网络模型的权重、偏移量和量化参数，并加载缓存到FPGA芯片的片上缓存资源中，实现分层卷积的作用；缓存摄像头模组采集的图片和卷积加速kernal模块的中间计算结果，以降低片上缓存的资源占用；

所述卷积加速kernal模块中的各个kernal用于实现Mobilenetv1-SSD模型的加速计算；

所述资源调度模块用于控制卷积加速kernal模块与摄像头模组的分配结构以及卷积加速的加速过程；

所述嵌入式RISC-V计算单元用于实现资源调度模块的寄存器和指令配置。

所述Mobilenetv1-SSD模型的加速计算包括但不限于卷积计算阵列的计算、relu、池化与量化处理；

所述卷积计算阵列采用N×N的PE计算结构，每个PE计算结构包含一个加法器和一个乘法器，用于实现卷积计算过程中的乘累加。

所述资源调度模块通过总线结构和调度选择的多路选择器，将摄像头模组和卷积加速kernal模块进行一一对应，实现FPGA内部卷积加速kernal模块的配置。

所述嵌入式RISC-V计算单元为各个摄像头模组配置不同数量的卷积加速kernal模块，每个摄像头模组分配至少一个卷积加速kernal模块，并将配置信息写入资源调度模块。