[发明专利]一种多摄像头行人检测加速结构

权利要求书

1.一种多摄像头行人检测加速结构，其特征在于：采用Mobilenetv1-SSD神经网络模型，包括摄像头模组、DDR存储模块、卷积加速kernal模块、嵌入式RISC-V计算单元、资源调度模块和显示单元；所述摄像头模组、DDR存储模块、卷积加速kernal模块和嵌入式RISC-V计算单元分别通过总线连接到资源调度模块，所述显示单元连接到嵌入式RISC-V计算单元；

通过所述资源调度模块为各个卷积加速kernal模块分配到不同的摄像头模组，以同时实现多个摄像头模组输入图像的卷积加速，满足360度全方位并行的行人检测需求。

2.根据权利要求1所述的多摄像头行人检测加速结构，其特征在于：所述DDR存储模块用于存储Mobilenetv1-SSD神经网络模型的权重、偏移量和量化参数，并加载缓存到FPGA芯片的片上缓存资源中，实现分层卷积的作用；缓存摄像头模组采集的图片和卷积加速kernal模块的中间计算结果，以降低片上缓存的资源占用；

所述卷积加速kernal模块中的各个kernal用于实现Mobilenetv1-SSD模型的加速计算；

所述资源调度模块用于控制卷积加速kernal模块与摄像头模组的分配结构以及卷积加速的加速过程；

所述嵌入式RISC-V计算单元用于实现资源调度模块的寄存器和指令配置。

3.根据权利要求2所述的多摄像头行人检测加速结构，其特征在于：所述Mobilenetv1-SSD模型的加速计算包括但不限于卷积计算阵列的计算、relu、池化与量化处理；

所述卷积计算阵列采用N×N的PE计算结构，每个PE计算结构包含一个加法器和一个乘法器，用于实现卷积计算过程中的乘累加。

4.根据权利要求2所述的多摄像头行人检测加速结构，其特征在于：所述资源调度模块通过总线结构和调度选择的多路选择器，将摄像头模组和卷积加速kernal模块进行一一对应，实现FPGA内部卷积加速kernal模块的配置。

5.根据权利要求4所述的多摄像头行人检测加速结构，其特征在于：所述嵌入式RISC-V计算单元为各个摄像头模组配置不同数量的卷积加速kernal模块，每个摄像头模组分配至少一个卷积加速kernal模块，并将配置信息写入资源调度模块。

6.根据权利要求5所述的多摄像头行人检测加速结构，其特征在于：所述资源调度模块通过控制指令读取DDR存储模块中的输入特征图、权重、偏移量和量化参数，逐层写入卷积加速kernal模块中的卷积计算阵列，实现对各个卷积加速kernal模块的利用。

7.根据权利要求2所述的多摄像头行人检测加速结构，其特征在于：所述嵌入式RISC-V计算单元还用于实现对检测结果的标记，并控制显示单元的分区显示或独立显示。

8.根据权利要求1～7任意一项所述的多摄像头行人检测加速结构，其特征在于：各个摄像头模组采集的图像数据均通过总线存入DDR存储模块；将各个摄像头模组的多个卷积加速kernal模块分别进行合并，各个摄像头模组分别得到各自对应的卷积加速kernal，大卷积加速kernal的卷积计算阵列为N×mN或mN×N的PE计算结构，其中m为摄像头模组分配的卷积加速kernal模块的个数；

所述资源调度模块顺序读取各个摄像头模组的输入特征图，将各个摄像头模组的输入特征图分别进行独立缓存，并从独立缓存中分别读取参数，分配到对应的摄像头模组缓存；

然后，资源调度模块分别读取各个摄像头模组的独立缓存和对应的参数，放入绑定的大卷积加速kernal，进行分层卷积加速计算；

最后，将计算结果输出到嵌入式RISC-V计算单元，由嵌入式RISC-V计算单元通过后处理算法进行标记打框，并同时分区显示到显示单元中。