[发明专利]一种基于PYNQ的智能监控系统及监控方法

权利要求书

1.一种基于PYNQ的智能监控方法，其特征在于：该方法采用的监控系统包括通过USB连接的摄像头和PYNQ处理系统，所述PYNQ处理系统包括arm处理器和FPGA，其特征在于所述PYNQ系统包括多目标检测模块、通用卷积神经网络加速器IP和Python的API接口，所述多目标检测模块移植与优化faster-RCNN多目标检测算法，优化AlexNet网络的结构做为前馈网络，并对检测结果kmeans聚类；所述faster-RCNN多目标检测算法包括建议框的提取模块、SVM分类模块、线性回归修正模块、卷积模块、池化模块、全连接层模块；监控方法包括如下步骤：

（1）把训练好的网络权重导入PYNQ的SD卡中，再从SD读取权重到DDR中；

（2）图像采集，控制USB摄像头采集图像，并通过USB接口传输一帧图片到PYNQ上；arm处理器把图像预处理为AlexNet网络的输入格式的特征图写入到DDR中；

（3）调用API配置网络参数，通过AXI_lite控制对应的寄存器，根据每层的网络结构不同，配置核大小、步长、是否补0，以及该层为卷积层还是池化层，是否需要激活函数信息；

（4）启动通用卷积神经网络加速器IP进行计算，FPGA自动通过DMA从DDR按行搬运特征图数据，计算后把结果写回DDR，循环执行每一层，完成卷积和池化层的正向推导计算；

（5）arm处理器干预，检测标志位判断是否完成计算；

（6）根据锚点盒进行建议框的选取，根据建议框裁剪出可能为目标的部分特征图进行ROI池化，再次调用通用卷积神经网络加速器IP进行全连接层的计算，全连接层的实现是转换成长宽为1的卷积计算；

（7）对全连接层计算结果用支持向量机进行分类，用回归模型修正得到目标的边界框坐标，并用kmeans聚类筛选重复识别的目标。

2.根据权利要求1所述的一种基于PYNQ的智能监控方法，其特征在于所述的卷积模块、池化模块、全连接层模块使用FPGA中通用卷积神经网络加速器IP计算。

3.根据权利要求1所述的一种基于PYNQ的智能监控方法，其特征在于所述的Python的API接口包括通用卷积神经网络加速器IP的配置参数、搬运数据、执行计算、获取状态。

4.根据权利要求1所述的一种基于PYNQ的智能监控方法，其特征在于所述的建议框的提取模块、SVM分类模块、线性回归修正模块和kmeans聚类模块在arm处理器中计算。

5.根据权利要求2所述的一种基于PYNQ的智能监控方法，其特征在于所述arm处理器预处理得特征图存储在DDR，按行输入，采用AXI-lite总线控制，DMA传输图像数据。

6.根据权利要求1所述的一种基于PYNQ的智能监控方法，其特征在于所述的通用卷积神经网络加速器IP包括计算单元，所述计算单元内部采用行列复用、6级流水，所述通用卷积神经网络加速器IP可选择实现卷积、池化、激活函数的功能，可以自定义核的大小、步长、补0。

7.根据权利要求1所述的一种基于PYNQ的智能监控方法，其特征在于所属的建议框可以配置三种面积、三种尺度，共９种形式的建议框。