[发明专利]基于PYNQ的神经网络的识别视频监控报警系统及方法

权利要求书

1.基于PYNQ的神经网络的识别视频监控报警系统，包括视频采集模块、控制模块、通信接口模块、无线通信模块、上位机模块，其中通信接口模块分别与采集模块、控制模块、无线通信模块连接，无线通信模块与上位机模块连接，其特征在于还包括与通信接口模块连接的卷积神经网络加速器，所述卷积神经网络加速器是通过训练好的卷积神经网络分类模型实现的，在PYNQ的PL部分，所述控制模块，包括ARM芯片，在PYNQ的PS部分，控制模块通过总线实现对PL部分的控制及通信；

所述视频采集模块，将采集到的监控环境的特征图输入DDR；

所述ARM芯片，从DDR读取特征图经预处理，生成卷积神经网络分类模型的输入格式，并存入DDR中；

所述卷积神经网络加速器，读取DDR数据，采用卷积神经网络分类模型的权重，在卷积神经网络分类模型的各层采用重复分配计算资源、数据复用、多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，对训练模型进行硬件加速，并根据特征差异实现识别；

无线通信模块，将卷积神经网络加速器识别到的异常情况上传到上位机模块。

2.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述通信，是通过总线将ARM芯片与PL部分进行参数传输，配置核大小、步长；将监控的检测结果经通信接口模块通过无线通信模块将检测异常发送给上位机模块。

3.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述控制，是检测各层网络的计算完成情况，以及控制神经网络的各层能够有序的进行，包括启动神经网络的各层。

4.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述卷积神经网络分类模型的训练，将采集的数据作为训练集，对训练集中的特征进行标注，采用特征算法进行特征提取，然后用训练集进行训练，并在验证集上进行验证，卷积神经网络分类模型保存最优的权重，用于后续读取，并记录训练集和验证集的精度。

5.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述视频采集模块，通过在PL部分上的IIC驱动实现对摄像头的IIC配置，用于配置摄像头的工作参数，并利用摄像头将采集到的监控环境的特征图输入DDR。

6.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述预处理包括锐化、裁剪操作。

7.基于PYNQ的神经网络的识别视频监控报警方法，其特征在于包括如下步骤：

S1，将采集到的监控环境的特征图输入DDR；

S2，PYNQ的PS部分的控制模块，包括ARM芯片，所述ARM芯片，从DDR读取特征图经预处理，生成卷积神经网络分类模型的输入格式，并存入DDR中；控制模块通过总线实现对PL部分的控制及通信；

S3，PYNQ的PL部分的卷积神经网络加速器，对训练好的卷积神经网络分类模型进行加速；包括如下步骤：

S31，卷积神经网络加速器，读取DDR数据；

S32，读取卷积神经网络分类模型的权重；

S33，在卷积神经网络分类模型的各层采用重复分配计算资源、数据复用、多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，对训练模型进行硬件加速；

S34，根据特征差异实现识别；

S4，无线通信模块，将卷积神经网络加速器识别到的异常情况上传到上位机模块。

8.如权利要求7所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述加速器的加速包括流水线分段计算，将多条指令的不同步骤重叠操作，所述重叠操作，是将一个卷积n×n窗口分为n步操作，每一步对卷积窗口的一列数据进行乘操作，即一级流水，然后将结果累加，即二级流水，n步并行，最终产生n个值，然后再将这n个值进行累加，即三级流水，从而完成一个卷积窗口的卷积操作；当有m个通道，便同时操作m个n×n卷积窗口；完成一次n×n大小的卷积窗口时，如果是重叠卷积，将重叠部分的数据用于下次卷积。

9.如权利要求7所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述加速器的加速包括线性缓存，在卷积神经网络加速器输入特征图时，用ram进行缓存，数据每输入一个，存储模块向前移动一位。