[发明专利]基于PYNQ的神经网络的识别视频监控报警系统及方法

说明书

本发明公开了一种基于PYNQ的神经网络的识别视频监控报警系统及方法，属于卷积神经网络与FPGA的结合以及应用，先利用算法进行训练得到网络模型，根据得到的网络模型在FPGA上搭建一个深度神经网络加速器，利用FPGA的低功耗和运算的并行特性，运用流水线输入，数据复用等方法对卷积神经系统的加速，并利用该神经网络加速器利用拍摄头采集到的图片进行特征提取和目标分类，实现监控环境中是否有陌生人。此外，利用无线通信模块将检测结果发送给客户端平台。本发明能够实现自动监控的功能，实时监控环境，并将异常情况反馈给监控者，无需人工观察，方便且极大节省了人力。

技术领域

本发明涉及环境安全监控技术领域，尤其是涉及基于PYNQ平台的软硬相结合的神经网络加速器以及在智能监控上的应用。

背景技术

安全一直以来都是人类所关注的首要话题之一，过去是人类的站岗放哨，到现在的摄像头密布，一张安全监控的大网保障着我们人身财产的安全，也使得犯罪率下降。随着经济社会的发展，人们对于住宅等私人领域的隐私和安全以及果园等一些产业财产监控也越加看中，而单靠人力去监守显然是有较大的局限性的，智能监控的出现正好提供了这方面的需求。随着科技的发展，传统的监控手段已经逐渐被淘汰，基于深度学习的智能监控正在蓬勃发展，向着更低廉，更便捷，更智能，更人性化，更服务人类的方向迅猛前进。

ZYNQ是Xilinx（赛灵思公司）推出的ZYNQ平台，PYNQ是Python和ZYNQ的组合，是使用python在Xilinx的ZYNQ平台上进行开发。ZYNQ分为PS和PL两个部分，PS有两个ARM的核，在上面运行linux操作系统，在操作系统上再运行python，PL部分就是FPGA的逻辑资源。

神经网络的兴起，越来越得到市场的认可，可以通过训练后的神经网络来提高视频监控过程中的识别性能。

如何能够更好的结合神经网络在PYNQ上的应用，从而提高监控报警系统的性能，以便能够及时处理异常情况是目前相关领域关注的焦点。

发明内容

为解决现有技术的不足，实现神经网络与PYNQ更好的结合并应用于监控报警系统的目的，本发明采用如下的技术方案：

基于PYNQ的神经网络的识别视频监控报警系统，包括视频采集模块、控制模块、通信接口模块、无线通信模块、上位机模块，其中通信接口模块分别与采集模块、控制模块、无线通信模块连接，无线通信模块与上位机模块连接，还包括与通信接口模块连接的卷积神经网络加速器，所述卷积神经网络加速器是通过训练好的卷积神经网络分类模型实现的，在PYNQ的PL部分，所述控制模块，包括ARM芯片，在PYNQ的PS部分，控制模块通过总线实现对PL部分的控制及通信；

所述视频采集模块，将采集到的监控环境的特征图输入DDR；

所述ARM芯片，从DDR读取特征图经预处理，生成卷积神经网络分类模型的输入格式，并存入DDR中；

所述卷积神经网络加速器，读取DDR数据，采用卷积神经网络分类模型的权重利用FPGA的低功耗、并行计算特性等独特优势，在卷积神经网络分类模型的各层采用重复分配计算资源、数据复用、多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，对训练模型进行硬件加速，并根据特征差异实现识别；

无线通信模块，将卷积神经网络加速器识别到的异常情况上传到上位机模块，最终实现终端（摄像头）数据上传到客户端平台，达到危险预警的作用。

针对环境异常情况识别模型的训练，将训练好的模型在PL上实现并加速，通过摄像头采集监控环境信息，经ARM预处理成网络加速器特征图输入格式后，存储的DDR中，然后PL端通过DMA读取DDR数据到卷积神经网络加速器，通过设计的神经网络加速器识别分类，从而判断是否存在对安全造成威胁的异常情况，如果有异常情况，系统将实时的异常情况通过通信接口模块，再经无线通信模块发送到服务器平台，达到预警的同时，能及时处理异常，预防意外，及时止损。