[发明专利]一种基于PYNQ的智能监控系统及监控方法

说明书

本发明涉及一种基于PYNQ的智能监控系统及监控方法，通过软硬件协同实现目多目标检测分类。主要包括多目标检测模块，进行算法的移植与优化，通用卷积神经网络加速器IP，基于python的API接口。所述PYNQ集成了arm处理器系统和FPGA可编程逻辑，软件部分移植了caffe框架，适用于主流人工智能算法，改进了faster‑RCNN算法移植到PYNQ平台实现目标检测功能。FPGA部分使用卷积神经网络加速IP来进行算法推导部分的计算。基于Python的API提供方便的调用接口。本发明具有图像处理速度快，硬件资源需求少，方便移植与开发的优点。

技术领域

本发明涉及基于嵌入式平台的目标检测技术，具体涉及一种基于PYNQ的智能监控系统及监控方法。

背景技术

视频监控是安防行业的一个子行业，2010-2017年期间，我国视频监控市场规模从242亿元增长到1124亿元，年均复合率达24.53%。随着我国道路交通基础设施的兴建，以及“平安城市”的建设加速，预计到2020年我国视频监控市场规模有望达到1558亿元，到2023年有望突破1900亿元。而智能化将是视频监控未来长期的一个发展方向。因此人工智能将在监控系统中扮演越来越重要的角色。目标检测是计算机视觉和数字图像处理的一个热门方向，也是智能监控系统的核心部分，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。

PYNQ开发板，在原有Zynq架构的基础上，添加了对python的支持。使嵌入式编程人员能够在无需设计可编程逻辑电路的情况下即可充分发挥Xilinx Zynq AllProgrammable SoC（APSoC）的功能。PYNQ集成了ARM处理器和FPGA可编程逻辑器件，与常规方式不同的是，通过PYNQ，用户可以使用Python进行APSoC编程，并且代码可直接在PYNQ上进行开发和测试。通过PYNQ，可编程逻辑电路将作为硬件库导入并通过其API进行编程，其方式与导入和编程软件库基本相同。Python作为一种优雅简单的脚本语言，被广泛应用于各个领域，基于Python开发的控制系统将有很高的可移植性。

传统的监控系统往往需要人工的干预，比如交通事故、盗窃往往需要时候来回放监控错过了最佳时机，具有很大的延时性，而且往往人力资源成本比较高。只要能自动检测出需要的信息，就能及时给出反馈，而且机器代替人工也能降低成本。

发明内容

针对现有技术存在的技术问题，本发明提供了一种基于PYNQ的智能监控系统及监控方法。

一种基于PYNQ的智能监控系统，包括通过USB连接的摄像头和PYNQ处理系统，所述PYNQ处理系统包括arm处理器和FPGA，其特征在于所述PYNQ处理系统包括多目标检测模块、通用卷积神经网络加速器IP和Python的API接口，所述多目标检测模块移植与优化faster-RCNN多目标检测算法，优化AlexNet网络的结构做为前馈网络，并对检测结果kmeans聚类；所述faster-RCNN多目标检测算法包括建议框的提取模块、SVM分类模块、线性回归修正模块、卷积模块、池化模块、全连接层模块。

进一步的,所述的卷积模块、池化模块、全连接层模块使用FPGA中通用卷积神经网络加速器IP计算。

进一步的，所述的Python的API接口包括通用卷积神经网络加速器IP的配置参数、搬运数据、执行计算、获取状态。

进一步的,所述的建议框的提取模块、SVM分类模块、线性回归修正模块和kmeans聚类模块在arm处理器中计算。

进一步的，所述的arm处理器预处理得特征图存储在DDR，按行输入，采用AXI-lite总线控制，DMA传输图像数据。

进一步的，所述的通用卷积神经网络加速器IP包括计算单元，所述计算单元内部采用行列复用、6级流水，所述通用卷积神经网络加速器IP可选择实现卷积、池化、激活函数的功能，可以自定义核的大小、步长、补0。